Město bylo vystavěno u vodního hradu Lipý při brodu přes řeku Ploučnici, na křižovatce dvou obchodních cest. O jeho založení se zasloužil Jindřich z Lipé v prvním desetiletí 13. století, o další rozvoj pak Berkové z Dubé. V době husitských válek město opanovalo vojsko Jana Roháče z Dubé a bylo postiženo ničivými požáry. Další rozkvět nastal po založení kláštera a školy Albrechtem z Valdštejna. Přestože současný vzhled města ovlivnila průmyslová výroba, jeho historické centrum bylo zachováno a vyhlášeno městskou památkovou zónou.
