Původní honosný gotický hrad byl přestavěný ze starší tvrze v letech 1465-1474 Albrechtem Bezdružickým z Kolovrat. K podstatným architektonickým změnám došlo na sklonku třicetileté války, kdy měl celé panství i s Novým Hradem v držení premonstrátský klášter na Strahově. V letech 1670 - 1689 dal nový majitel Gustav Adolf z Varrensbachu celý objekt přestavět na pohodlný barokní zámek. V posledních letech zámek jako majetek Ústeckého kraje ve správě Oblastního muzea v Lounech prochází systematickou obnovou a rekonstrukcí.