Zámek Potštejn postavil v letech 1749 - 1755 hrabě Jan Ludvík Harbuval-Chamaré. V té době přestal blízký hrad sloužit jako rodové sídlo a barokní zámek poskytoval modernější způsob bydlení. Zároveň byl i správním střediskem velkostatku a administrativní budovou plátenické manufaktury. Zámek je čtyřkřídlá jednopatrová stavba kolem téměř čtvercového nádvoří, krytá vysokou mansardovou střechou. Nejzajímavější částí zámku je mramorový sál se vzácným rokokovým stropem a kaple Nejsvětější Trojice.
