Na místě dnešního barokního zámku stávala v 15. stol. tvrz pánů Berků z Dubé. V dnešní podobě byl postaven v letech 1577-1580 Adamem Bohdaneckým, rytířem z Hodkova. Nejstarší popis zámku pochází z r. 1661. V jeho držení se vystřídalo mnoho majitelů. V r. 2013 zámek odkoupila obec Adršpach a začala s jeho rekonstrukcí. 1.4.2014 byl zámek zpřístupněn veřejnosti. V jeho prostorách se nachází první Horolezecké muzeum v České republice. Expozice přibližuje pískovcové lezení, které k Adršpašsko-teplickým skalám neodmyslitelně patří.
