První písemné zmínky pocházejí z r. 1214, kdy zdejší území věnoval břevnovskému benediktinskému klášteru král Přemysl Otakar I. Nejstarší památkou je historické jádro města, které si zachovalo pravidelný půdorys ze 13. století. Historické centrum tvoří měšťanské domy z 16., 18. a 19. stol. Součástí kláštera je dnes i Muzeum Broumovska. Dominantou města je areál benediktinského kláštera sv. Václava (NKP), založeného v pol. 14. stol. Významnou památkou je i hřbitovní kostel P. Marie, nejstarší dochovaný dřevěný kostel v Čechách.