První zmínka o hradu pochází z první pol. 14. stol. R. 1314 mění Hynek z Lichtemburka hrad Klepy za jiné zboží s králem Janem Lucemburským. Ten jej v r. 1335 prodává panu Zbyňku Zajíci z Valdeka a na Žebráce. Hrad byl postupně přestavován a budován na důstojné sídlo hlavně zástavbou východní části vrcholové planiny. Dominantou jsou dvě věže: oválná (Černá, 25 m vysoká) a hranolová (Bílá, 26 m vysoká). Koncem 15. století je již bydlení na hradě nepohodlné, a panstvo hrad opouští. Za celou svou historii nebyl nikdy dobyt.