Rarášek byl vždy považován za zlého a zlomyslného ducha. Již od r. 1597 se vypráví pověst o Zvíkovském raráškovi. Tehdy se prý na Markomance, nejstarší části hradu, prováděly stavební práce. Dělníci, kteří zde pracovali, byli ale z nějakého důvodu vyhnáni z hradu zlým duchem. Rarášek straší o půlnoci v korunní síni. Své mohou říci i filmaři, kteří zde r. 1994 natáčeli pohádku Marie Růžička. Dopředu byli upozornění, že by v jedné z místnosti neměli natáčet. Nevěřili a brzy se přesvědčili, že Rarášek je nablízku. Zničil tři monitory a vysvětlení se nenašlo.
