Kdysi mohutný hrad byl založen v druhé polovině 13. století. Při stavbě Rotštejna řemeslníci částečně otesali skalní bloky, vytěžený kámen posloužil jako stavební materiál hradních zdí, okolní lesy dodaly dřevo na roubené či hrázděné části hradu. Ale již po roce 1433 však Rotštejn zcela mizí z písemných pramenů a počátkem 16. století je zmiňován „co hrad pustý.“
Nové obyvatele získala zřícenina v období třicetileté války, kdy se v ní ukrývalo prchající obyvatelstvo. To začalo v dutinách při patě skal a před nimi budovat provizorní příbytky. Postupně zde bylo, téměř jako hrozen pod torzem paláce, vybudováno pět usedlostí s chlévy. Tyto skalní místnosti využívaly vesničané z chalup přímo pod hradem ještě v polovině 19.století. Stopy po tomto sídlení jsou velmi dobře patrné dodnes, neboť tvoří turisticky atraktivní „labyrint“ v hlavním skalním bloku.
„…V těchto krásných koutech zemských Markvarticů žil kdys rod.
Měli dětí jako smetí, snad víc než jim bylo vhod.
Však už tenkrát byty nejsou a kam ty všechny děti dát?