Zamek po raz pierwszy wzmiankowany jest jako Peskenstein w dokumencie wydanym w 1315 roku przez Władysława Łokietka. W I połowie XIV wieku Kazimierz III Wielki (Pieskowa Skała)

Zamek po raz pierwszy wzmiankowany jest jako Peskenstein w dokumencie wydanym w 1315 roku przez Władysława Łokietka. W I połowie XIV wieku Kazimierz III Wielki wybudował tu zamek, element łańcucha obronnych "Orlich Gniazd", składający się z dwóch części: górnej i dolnej. Górna, niezachowana, wzniesiona była na niedostępnej skale zwanej "Dorotką". W latach 1377-1608 zamek był siedzibą rodu Szafrańców – niektórzy z nich wykorzystywali go jako punkt wypadowy do napadów na kupców .