Il castello corrisponde praticamente al centro storico di Pico, ed è situato sulla cima di una collina ai piedi dei Monti Ausoni, a circa 194 m sul livello del mare, praticamente tra la vecchia Via Latina, strada consolare che univa Aquino alla città di Fregellae, e la antichissima Via Appia che passa per Fondi e Formia.
Ha origini antichissime e purtroppo poco documentate. Secondo alcuni studiosi prese la denominazione da Picus, dio romano dei boschi, a cui i Prischi, antichi abitanti dei luoghi, innalzarono dapprima un'ara votiva, per poi impiantare, intorno a questo luogo di culto sito sulla cima di un colle solitario, una comunità vera e propria. Così, narrano, nacque il castello, fondato intorno al secolo XI da un certo Giovanni Scinto, signore di Aquino; intorno al castello, sulle ultime terre dei Volsci, si sviluppò quindi il paese di Pico.