Està situat al dalt de la Penya del Castell. S’accedeix per la carretera del poble a la Vila Joiosa, muntant el port conegut com a Collao: quan s’està exactament a l’altura del Km. 15, s’ha d’agafar un camí que hi ha a la dreta i està pràcticament perdut, però condueix al castell, fàcil de veure perquè té una creu de fusta visible que rep el nom de Creu del Castell. També es pot accedir pel camí del Collao (a trossos prou impracticable) que munta per la travessera el mateix port i condueix al mateix lloc abans citat. Un altre accés, bastant més difícil, és pel Calvari escalant la penya a partir de l’altura d’un dipòsit d’aigua.

Es considera que és de l’època almohade (segle XII), potser sobre un substrat anterior del segle XI. Abans de la conquesta cristiana fou el nucli central d’una aljama d’andalusins. El 1245 va passar als cristians, però el 1247, en sublevar-se Al-Azraq, tornaren a conquistar-lo els musulmans, moment que en que el cita un decebut Jaume I en la Crònica o Llibre dels feits. El 1258, vençuts els islàmics i expulsat el wazir de terres de cristians, tornà el castell a mans dels reis d’Aragó, i instal·laren uns quants ballesters per defensar-lo. Però el 1276, amb l’ajuda militar d’unes tropes que va reclutar Al-Azraq, els musulmans de la zona es declararen el rebel·lia, feren fugir als cristians (ballesters o no) que hi havia a l’aljama de Penàguila i ocuparen el castell. Però la incursió i sublevació durà poc temps: Al-Azraq fou derrotat i mort el mateix any a Alcoi, segons la tradició, i el castell de Penàguila passà a mans cristianes. El 1356, en la guerra entre Aragó i Castella, el castell fou assetjat per tropes castellanes. Els veïns del poble resistiren heroicament, feren retirar-se als castellans i el rei Pere IV el Cerimoniós atorgà al lloc la distinció de vila i li concedí el dret a tenir vot en les Corts Valencianes. Des del segle XVI, en què va perdre funció militar, està en runes. Qui el visite podrà veure, entre d’altres, restes de la torre d’homenatge i un bon tros de llenç en la baixada de la penya cap al N.