Com a conseqüència de la carta pobla del 1278, els nous colons del poble estaven obligats a construir-se cases dins un recinte murallat. Les muralles, de les que queda algun pany, restes de torres i portals visibles, responen a l’arquitectura militar cristiana de finals del XIII i principis del XIV. Tenen similituds amb les d’Alcoi i Cocentaina. El conjunt fortificat és de planta rectangular i orienta l’eix principal de nord a sud. L’interior s’organitza en carrers, el principal –o carrer Major- segueix aquesta orientació i d’ell ixen cinc més estrets d’oest a est. La muralla no era igual en la vessant de llevant que en la de ponent. En la de llevant (carrer del Mar) aprofitaren el tall del barranc de l’Anadrac i sols alçaren llenç de mur i al nord-est la torre anomenada Vernet. En la vessant de ponent (carrer de la Verge del Patrocini) la muralla era imponent: alternaven llenços i torres de planta quadrada, encara que tot ha quedat desdibuixat i absorbit per les cases, per dins les quals es troben els restes (visibles des del carrer). Una d’aquestes cobria el principal accés al poble, el Portalet, per on segueix accedint-se al clos medieval. El Portalet és un curiós accés al poble medieval que impedeix entrar al poble en línia recta, i obliga a fer un doble angle de 90 graus a qui entra, el que evidentment augmentava la seguretat i el control sobre els que accedien o . De la torre Vernet, situada al NE de la muralla sols queda un fragment, i si el visitant des d’ella marxa cap al mercat veurà un imponent llenç de muralla medieval encastat en les cases del carrer.

Altres vestigis medievals del poble són l’ermita de Sant Roc i l’ermita del Calvari, on encara es poden reconèixer els elements característics del gòtic conquesta. També és gòtic el molí de Pere Joan, situat junt al riu de Penàguila en el camí que va a Benasau.