Dominant la plaine vallonnée du pays de Saintonge, un promontoire escarpé, surplombant une vallée où serpente les bras marécageux de la Seugne et où se noue son confluent avec la Soute, a été un site idéal pour établir une place forte de défense et de surveillance : PONS.

Ce sont les gaulois (tribu des Santones) qui vont les premiers adapter à leur profit tout l’intérêt stratégique du sommet du promontoire. Il y ont en effet édifié un Oppidum (établissement fortifié) couvrant environ 60 hectares, dont un rempart de terre et de pierres formait le côté non protégé. Cet oppidum semblait être la capitale économique et politique des santons avant l’occupation romaine.

Dès le haut Moyen Age, Pons sera doté d’un château fort qui commandera une châtellenie dont l’étendue ne cessera de croître pendant sept siècles.

A l’époque féodale, le château était une forteresse d’étendue considérable, protégée face à la vallée par un rempart construit sur la falaise rocheuse dont il épousait les contours capricieux. Une première enceinte délimitait la « cour » proprement dite, où se trouvaient les seigneurs, leurs familles, les chevaliers et la garnison armée. Cette enceinte était, suivant les textes anciens, pourvue de « quatre grosses et fortes tours » (parmi lesquelles il faut probablement comprendre le donjon).

Du côté des terres, où était née une bourgade, le mur de l’enceinte extérieure se développait en demi lune à partir du donjon, suivait le tracé de l’actuelle rue du château d’eau pour rejoindre la base de la chapelle Saint-Gilles et les remparts.

Quelques marches permettent de descendre jusqu'au porche Saint-Gilles, qui fut l'entrée principale du château. Passant sous la chapelle, avec laquelle il est parfois confondu, il a été fermé à son extrémité au 17ème  siècle par les d'Albret pour être transformé en orangerie. C'est un bel exemple de l'architecture romane du milieu 12ème  siècle.

Dans l'ensemble de cette muraille droite et sans mâchicoulis, s'ouvraient aux moins six portes placées sur les chemins principaux accédant à la ville. La plus grande partie de ces défenses a été rasée (sauf le donjon) après 1621, à la suite de la prise de cet ancien bastion huguenot par les armées de Louis XIII.

Quelques vestiges encore visibles, parfois audacieusement accrochés au rocher, des infrastructures souterraines retrouvées, permettent de se faire une idée assez exacte de cette énorme réalisation conçue dans le style militaire en usage à cette époque où l'artillerie n'existait pas encore.

On en voit des portions épousant les contours de la falaise au sud du château. Au nord, prés de l'angle des rues des Eparades et des Ecoles, on peut encore voir une section parfaitement conservée sous la forme d'une grande archère biaise.