Inscrit à l'inventaire supplémentaire des monuments historiques le 13 juin 1991. Ce qu’il en reste aujourd’hui est occupé par l’Hôtel de ville. Le château de Pons fut presque totalement rasé sur ordre de Richelieu et de Louis XIII, peu après la capitulation de 1621.

La longue dynastie féodale des sires de Pons s'est effacée à partir de 1586 avec Antoine, dernier héritier mâle. Par le mariage de sa fille Antoinette, la seigneurie passe à une lignée collatérale des Albret dont les représentants ne feront que timidement réparer, à partir de 1623, les édifices malmenés.

A l'aplomb des ruines féodales et du vieux rempart, un long et banal manoir sans style, réduit aux premiers besoins, a été construit par Henri 1er d'Albret. C'est aujourd'hui l'Hôtel de Ville.

Seul l'héritier de la troisième génération, César Phébus d'Albret, Maréchal de France, après 1652 et les atrocités de la Fronde va allonger l'étroit manoir d'origine sous la forme d'un édifice plus large, à deux étages sur caves voûtées.

Mais il faut préciser que, faute d'entretien, on devra, en 1816 démolir la partie centrale, menaçant ruine, du nouveau château, ce qui explique la placette séparant actuellement les deux corps de bâtiments. C'est également au Maréchal qu'on doit le large escalier de pierre, assez audacieusement accroché au rempart médiéval, conduisant à des jardins bordant un bras de la Seugne.

A l'extérieur, les éléments remarquables de la période d'Albret qui font face à la vallée sont le magnifique escalier accolé aux remparts et la galerie sur arcades qui fait avancement en façade, au-dessus de la falaise. Cette élégante galerie aux arcades aérées est une création à peine plus tardive de Marie d'Albret, la fille du précédent. Depuis le jardin public en terrasse, on admire l'esthétique de l'ensemble et on remarque en retrait sous les arches, les restes des soubassements du château médiéval.

A l’intérieur, les deux plafonds peints du XVIIème siècle de l'Hôtel de Ville, situés le premier au rez-de-chaussée de la tour Sud, le deuxième dans la grande salle au rez-de-chaussée dite salle de réunion. Classés monument historique le 12 juin 1992.

Le patrimoine de Pons fait l’objet de protection au titre des Monuments Historiques de manière à préserver ces éléments remarquables