La maison borde les anciens fossés (boulevard Léonce Granié) de la seconde enceinte médiévale de Caussade. La maison a vraisemblablement été reconstruite au 18e siècle puis a connu d'importants remaniements dans les années 1980 si bien qu'il est difficile d'y repérer des vestiges de l'époque médiévale.£La partie la plus ancienne (visible en élévation) est une tour d'escalier en vis, accessible depuis la rue Gambetta (au n°4), par un passage couvert qui mène au fond d'une cour, au sud-est. Cette tour d'escalier peut dater du 16e siècle comme le suggèrent le portail sculpté en rez-de-chaussée dont la pierre est très altérée. Deux vestiges de croisée en pierre perceptibles sur l’élévation sud-est en brique confirment cette campagne de construction réalisée à l’époque moderne. Les portes (avec des piédroits arrondis en quart de rond qui se terminent par des congés et avec des linteaux en pierre chanfreinés) sont aussi contemporaines de la tour d’escalier. Ces portes desservent l'immeuble voisin (celle du rez-de-chaussée est obturée). L'iconographie de la sculpture au-dessus du portail n'a pas été précisément identifiée. Une coquille St-Jacques dans la partie supérieure est bien lisible. La partie basse comprend des personnages encadrés dans une petite architecture ornée de pilastres. Le bel escalier dans-oeuvre en bois est probablement une œuvre du 17e siècle. Il ne s’agit donc pas de l’escalier d’origine mais il présente un travail de menuiserie remarquable.£Au cours du 18e siècle, l'édifice est aménagé en une vaste demeure (ou hôtel particulier) comme Caussade en conserve certaines de grande qualité. Il ne subsiste plus de vestiges de cette époque à l’intérieur mis à part les deux caves voûtées en berceau segmentaire en brique en rez-de-chaussée, accessibles côté boulevard. Elles peuvent dater du 17e ou du 18e siècle. Seules les fenêtres de l'élévation nord-est sur la rue Georges Talbot ont conservé leurs proportions et leurs encadrements du 18e siècle. Le plan des fossés de Caussade dressé en 1777 indique que le propriétaire est alors M. Fraisse de Gouzes. Il est issu d'une riche famille protestante caussadaise (cf. C. Lenglet, Les Fraysse puis Fraysse de la Condamine et Fraysse Delon, Bulletin de l'AVCP, mars 2018). Cette branche de la famille n'a vraisemblablement pas été anoblie.£Le plan de 1788 indique une seule et vaste parcelle (n° 299) tandis que le plan de 1830 présente deux parcelles (n°678 et 679) appartenant à la veuve de Benoît Fraisse de Gouzes. La vaste maison en parcelle 679 compte encore 12 ouvertures imposables en 1830, ce qui est considérable. Sur les plans anciens, la tour ronde d'escalier est figurée et porte un numéro de parcelle distinct (n° 298 en 1788 et n°680 en 1830). L’escalier avait une double propriété (au moins au 19e siècle). En effet, en 1830, la moitié appartient à la veuve de Benoît Fraisse de Gouzes et l’autre moitié à Jean Thierdebard, boucher à Caussade et propriétaire également pour moitié du corridor (passage et cour). Jean Thierdebard est également propriétaire de la vaste maison traversante (en parcelle n° 683 sur le plan de 1830).£Dans les années 1980, l'élévation nord-ouest, boulevard Léonce Granié a été très modifiée. Les fenêtres présentent des encadrements en briques industrielles, des appuis et des linteaux en béton.