Depuis l'époque médiévale, la maison forme probablement un ensemble avec sa voisine dite de la Taverne. Sur les plans cadastraux des 18e et 19e siècles, les deux maisons sont représentées par une unique et vaste parcelle comprise entre la Grande rue allant de la porte St-Gauzy à la porte Vermeille (actuelle rue de la République) et la promenade (actuel boulevard Didier Rey). La maison semble dater du milieu du 13e siècle pour les parties les plus anciennes. Plusieurs vestiges sont en place du rez-de-chaussée au comble (portes en arc brisée, niches murales avec des briques montées en tas de charge, niche murale couverte en mitre par deux briques en bâtière, armoire murale, etc.) L'ensemble est remanié à la fin du 15e siècle ou au début du 16e siècle. Adossé à l'élévation sud-est, un escalier en vis entièrement en bois avec un noyau plein montant de fond permet alors de desservir les niveaux. Des croisées en calcaire sont percées sur les élévations sud-est et sud-ouest et quelques aménagements intérieurs sont effectués (cheminées, placards ?). Une porte aux piédroits en brique chanfreinée avec un linteau en calcaire taillé en accolade se trouve dans les probables extensions du 15e siècle, au sud-est. Au 17e siècle, suite aux comblements des fossés de la ville, la maison est aménagée en un plus vaste ensemble foncier (type hôtel particulier) donnant sur un jardin (côté promenade). Une partie des élévations au nord-est (côté promenade) et l'escalier extérieur en pierre datent probablement de cette période ainsi qu'une cheminée au deuxième étage. Au cours du 19e siècle, une maison remplace le jardin afin de poursuivre l'alignement sur le boulevard Didier Rey. Un passage est tout de même conservé pour accéder à la cour intérieure. Au milieu du 19e siècle, les bâtiments abritent une manufacture de chapeaux comme en témoignent encore aujourd'hui les nombreuses étagères en bois présentes à tous les niveaux. L'usine à chapeaux est la première usine fondée par André Rey à Caussade (en 1857). La cour intérieure semble vitrée dans les années 1930, une grande baie vitrée est également percée sur l'élévation nord-est à cette époque. Le passage menant à la cour est obturée au 20e siècle, condamnant ainsi l'accès à la maison en coeur d'îlot qui n'est, depuis lors, accessible que depuis la venelle qui borde la maison dite de la Taverne, rue de la République.