Au Moyen Âge, le Sénégadès dans lequel se trouve Lacaze est sous la domination des Lautrec. Un premier château a probablement été construit au Moyen Age sur un éperon rocheux dominant un méandre du Gijou. Le site de hauteur plaide en effet pour une construction antérieure au château actuel. Il peut être identifié dans les vestiges d'un édifice conservé dans le soubassement nord du château du 17e siècle. Il reste une portion de la courtine et l'élévation d'une tour circulaire. Dans les sources, la première mention de Lacaze apparaît en 1266, à l’occasion d’un achat du mois de mai d’Amiel de Brassac à Bertrand II de Lautrec parmi lesquels figure le « mas de Lacaze ». Bringuier de Galand, seigneur de Barre, Lestiés et Gijounet, et sénéchal de Castres depuis 1418, acquiert le château au 15e siècle. Son fils, Antoine, sénéchal du Rouergue et lieutenant du roi, reçoit la seigneurie de Lacaze et sa fille, Marquise de Galand, contracte un beau mariage en 1519 avec Pierre de Châlon qui hérite des branches d’Armagnac, d’Albret et d’Amboise. Leur fille, Marie-Madeleine de Châlon, épouse à Paris le 18 mars 1598 Henri II de Bourbon-Malauze, premier marquis de Malauze et filleul d’Henri IV. Henri II de Bourbon-Malauze s’installe à Lacaze en 1598 et il faut certainement lui attribuer l’initiative de la reconstruction d’un ample château.£Le chantier revient néanmoins à son fils Louis qui est rattaché à la maison du duc d’Orléans et qui épouse en premières noces Charlotte de Querveno en 1638. En récompense de ses bons et loyaux services, la baronnie de Lacaze est érigée en comté en 1647. Elle comptabilise à elle seule un revenu de 30 700 livres, ce qui correspond à un des fiefs les mieux dotés de la montagne. Louis épouse en secondes noces, quinze ans plus tard, Henriette de Durfort, de la puissante famille de la Tour d’Auvergne qui lui apporte une dot de 100 000 livres. Cette alliance ayant certainement été propice au financement des travaux, il est encore possible de lire sur une pierre en remploi sur l'encadrement d'une porte de la façade sud : "MADAME ANRIETE DE DURAFOR, 1654". Son fils, Guy-Henri, héritier par alliance de la puissante famille des Lévis et des Cardaillac, est en possession de revenus très importants. Il fait élever une orangerie, un manège et de vastes écuries. Il s’attache aussi à améliorer le confort intérieur du château et commande une galerie de portraits de ses ancêtres pour la grande salle. Louis Auguste lui succède puis son fils qui finirent de dilapider la fortune des Bourbon-Malauze. Après 1744, le château resta inoccupé et se dégrada rapidement.£Le château est endommagé au cours de la Révolution. Il est racheté en 1805 par Louis Bernadou, marchand castrais qui le revend ensuite en parcelles. L'édifice sert alors de carrière de pierre. Un incendie ravagea les parties hautes du château en 1884. La partie nord de l'édifice a été redécoupée mais l'emprise ancienne du château se lit dans les étages de soubassement des maisons qui surplombent le Gijou. Le château a été inscrit au titre des Monuments historiques en 1927 et la partie sud a été acquise par la mairie en 1995, plusieurs campagnes de restaurations ont été menées depuis.