Au 17e siècle le château n'est plus mentionné dans le Fort de Verdalle. Le seigneur de Loubens, seigneur de Verdalle, projette alors de construire une nouvelle résidence en bordure du fort pour bénéficier de grands espaces dans le but d'aménager un jardin d'agrément régulier et un parc.
C'est en effet la dame Guilhamettes de Graves et de Sérignan, dame de Loubens et de Verdalle, qui fait édifier le château de Verdalle au tout début du 17e siècle. Elle passe en 1606 un contrat avec les maîtres charpentiers Vidal Blanc et Mathieu Roussignol pour la couverture du château, la constitution des étages, les menuiseries (AD Haute-Garonne, 3 E 20386, fol. 217). En 1608, elle passe un bail avec le maître maçon Pierre Augé de Revel pour percer des ouvertures et effectuer des aménagements intérieurs tels que le pavement, les cheminées... (AD Haute-Garonne, 3 E 20386, fol. 270-271). Le plan du château est simple, un corps de bâtiment rectangulaire bordé de deux tours rectangulaires. Les caractéristiques constructives du bâti sont tout à fait caractéristiques des constructions de la première moitié du 17e siècle, ainsi que la demi-croisée d'origine, obturée, de grande dimension et dépourvue de mouluration, sur l'élévation nord de la tour nord-est.
En revanche, le réaménagement de la partie centrale du château est à replacer dans la 2e moitié du 17e siècle sur le modèle du grand escalier tournant et suspendu à jour central du palais épiscopal de Castres. En effet, la reprise de la partie axiale se solde par l'aménagement d'un grand vestibule central ouvrant sur le grand escalier à volées droites, suspendu et à jour central. Suit, au 18e siècle, une campagne de modernisation touchant les pièces en enfilade du rez-de-chaussée, petit salon et salon équipés de cheminées au linteau à courbe et contrecourbe et motif central.
Après la Révolution française, la construction des dépendances est entreprise à l'est de la cour. Les dates de 1826 et 1828 sont inscrites sur les clefs des arcs qui couvrent les portes. La famille d'Auberjon acquiert le château en 1908 (tradition orale) et en 1957, Mlle d'Auberjon lègue le château à la Congrégation des Soeurs de la Croix de Lavaur qui s'y installe et aménage une chapelle dans la partie sud-est. Jean-Claude Izard, peintre-verrier et sculpteur installé à Sorèze, réalise en 1966 trois vitraux en dalle de verre ainsi que le tabernacle en bronze et le dallage. Le château a été propriété du diocèse jusqu'au début des années 2000 puis il est passé dans le domaine privé.
Chargée d'Inventaire au CAUE du Tarn