Jacques, seigneur de Loubens et de Verdalle, conseiller d’État, capitaine de cinquante hommes d’armes, est fait Chevalier de l'Ordre du Saint-Esprit par le roi Henri III en 1585 puis épouse Guillemette de Graves et de Sérignan en 1588. Il projette, dès le début du 17e siècle, de construire une nouvelle résidence en bordure du noyau primitif du village de Verdalle, et c’est son
épouse Guillemette, dame de Loubens et de Verdalle, qui va se charger de faire édifier le château de
Verdalle. Elle passe en 1606 un contrat avec les maîtres charpentiers Vidal Blanc et Mathieu Roussignol
pour la couverture du château, la constitution des étages, les menuiseries (AD Haute-Garonne, 3 E 20386,
fol. 217).
En 1608, elle passe un bail avec le maître maçon Pierre Augé de Revel pour percer des ouvertures et
effectuer des aménagements intérieurs tels que, entre autres, le pavement et les cheminées (AD Haute-
Garonne, 3 E 20386, fol. 270-271)
. Le bâti et l’escalier intérieur en pierre à deux volées droites sont tout
à fait caractéristiques des constructions de la première moitié du 17e siècle, ainsi que la demi-croisée d’origine, obturée, de grande dimension et dépourvue de mouluration, sur l’élévation nord de la tour nord-est. Les pièces en enfilade du rez-de-
chaussée révèlent un aménagement du 18e siècle. Après la Révolution française, la construction des dépendances est entreprise au sud-ouest de la cour. Les dates de 1826 et 1828 sont inscrites sur les clefs des arcs qui couvrent les portes.

La famille d’Auberjon acquiert le château en 1908 (tradition orale). Mlle d’Auberjon, que les villageois appellent tous « Mademoiselle », s’est inscrite dans les mémoires comme ayant été une femme de caractère et d’une grande générosité. Elle le prouve d’ailleurs encore une fois en 1957, quand elle lègue le château à la Congrégation des Sœurs de la Croix de Lavaur. Les sœurs s’y installent et apportent de nombreux agencements aux pièces, puis aménagent une chapelle dans la partie sud-est. Jean-Claude Izard, peintre-verrier et sculpteur installé à Sorèze, réalise en 1966 trois vitraux en dalles de verre ainsi que le tabernacle en bronze et le dallage. Le château devient propriété du diocèse d’Albi au début des années 1990 et abrite alors successivement plusieurs familles catholiques.

Le diocèse décide de la vente du château de Verdalle qui reste inoccupé durant quelques années avant de trouver un acquéreur en 2013. Francine Schneeberger, initiatrice du projet « Centre Colomblanche » et responsable du lieu, met dès lors tout en œuvre, avec son époux et ses amis, pour redonner à ce lieu dédié à l’accueil des personnes en quête de mieux-être et de la santé du corps et de l’esprit, une beauté nouvelle et une sérénité certaine.