En 1596, la confrérie des Pénitents blancs est fondée à Vallabrègues par Pierre Adalbert, Jean Raoulx, Jean Michel, François Tournayre, Pierre Védrine, Mathieu Nogaret, et Raymond de Lavie. Cependant, la confrérie ne possède pas de bâtiment jusqu’en 1615. Elle achète alors une cour contiguë à la maison de Jacques Darlhac pour y bâtir une chapelle. Lorsque l’église primitive de Vallabrègues s’écroule en 1666, le service divin est assuré dans cette chapelle pendant deux ans. Mais la municipalité considère l’endroit trop petit pour le culte et achète aux jésuites en 1668 l’ancienne demeure noble d’Antoine de Clermont de Verteillac et d’Anne de Pestel pour y établir une nouvelle église. L’arche centrale de la chapelle porte la date de 1764, sûrement la date des restaurations. En 1790, à la Révolution, elle est transformée en salle de réunion pour les Assemblées des Citoyens qui y élisent le premier maire de la commune, Louis Duplessis. Elle devient par la suite un entrepôt et un magasin. En 1809, la mairie souhaite la vendre. En 1898, elle est toujours propriétaire. Selon l’abbé Étienne Goiffon, elle est en mauvais état et menace de s’écrouler.  Elle est vendue finalement en 1920. La commune la récupère par la suite et la restaure. Aujourd'hui, elle sert, de salle de spectacles et fait partie de l'ensemble occupé par le Foyer rural et la bibliothèque.