La maison natale de Vadier est située rue des Nobles ou du Vieux Evêché . La mère du futur conventionnel la vendit le 9 octobre 1755 à Jean-Baptiste Doumenc , chirurgien-juré , et acquit celle de la rue Boulbonne , habitée par Vadier avant la révolution
La maison de campagne était à Peyroutet dans la plaine de Montant ; la maison d’habitation des maîtres , complètement séparée de celle des colons quoique portant le nom du château , n’est qu’une habitation confortable et grande mais sans style . Elle est entourée d’arbres séculaires qui la rendent très agréable .
Dans la bibliothèque de Peyroutet figurent les œuvres de Voltaire, de Mably, de Saint Evremond , l’Histoire des Stuarts d’Angleterre de David Hume , l’Histoire du règne de Charles Quint de Robertson , l’Encyclopédie…
Après d’excellentes études au collège des Jésuites de Pamiers , continuées à l’école de droit de Toulouse , Vadier s’engagea dans le régiment de Piémont et y acquit une lieutenance sous le nom de Montfort tiré d’une de ses terres. A ce titre, il servait sous les ordres du maréchal de Soubise. Il put mesurer l’humiliante dégradation des armées de l’Ancien Régime , commandées selon le mot cruel mais vrai du grand Frédéric , par des généraux toujours battus et jamais battants. Il se trouvait comme lieutenant à Rosbach . Sa présence à cette bataille désastreuse servit de plus tard de prétexte à de nombreuses épigrammes.
L’avocat Linguet faisait ainsi débuter une de ses satyres : « Guerrier trop leste à Rosbach, Robin trop grave à Pamiers . »