Dès le XVIème siècle les seigneuries voisines de Vaugaudry et du Plessis-Gerbault appartiennent déjà à la même famille, puisque les premiers seigneurs connus sont Jacques Pommier pour Vaugaudry et Jean Pommier pour le Plessis-Gerbault.
Au XVIIème siècle les deux seigneuries sont devenues la propriété d’une importante famille de magistrats établie à Chinon depuis le XVème siècle, les Dreux. En 1680, Anne Françoise Catherine, épouse de Philippe Dreux, maître des requêtes et conseiller du Roi, défraya la chronique pour ses relations avec le Duc de Richelieu et sa compromission dans l’affaire des poisons de « la Voisin ».
Au XIXème siècle, le sénateur Joubert, propriétaire, remania la propriété en construisant le château actuel sur un nouveau lieu, distant de l’ordre de 100 mètres de l’ancienne maison noble de Vaugaudry.
Ce lieu fut choisi car il bénéficiait pleinement de la belle vue sur la forteresse de Chinon. Il entreprit aussi de réaliser un mur d’enceinte clôturant ainsi les 58 hectares de la propriété.
La culture de la vigne, qui y était pratiquée depuis fort longtemps (cf. Rabelais), s’intensifia à partir de ce moment-là. Le chai fut construit à cette époque, comme en attestent une mosaïque et un dessin qui décorent ses murs et portent la date de « 1903 ».
Entre les deux guerres, les changements répétés de propriétaires, la mévente des vins de Loire, l’attrait pour des cultures concurrentes, se conjuguèrent pour réduire notablement le vignoble du Château de Vaugaudry.
En 1949, il fut finalement acquis par le Docteur Bonnet, grand-père de l’actuel exploitant. Depuis 1980, un retour à la vigne fut engagé, permettant au vignoble d’atteindre 15 hectares.