Grezay est un site d'habitat très ancien. On y a trouvé des pierres taillées datant de la préhistoire.

Vers 1300, Jean des Noues, appartenant à l'une des plus vieilles familles du bas-poitou, devient vassal du seigneur Geoffroy de Grezée.

De 1670 à 1770, la famille Baudry d'Asson a vécu à Grezay.

Au XIX, la demeure est remaniée : rehaussement important de la maison de maître, fermeture de la cour et construction du porche. Et cela, dans le style clissonnais, d'inspiration Italienne : utilisation de la brique autour des portes et fenêtres, utilisation de la tuile pour les gênoises, ouvertures avec arc en plein cintre appareillé de briques.

Trois châtaigners multiséculaires se dressent en ce lieu, témoignant du passé. Ils sont alignés, laissant à penser à une plantation qui devait être plus importante à l'origine. En effet, au moyen-âge, les châtaigners constituaient une part non négligeable de l'alimentation hivernale.

Plus anecdotique : jusqu'à la première guerre mondiale, une plate-forme en bois, installée dans l'un des arbres, recevait joueurs de cartes et promeneurs des environs.