Face à la gare de Tours et appartenant autrefois au couvent de la Visitation, l'histoire de ce jardin débute en 1634. Les religieuses, logeant non loin de là, décidèrent d'acheter ce grand terrain afin d'y construire leurs jardins d'utilité et un couvent. L'arrêté du 1er mars 1804 installera la préfecture sur le "ci-devant couvent de la Visitation". Le préfet embellira la propriété et changera un peu son côté mystique au profit de nouvelles décorations pour un parc plutôt de style anglais.

Aujourd'hui l'ancien jardin a été divisé en 2 parties avec le jardin privé du préfet et le square de la Préfecture. La réalisation de ce dernier fut confiée à Louis et René Descorges en 1932. Le square prit alors l'allure d'un jardin de style composite et fut d'autant plus mis en valeur, dès les années 40, avec l'ouverture de la rue Buffon (à l'ouest). En ce qui concerne le jardin du préfet, même s'il reste fermé au public, les magnifiques platanes qu'il renferme restent visibles du square.