Quella che oggi viene riconosciuta come l'ultima, in ordine cronologico, villa del territorio vicentino ha origini esclusivamente religiose e tale rimase per molti secoli, fino all’arrivo dei Contarini, prima e poi dei principi Giovanelli, che dopo lunghi e importanti lavori di abbellimento la lasciarono come oggi la vediamo.

La chiesa di San Fermo era legata a Lonigo da una ripida ma comoda via che la rendeva parte integrante del borgo murato: infatti, nel sagrato c’era il cimitero come alla Pieve e parte del bosco era di uso pubblico.

La badia benedettina passò sotto la giurisdizione dei Canonici di San Giorgio in Alga di Venezia che tra i tanti priori ebbero anche San Lorenzo Giustiniani, primo patriarca di Venezia fino alla soppressione della Congregazione avvenuta nel 1668 per un accordo tra la Repubblica Veneta e la Santa Sede onde sopperire alle ingenti spese della guerra di Creta.

Acquistata dai Venier, l’abbazia passò ai Contarini e per eredità, nel 1834, ad Andrea Giovanelli, patrizio veneto ma non ancora principe. Se con i Contarini il convento più ricco di Lonigo prese l'aspetto di un rustico palazzo sempre dominato dalla ingente mole della chiesa di San Fermo, fu con Andrea Giovanelli, diventato principe nel 1846, che lentamente il complesso assunse chiaramente l'aspetto di villa acropolica, quasi un castello dominante il borgo ormai diventato città.

I Giovanelli tennero la villa di San Fermo fino al 1933 quando, passata in proprietà della Compagnia di Gesù, diventò sede di un noviziato dell'Ordine. Ai Gesuiti subentrarono nel 1968 i Figli di Maria Immacolata, Congregazione religiosa fondata dal venerabile Lodovico Pavoni.

Dopo anni di abbandono l’intero complesso della villa e dell'Abbazia ha avuto un radicale restauro (1983-1985), che ha dato notevoli risultati per la comprensione storica dei vari edifici. L'inaugurazione e la ripresa della vita di Villa San Fermo è avvenuta la domenica 8 giugno 1986, alla presenza di S.E. Monsignor Arnoldo Onisto vescovo di Vicenza.