Dal piano terra, dopo i chiostri, dietro l'abside della chiesa di San Fermo, si entra nella piazza pavimentata di porfido che nell'Ottocento fu sede di memorabili feste con  la celebre Filarmonica leonicena diretta dal maestro Angelo Parodi. Limitata sullo sfondo dalla scalea che porta al parco, a destra dai locali per la servitù e il fabbricato della Cavallerizza e a sinistra, sopra le serre, dal teatrino «C. Goldoni».

Tutti questi locali hanno subito trasformazioni radicali fin dal tempo dei Gesuiti; il recente restauro non ha potuto che prendere atto di una situazione ormai gravemente compromessa. Se la perdita della Cavallerizza trasformata in palestra non è stata grave per la villa, anche perché l'involucro esterno con i suoi finestroni era rimasto intatto, particolarmente dolorosa è stata la distruzione dell'interno del teatro che aveva platea, loggia e palcoscenico e un soffitto dipinto dallo Scrosati. Il Marangoni scrive di un tondo con la figura della Fortuna, non specificando se su tela o ad affresco. Ora il locale  privo di ogni ornamento serve come sala di riunioni o per il cinema. Superata la breve gradinata si può godere in tutta la sua ampiezza il parco di Villa San Fermo, celebrato come uno dei più belli delle ville italiane dell'Ottocento.

L'idea di mettere a parco tutto il colle di San Fermo con gli eremi dei Cappuccini e di Santa Colomba venne al principe Giuseppe Giovanelli che affidò i grandi lavori di progettazione a Gaetano Balzaretto «il mago dei giardini milanesi». Il Balzaretto inventò la scalea a duplice rampa che idealmente collega la villa all'abitato sottostante e sistemò ad aiuole lo spiazzo a sud della villa; il resto è un parco all'inglese, romantico e pieno di suggestive invenzioni, come i sentieri che si perdono tra le alte piante, aerei ponticelli e grotte artificiali, tutti collegati da un ampio viale percorribile comodamente in carrozza. Dal fiumicello Brendola, che scorre lungo la strada ai piedi del colle il Balzaretto, mediante un bocchettone, prese l'acqua necessaria a alimentare il laghetto, ora prosciugato, molto romantico, con la vicina pista di pattinaggio circondata da un anello di acacie. Il viale, salendo la costa del colle, sbocca in un largo pianoro ove su un alto anello in pietra sorgeva il celebre Cafèhaus, una costruzione orientaleggiantein legno, distrutta da una incursione aerea ed ora sostituita da un gruppo scultoreo rappresentante la Sacra Famiglia.

Sul versante a mezzogiorno del colle, con ingresso autonomo dalla strada comunale, c'è l'antico convento dei Cappuccini, ora lasciato in completo abbandono, ma fin dal tempo dei Giovanelli immesso nel parco del Balzaretto come un rudere romantico. Con le rovine della chiesa secentesca ad unica navata e del piccolo convento si notano i resti del cosiddetto giardino d'inverno per la coltivazione, delle piante rare e preziose che dovevano abbellire gli interni della villa entro preziosi vasi di ceramica provenienti dalle più note fabbriche d'Europa. Il parco del Balzaretto, impreziosito da macchie di conifere, finiva presso Santa Colomba, sede di un antico eremo del tutto distrutto e sostituito dalla fattoria in stile svizzero costruita dai Giovanelli per i servizi agricoli di villa San Fermo. Scendendo, si può ammirare l'ingegnoso sistema delle pompe che sollevavano l'acqua dal laghetto artificiale fino ai giardini posti sui vari ripiani del colle. Purtroppo malattie, parassiti, il freddo invernale e disboscamenti del tempo bellico hanno assai impoverito l'idea originale del Balzaretto, che solo di tratto in tratto si può cogliere tra le nuove piantagioni di colore diverso da quello originale.