A partire dal 1522, durante la proprietà dei Conti Taverna, la costruzione assunse l'aspetto di un vero palazzo, seppure con la funzione di villa di delizie, cioè di residenza adibita agli svaghi, che mantenne per tutto il secolo successivo. Intorno al cortile quadrato, con un pozzo nel mezzo, venne costruito il loggiato, con un ala signorile su due piani rivolta verso il giardino interno, che si estendeva fino agli orti dei Cappuccini di Porta Orientale ed era curato secondo lo stile all'italiana, probabilmente abbellito da fontane, statue e labirinti di mirto. Sul fianco ovest sorgevano le scuderie, mentre l'ala est era destinata alla servitù.
È possibile supporre che quando il palazzo fu acquistato dai Conti Lambertenghi, nel 1731, più di dieci anni dopo la scomparsa dell'ultimo propietario della Famiglia Taverna, mentre Milano passava dal dominio spagnolo a quello austriaco, il complesso si presentasse invecchiato, trascurato e poco rispondente al nascente gusto del secolo del Barocchetto lombardo. Inoltre, con l'estendersi dei confini cittadini fino ad inglobare il Borgo, i bastioni andavano in quegli anni perdendo la loro funzione difensiva trasformandosi in un giardino sopraelevato adatto al corso delle carrozze. Cospicui furono, quindi, i rimaneggiamenti operati dai Lambertenghi, soprattutto alla facciata. Furono aggiunte due ali laterali a un solo piano, sviluppandola in linea orizzontale, e sulla strada vennero aperti un balconcino e tre eleganti portali (di cui si conserva oggi quello principale), mentre le finestre vennero incorniciate.
Il carattere fin qui appartato del complesso giustifica l'oscuro episodio che vi ebbe luogo all'inizio del Seicento. Fu qui che cercò rifugio il Conte Gian Paolo Osio, amico dei Taverna, braccato dalla giustizia e già condannato a morte per diversi omicidi consumati in seguito alla sua relazione clandestina con Virginia de Leyva, meglio nota come la Monaca di Monza. Tuttavia Cesare Taverna, stimato senatore, per ragioni di opportunità politica fece accompagnare lo sgradito ospite nella cantina, dove, ricevuta una frettolosa assoluzione, questi fu tramortito a bastonate e murato in una nicchia. Secondo la leggenda il fantasma dello sciagurato si aggira ancora per i sotterranei di palazzo Isimbardi.