Rappresenta un perfetto esempio di sfarzosità sul Lario.
Fu voluta, nel 1782, da Innocenzo Odescalchi, discendente dell’omonimo pontefice, che diede l’incarico all’ottimo Simone Cantoni. La costruzione fu terminata nel 1796.
I nipoti Raimondi ereditarono Villa Olmo nel 1824. Il marchese Giorgio Raimondi aveva avuto tra i suoi ospiti l’imperatore d’Austria, il principe di Metternich e il maresciallo Radetzky, tutti nel 1838.
Nel 1883 la proprietà fu acquistata dal duca Guido Visconti di Modrone.
Nel 1926-27 il Comune di Como entrò in possesso di Villa Olmo, adibendola a sede di importanti manifestazioni culturali e artistiche. Dal 1982 Villa Olmo è anche sede del Centro Alessandro Volta, prestigioso organismo scientifico collegato a atenei e a scienziati di fama internazionale.