Dovrebbe essere stato eretto nel tardo Seicento, può darsi sulle rovine di una vetusta fortificazione.
Appartenne ai conti Della Porta, infeudati di Urio nel 1731 e, antecedentemente, può darsi vi abitassero i Salazar. Fu poi dei Castelbarco, quindi dei Melzi, nei primi anni dell'Ottocento. Questi ultimi completarono l'elegante dimora, sistemando il vasto parco con la scalea ed il caratteristico cavalcavia che scende verso la riva del lago di Como.

Maria Teresa d'Asburgo Lorena, consorte del re di Sardegna Carlo Alberto, ne divenne proprietaria in seguito. Maria Teresa tenne personalmente il castello per un breve periodo di tempo, cedendolo poi agli Avogadro di Collobiano, che più volte vi ospitarono il primo re d'Italia, Vittorio Emanuele II, con la consorte, Maria Adelaide, anch'essa una Asburgo Lorena.

Dopo altri passaggi di proprietà, da anni il castello è possesso dell'Opus Dei e vi si tengono convegni della Fondazione Rui.