Sono ancora visibili i ruderi di questi due antichi edifici fortificati, testimonianze di un tempo lontano in cui Lesa giocava un ruolo di notevole importanza politica ed economica per la regione del Vergante, tanto da venirne eletta capoluogo agli inizi del 1200.

Allora apparteneva agli Arcivescovi di Milano, possedeva un porto e godeva di antichi diritti di mercato. Divenne poi proprietà dei Visconti fino al 1416, anno in cui Vitaliano la assoggettò ai Borromeo, la potente famiglia che governò le terre del Verbano per oltre trecento anni.
Mentre poco o quasi nulla sappiamo del "Vecchio Castello", situato all'interno del borgo, si hanno invece alcune fonti che dimostrano che il "Castellaccio", costruito sulla riva e poi probabilmente distrutto da una piena del lago, era nel XIV secolo un posto di dogana per le merci trasportate.

Osservando i ruderi risulta comunque chiara l'età attribuibile ai due fortilizi: nel primo si possono ammirare un muro a scarpa con blocchi di pietra a vista, una finestra medievale murata, un portale con architrave a timpano e i resti di un altro portale murato sotto una nicchia che custodisce un affresco mariano; nel secondo, chiamato anche "Castello delle Monache" poiché appartenne al monastero pavese di San Salvatore o della Regina (998-1014), si trovano i resti di un recinto a pianta quadrata, alcune strutture murarie interne, una torre ad angolo sporgente e un unico portale verso la spiaggia.
Un vero peccato, comunque, che il "Castellaccio" si presenti in un grave stato di abbandono, immerso in un groviglio di vegetazione spontanea.

Per rimanere nell'ambito delle tracce lasciate dal passato, vale poi la pena segnalare anche "l'isola del pretorio", lungo via Pizzi, sede del podestà o pretore che venne istituito dai Borromeo per amministrare la giustizia in tutto il distretto del Vergante, ufficio soppresso soltanto nel 1800 sotto la Repubblica Cisalpina.