Attorno ad un'antica torre, tra il seicento ed il settecento, si sviluppò Palazzo Orengo che, nella seconda metà dell'ottocento, quando Thomas Hanbury acquistò la proprietà, necessitava di profonde ristrutturazioni: le coperture erano seriamente compromesse e i contadini ricoveravano nelle stanze interne i loro attrezzi. Gli architetti a cui si affidò Thomas erano inglesi, in particolare Arthur Foster. In un decennio la struttura venne ampliata sia verso il mare, con un'ampia loggia, sia lungo l'asse est-ovest, aggiungendo due ali laterali, dedicate rispettivamente alle cucine, alla sala da biliardo e allo studio, e sopraelevando di un piano la torre, rendendola ancora più panoramica. Fu Foster a progettare la loggia meridionale, ornata da marmi provenienti, molto probabilmente, dalle cave di Carrara, colonne tortili e archi a serliana.
La loggia del secondo piano era già presente al momento dell'acquisto da parte di Thomas Hanbury. Il restauro fu diretto dagli architetti Bourrit e Simmler. Sembra invece fosse già presente il portale di accesso al piazzale antistante la villa, restaurato la prima volta alla metà del '900 e rivisto nel 1989 dalla Soprintendenza dei Beni Ambientali ed Architettonici della Liguria.
Alla decorazione del palazzo contribuirono artisti come il mosaicista veneto Antonio Salviati, che realizzò il Marco Polo della parete laterale del portico d'accesso, lo scultore Giovanni Scanzi, che realizzò il busto del proprietario, Angelo Vernazza, che dipinse nel 1903 l'affresco che si trova nella loggia, raffigurante Carlo V che entra dalla porta Canarda a Ventimiglia. A Ettore Grandis si deve l'affresco del salone. Tutte queste opere celebrative possono essere ricondotte ad un gusto tardo romantico e sottolineano non solo la posizione sociale degli Hanbury, ma anche quella delle famiglie già proprietarie del luogo.
La ristrutturazione attuata da Thomas Hanbury mantenne il ruolo di struttura emergente della villa, aumentandone anzi la visibililità e la panoramicità già intrinseca nella posizione predominante dell'edificio che, anticamente, aveva ruolo difensivo e strategico; nè gli interventi lo ammodernarono troppo, mantenendo la torre e poderosi muri risalenti al passato.
