Nel III sec. a.C. la fortificazione fu conquistata da Roma e fu solo nel XIII secolo che la famiglia Colonna, acquistando il castrum da Papa Gregorio IX, iniziò la trasformazione del borgo che oggi vediamo. Attraverso i secoli il borgo passò agli Orsini, ai Borghese e al principe Camillo; tuttavia la struttura ed il fascino medievale restarono immutati, rendendo Olevano Romano meta di pittori e gli scrittori del nord Europa, che facevano tappa al borgo durante il Grand Tour.