Le origini sono incerte, forse si trattava di un borgo, sorto lungo il tracciato di un ramo secondario dell'antica via Clodia, intorno ad roccha e torre che i nobili del X secolo costruivano per difendersi dalle invasioni dei saraceni. Lo stesso nome "Castrum Brachiani" che risulta nei rari e frammentari documenti del periodo, denota l'origine militare del luogo. Verso la fine dell'XI secolo il territorio di Bracciano divenne proprietà della famiglia dei di Vico, che trasformò la torre in una rocca e realizzò nuove fortificazioni.
In seguito venduto dai Vico all'ospedale di Santo Spirito in Sassia divenendo poi, nel 1375, proprietà della Chiesa.
Nel 1419 papa Martino V cedette il feudo ad un ramo della famiglia Orsini, quello di Tagliacozzo, a cui si devono i profondi ampliamenti e ricostruzioni. A seguito di difficoltà finanziarie, gli Orsini furono costretti a venderlo, ma con il tempo e con molta diplomazia, riconquistarono la considerazione del Pontefice e ne ripresero il possesso.
Nel 1560 Paolo Giordano Orsini, nominato Duca di Bracciano, sposò Isabella de' Medici, ma poco tempo dopo, però si innamorò di una donna romana, Vittoria Accoramboni, per liberarsi della moglie, la uccise e poi commissionò l'omicidio del marito di Vittoria.
Paolo Giordano II, successore del Duca, diede avvio all'industrializzazione di Bracciano, costruendo un acquedotto che dalle colline di Manziana scendeva a Bracciano per alimentare quattro fucine per azionare una cartiera e una tipografia.






Quando la potenza degli Orsini decadde il Castello fu venduto all'asta nel 1695 e fu comprato dagli Odescalchi, la famiglia di papa Innocenzo XI, per essere rivenduto ai Torlonia nel 1803. Qualche anno dopo, grazie al matrimonio del principe Livio III, avvenuto nel 1861 con l'erede polacca Sofia Branicka, il castello ritornò in possesso degli Odescalchi che ne sono ancora oggi i proprietari.