Castel di Decima sorge su un’altura all’altezza del chilometro 8,5 della via Pontina. Deve il suo nome al fatto di trovarsi al decimo miglio dell’antica via Laurentina, dove in epoca romana c’era una stazione per il cambio dei cavalli, di cui restano alcuni muri, dei sotterranei e tracce di una piscina. Già una bolla di papa Gregorio VII (1073-1085) citava il "castrum Pontis Decimi", specificando che era di proprietà del Monastero di San Paolo, che lo aveva ricevuto da un certo "Crescentio filio Riccardo venatoris".

In seguito passò al Monastero di Sant’Alessio, che lo concesse in enfiteusi a Pietro Frangipane, come risulta in una Bolla di Onorio III del 1124.

Un disegno del Catasto Alessandrino (XVII secolo) ci mostra un piccolo centro abitato quasi completamente circondato da mura. In primo piano si riconoscono la piccola chiesa e l’ingresso merlato al Castello: Sullo sfondo si vedono alte torri.