Castillo de Oreja
Desde la Vega de Colmenar de Oreja podemos observar los restos del Castillo de Oreja al otro lado del río Tajo.
El origen eminentemente militar de Oreja queda patente por su historia como por la silueta que dibuja su castillo, hoy en ruinas, sobre el horizonte.
Al antiguo paraje romano de Aurelia fue elegido por los musulmanes en el siglo X, como lugar idóneo para la instalación de un enclave defensivo frente a los cristianos; aunque a finales del XI paso a manos de éstos. La leyenda cuenta que formaba parte de la dote de la princesa Ziada, hija del rey taifa de Sevilla, al desposarse de Alfonso VI de Castilla, después de la llegada de los almorávides.
Tras la Batalla de Uclés en 1108 se perdió el castillo, cayendo en poder de los almorávides y obligando a los cristianos a desplazarse a la margen derecha del río Tajo. De esta forma, conseguían paso libre a través del Tajo hasta las puertas del mismo Toledo. Entre 1113 y 1139 la población constituyó un auténtico pasillo hacia la capital hasta que el el asedio al castillo, llevado a cabo por Alfonso VII en 1139 logró la rendición de los musulmanes y recuperó de nuevo la fortaleza; tea lo cual firmó el «Fuero de Oreja». Mas tarde, Alfonso VIII, en 1171, lo entregó a la Orden de Santiago (junto al término fijado en el «Fuero de Oreja») con el fin de reforzar la frontera y frenar una nueva invasión morisca.
No es hasta la Batalla de las Navas de Tolosa en 1212 cuando se asienta el dominio cristiano y la fortaleza pasa a la retaguardia, perdiendo el sentido militar primigenio. Desde entonces gozó de prolongadas estancias de sus señores, entre ellos el Maestre de la Orde de Santiago Rodrigo Manrique, padre del poeta Jorge Manrique. Igualmente pudieron residir en él Enrique IV e Isabel de Castilla; aunque seguiría en la órbita santiaguista durante años. Posteriormente entro a formar parte de las posesiones de Guitérrez de Cárdenas, importante personalidad castellana de finales del siglo XV y hombre de confianza de los Reyes Católicos. Si bien, no gozó demasiado tiempo de su propiedad, ya que pasó a los Condes de Colmenar y, más tarde, a los Duques de Frías. En esta época había comenzado la decadencia de la población, que pasaba de mano a mano por distintas casa nobiliarias.
Carlos I la recuperó para la Corona, adjuntándola a la tierra de Aranjuez. Sin embargo su población no consiguió recuperarse y se fue distribuyendo entre las localidades cercanas, entre ellas Colmenar, que pasa así a ser la primera población de la comarca.