Uno de los monumentos más representativos de Chinchón es el Castillo de los Condes. Este monumento que espera pacientemente que se le busque un destino acorde con sus prestancia, ha tenido infinidad de utilidades, muchas de ellas no demasiado dignas de su categoría.
Fue fábrica de anisados, restaurante, vestuario deportivo cuando su plaza de armas se convirtió en campo de fútbol, lugar de expolio de donde se sacaban materiales de construcción y pasto de las llamas en varias ocasiones. Su trazado actual, que nos recuerda a fortificaciones fronterizas, se levantó como fortaleza residencia del III Conde de Chinchón, sobre las ruinas del antiguo Castillo que levantaron los Señores de Moya con autorización de los Reyes Católicos al crearse el Señorío de Chinchón y que fue destruido por los Comuneros. Este, a su vez, debió ser la reconstrucción de una fortaleza que fue la sede de los Caballeros Quiñones que tuvieron una dilatada e importante presencia en Chinchón. Pero esta no debió ser la primera construcción que existió en este lugar si hacemos caso a una leyenda, según la cual, en la época romana, allí se construyó lo que ellos llamaban "domus aquae", esto es, "Casa del Agua". Esto lo puede corroborar la existencia en la cimentación del castillo de unos grandes bloques de piedras que forman unos aljibes, cuya construcción difiere bastante de los sistemas constructivos de la Edad Media.
Es una leyenda que su autor anónimo fecha en el año 120 de nuestra Era, según la cual, Emilio Fausto que era centurión de la cohorte que mandaba Aurelio y que había acampado en Titultia, asentamiento en la calzada que comunicaba Emérita Augusta (Mérida) con Caesar Augusta (Zaragoza). Se casó con una joven natural de Chinchón y fue el promotor de esta construcción.
El Castillo de Chinchón ha sido testigo, desde su atalaya, de las distintas invasiones que ha sufrido Chinchón, y él mismo ha sufrido las consecuencias de la codicia de los invasores.
Sus cocinas han vivido los cambios de la gastronomía, y allí se cocinaron las viandas de los señores que dominaron nuestro pueblo.