No hay constancia exacta de cuando se trasladaron los pobladores de los asentamientos de la vega al pueblo, ni cuales fueron las causas que motivaron este traslado. Uno de los motivos que se han utilizado para justificarlo es la aparición de epidemias que se producían por la insalubridad de las aguas del río y de las aguas de las lagunas, que produjeron un brote de paludismo, y que en la zona del pueblo había mejores condiciones ambientales y sanitarias. Pienso que estas razones no tienen un fundamento sólido ya que en aquellos tiempos la contaminación de los ríos no podía ser demasiado alta y el clima de la vega era más suave que el de la meseta, aunque fuese también más húmedo.
Considero que fue en esta época cuando se produjo el traslado de estos asentamientos al pueblo y la causa que los motivó fue la necesidad de protección contra las correrías o razias de los vecinos árabes. Los caballeros quiñoneros que se asentaron en Chinchón no podían garantizar la seguridad de poblados tan distantes de su destacamento y era más fácil la protección en una zona elevada, donde se podían construir defensas, que en una zona abierta, como la vega, donde era más difícil defenderse. Y de esta época es la ermita de San Antón, que debía ser el centro de la población, que estaba en el promontorio que domina la llegada a Chinchón desde la vega.
Este lugar en la Jurisdicción de la Ciudad de Segovia es elevado a la categoría de Villa, entre los años 1465 a 1467, y en este intervalo de tiempo se debió construir la Iglesia de Santa María de Gracia. Desgraciadamente no ha llegado hasta nosotros ninguna información del estilo arquitectónico ni demás datos sobre la edificación. Sabemos que estaba ubicada junto a la actual torre, que fue destruida en 1808, que era pequeña y tenía escasa capacidad para albergar a todos los fieles cuando se creó el Señorío de Chinchón. Sólo conocemos un grabado fechado en el año 1756 que representa el altar del Santísimo Cristo de Gracia.
El plano está recogido del libro "Chinchón: Sociedad y Territorio" escrito por varios autores y publicado por la Editorial Complutense en el año 2002.