A principios del siglo XIV, la Ciudad de Segovia que había recibido del Rey la donación de los territorios donde hoy se asientan, entre otros, los pueblo de Chinchón, Valdelaguna, Villaconejos, Titulcia y San Martín de la Vega, por su colaboración en la Reconquista, concede a los capitanes de sus mesnadas diversos privilegios para que se ocupen de la repoblación y colonización de estos territorios. Entre estos capitanes estaban los llamados “Quiñoneros”.
Los Quiñoneros formaban cuatro escuadrillas, denominadas de San Esteban, San Martín, San Millán y la Santísima Trinidad. La primera de ellas fue la que se estableció en el territorio de Chinchón, y a este santo se dedicó la pequeña ermita que fue construida en lo que era el pequeño asentamiento en el casco urbano actual, y que ahora está dedicada a San Antonio Abad.
La fecha de construcción de esta ermita ha sido motivo de controversia. Si tenemos en cuenta que estos territorios estuvieron dominados por los árabes hasta mediados del siglo XII y aún durante un largo periodo estuvieron prácticamente deshabitados hasta que se inició la repoblación por parte de la Ciudad de Segovia a principios del siglo XIV, no es lógico que se construyese la ermita antes de esta fecha. El hecho de que existan detalles románicos no significa más que los constructores se inspiraron en templos ya existentes, aunque en esas fechas ya estaban vigentes otros órdenes arquitectónicos. En la prestigiosa Enciclopedia del Arte Románico, que recoge todas las obras tanto religiosas como civiles del estilo románico en España, no tiene catalogada esta ermita de San Antón, por lo que se podrían deducir que los detalles, como el ábside redondeado o los canecillos del mismo, no han sido considerados suficientes para la calificación de la ermita como perteneciente a este estilo. Es pues muy probable que la iglesia se construyese en la época que estamos estudiando de principios del siglo XIV y no sea una restauración de otra ermita construida en los siglos anteriores, como se había pensado.
En una investigación arqueológica realizada recientemente en la Ermita de San Antón, se han descubierto varios dibujos en la parte interior del ábside, pero que corresponden a tiempos muy posteriores.