El Papa Pio V había regalado al III Conde de Chinchón, don Diego Fernandez de Cabrera y Bobadilla, que era embajador de España en Roma, la reliquia de una espina de la corona de Nuestro Señor Jesucristo, y un crucifijo de marfil, que perteneció al oratorio del mismo Papa.
Posiblemente el Conde, al regresar a España trajo hasta Chinchón, además de estas reliquias, la nueva advocación de la Virgen y se debió empezar a construir una pequeña ermita, extramuros de la villa, entre los dos caminos de Valquejigoso, en el sitio conocido como “Pozo de las nieves”.
Por estas fechas se estaba restaurando el castillo de los condes que había sido destruido setenta años antes, en la guerra de los comuneros, y estaba en plena construcción la Iglesia de la Piedad, en la plazuela de Palacio, que se había iniciado en el año 1534, y se terminaría en el año 1626. Esta iglesia que nació como capilla de los condes y para acoger a los fieles por ser insuficiente la pequeña iglesia de Santa María de Gracia, es la actual parroquia de Chinchón, bajo la advocación de Nuestra Señora de la Asunción.
No sabemos la fecha exacta de la construcción de la ermita ni de la fundación de la Cofradía de nuestra Señora del Rosario, pero debió ocurrir en los últimos años del Siglo XVI.