Estamos a principios del siglo XX. Todavía sobrevivían las ideas altruistas y caritativas de siglos anteriores. En Chinchón había carencia de un lugar idóneo donde recoger a los ancianos, sobre todo, a los que carecían de medios. El día 13 de septiembre de 1903, a iniciativa de un grupo de vecinos, se convoca una junta de las personas más representativas del pueblo y acuerdan construir un asilo para ancianos desvalidos, con los fondos que se recaudasen por suscripción popular.Se crea un patronato formado por el Sr. Alcalde de Chinchón don Máximo Carretero de la Peña, el señor cura párroco don Filomeno Blanes Molina, y una junta de personas ilustres bajo la presidencia de don Ventura del Nero Fominaya, nombrando vocales de la misma al médico don Quintín Sánchez Rubio y al notario don Valerio Villalobos López.
Se recaudan rápidamente más de veinticinco mil pesetas y con ellas se compra un solar situado a la salida de la calle del Santo, de una extensión de catorce áreas que era propiedad de don Afrodisio Villalobos.
Se acometen las obras de construcción y es terminado totalmente el 19 de noviembre de 1904. Con fecha de 21 de diciembre del año siguiente se acuerda que deben pertenecer al patronato con carácter permanente, en calidad de vocales, el alcalde, el juez municipal, y el presidente de la Sociedad de Cosecheros.
Con fecha 3 de agosto de 1906 el Patronato cede el edificio, en escritura pública, a las Hermanas de Ancianos Desamparados, quienes se han desempeñado su caritativa labor a favor de los ancianos de Chinchón hasta nuestros días.
En las condiciones de cesión se estipulaba: "que debían tener siempre acogidos de ocho a veinticuatro pobres, mitad de cada sexo, inútiles para el trabajo, que tengan más de sesenta años o imposibilitados de cualquier edad, naturales de esta población o con residencia en ella de quince años".
Y como colofón de este apartado, hacer una cariñoso recuerdo a todas las monjitas que durante un siglo se han dedicado al cuidado de los ancianos, y en representación de todas ellas, dos que dejaron huella y recuerdo en todos los chinchonenses que las conocieron: Sor Mercedes y, sobre todo, Sor Primitiva que murió en el verano de 1965, después de una larga vida dedicada a sus queridos ancianitos.
Cien años después de su inauguración, las Hermanitas de los Ancianos Desamparados abandonan la Residencia de San José por decisión de su Congregación, haciéndose cargo de su gestión la Comunidad de Madrid.
