Cuentan las crónicas antiguas que las campanas de la torre tañían para convocar a los vecinos del Concejo al ayuntamiento general, para que reunidos en el pórtico de la iglesia de Santa María de Gracia, tratasen los asuntos propios de la gobernación del pueblo. Pero la torre a la que se hacía mención no era la que actualmente podemos ver, aquella tuvo que ser derruida, por estar en estado de ruina.
"El estado ruinoso de la torre de esta iglesia, y situada en un paraje en que "además de estrechar el sitio por donde pasaban las procesiones no se oían las campanas en gran parte del pueblo" , el año 1713 se acordó hacer otra a cuenta de los bienes de propios y limosnas de los vecinos. Duraron las obras hasta el año 1727. Construyéndose después (1755) por Tomás de San Pedro Calderón, el capitel que costó 21.000 reales, en el que se emplearon, entre otros materiales, 1.500 pizarras y ochenta arrobas de plomo. A su terminación, el reloj de la villa que siempre, -desde el primero que hubo (1579), construido por el relojero de la Puebla de Montalbán, Gaspar de Rojas, en el precio de 22.100 maravedises-, había estado en una casilla expuesta a todos los vientos, a los pies de la iglesia nueva, se puso en dicho capitel, con esferas a oriente, mediodía y poniente".
Años después tienen lugar los atroces sucesos del año 1808 y sólo la torre sobrevive al incendio y al saqueo, aunque destruyen el capitel, el reloj y las campanas. Se acuerda, en el año 1856, reconstruir solamente la torre, sustituyendo el capitel de pizarra y plomo por el tejado que tiene actualmente, colocándose dos años después un nuevo reloj con una sola esfera en el muro de mediodía.
Pasaron 36 años y el día 24 de mayo de 1890 se coloca un nuevo reloj de la Empresa Canseco de Madrid, que habían patentado un nuevo sistema de relojes de torre. El Ayuntamiento pagó por el reloj 1.950 Pesetas.
En ese mismo año se debió terminar la tapia de la cuesta que sube hasta la Iglesia, según consta en una piedra colocada en el centro de la misma, en la que aparece gravado ese año.
Por este motivo la torre quedó sin iglesia, aunque, después, daría servicio a su vecina parroquia, que se había quedado sin torre.
La torre perdió las campanas y así permaneció durante largos años, hasta que se quitan las de la Iglesia de la Asunción en la reforma del año 1967-68 y se trasladan a la torre. A esta circunstancia hacía mención José Manuel de Lapuerta en una poesía que dedicó a la torre y que él titulo:
La Torre sin campanas.
Una torre sin campanas,
Vieja, solitaria y pobre.
No la desdeñes, poeta:
Dale tus versos de bronce.
Versos de ladrillos rojos
Como el color de la torre.
Versos de campana herida
Que repiquen en la noche.
Para que sólo la escuchen
Los olivos desde el monte
Y las ruinas del Castillo
Y la Ermita de San Roque,
Y se calle a la mañana,
Cuando otras campanas doblen,
En la vecina Parroquia,
- vieja Capilla del Conde -.
Durante el día... ¡silencio!
Que sólo cante en la noche,
Y el aire lleve sus versos
A los olivos del monte.
En el año 1992 la Comunidad de Madrid efectuó una restauración del tejado, así como de toda la tapia contigua a la torre.
