Se trata de un torreón construido en el siglo XVII cuyo nombre proviene del instrumento musical de viento chirimía, ya que era aquí, en su parte superior, donde en las principales fiestas y celebraciones se colocaban los músicos para entonar los himnos y demás canciones para honrar las festividades.
Era un mirador en el que los músicos actuaban y las personalidades del momento contemplaban los festejos del paseo de los Tristes, cuyo nombre en el callejero oficial es Paseo del Padre Manjón. El edificio fue uno de los primeros en introducir el estilo barroco.
En el año 2009, se planteó el proyecto de convertir la Casa de las Chirimías en un carillón de autómatas, según solicitud de proyecto que ha efectuado el Ayuntamiento de Granada y el Plan Turístico provincial, estando actualmente en fase de concurso de proyectos.
Durante varios años, ha sido sede de la Academia de Buenas Letras de Granada. En noviembre de 2006 fue declarada Patrimonio Histórico Andaluz por la Junta de Andalucía.
La casa de las Chirimías se levanta en un lateral del Paseo de los Tristes, junto al puente de igual nombre que, según Antonio Gallego Burín, pudo "ser el mismo que los árabes denominaron Qantarat Ibn Raxitq, rehecho en 1882".
La formalización del edificio responde al uso para el que fue concebido: Templete para tocar las chirimías y trompetas. Adopta la forma torreón de planta cuadrada, de casi 25 m cuadrados, con planta baja y dos alturas, delimitadas por imposta de separación. Desafortunadas intervenciones hicieron que perdiese su carácter exento al adosársele una edificación a su frente oeste. Al exterior se resuelve mediante muros de ladrillo visto con imposta de separación de plantas. La fachada más visible es la que mira hacia el Paseo de los Tristes, si bien la principal, y donde se sitúa la puerta de entrada, es la de Carrera del Darro. La tercera fachada exenta es la situada en el lado norte, de cara al río Darro y a la Alhambra. La fachada más occidental es la que actualmente cumple funciones de medianera.
La fachada principal se resuelve mediante huecos regulares simétricamente dispuestos. En planta baja se encuentran la puerta de entrada y una ventana con formas de arcos de medio punto. La primera planta presenta dos balcones adintelados, simétricos, con barandilla metálica. La segunda planta, en los cuatro frentes de fachada, cumplía funciones de mirador por lo que los balcones actuales son el resultado del cegamiento de las primitivas arquerías de medio punto. Las enjutas de esta segunda altura en la fachada de Carrera del Darro se decoran con volutas semicirculares cromadas en tonos verdes y recercadas por molduras.
La cubierta, que apoya sobre entablamento, es de madera a cuatro aguas, con teja árabe; las aristas se decoran con teja esmaltada que alterna el blanco y el verde.
La estructura interior responde a la función para la que fue concebido el edificio: Templete de música, careciendo por ello las plantas de subdivisiones. El espacio queda marcado por el ritmo que imponen las pilastras, visibles, y el cuadrado solo queda roto en una esquina por la escalera de subida.