En Peñarrubia han sobrevivido vestigios del complejo sistema defensivo levantado a lo largo de la Edad Media en la zona. Además de los restos de la fortaleza altomedieval de Bolera de los Moros, todavía se conservan restos de tres torres góticas: El Pontón (también conocida como torre de Linares, Bien de Interés Cultural desde 1992), Berdeja y Piedrahíta. La primera, edificada entre el siglo XIV y el XV, ha sido completamente reconstruida; con 14 metros de altura, está rematada por almenas. Las otras dos están en ruinas. Estas tres plazas pertenecieron al linaje de los Linares, señores de Peñarrubia en la Edad Media y Moderna, que, todavía en el XVIII, seguían habitando la de El Pontón.

Además de estas muestras de arquitectura defensiva y de numerosos ejemplos de edificaciones populares que pueden verse en las distintas localidades del municipio, hay que señalar que en La Hermida cuenta con un interesante ejemplo de arquitectura decimonónica: el Gran Hotel inaugurado en 1881, donde se alojaban los visitantes que acudían al balneario de La Hermida.