Valdeolea conserva destacados ejemplos de arquitectura civil señorial. Los más antiguos son la torre de San Martín de Hoyos, declarada Bien de Interés Cultural en 2004, cuyo origen se remonta al siglo XIII, si bien se considera posterior al siglo XIV. Se trata de un bloque de mampostería, con vanos y esquinas de sillería, de planta cuadrada y 15 m de altura media, que domina el acceso al valle. Fue declarada Bien de Interés Cultural en 2004.
Datable ya en la Edad Moderna es la casa de González de Castañera, también llamada edificio noble de las Henestrosas de las Quintanillas, Bien de Interés Local desde 2003. Se trata de una edificación de gran tamaño con una gran fachada que cierra la corralada de anteriores bloques; en el centro está el acceso a la capilla de Santa Ana, de principios del siglo XVIII, que además de varias piezas muebles de interés conserva un conjunto de pinturas de carácter popular, ejecutadas al óleo sobre el yeso de los muros en fechas próximas a la construcción de la capilla.
