En las inmediaciones de San Martín de Valdelomar existen dos cuevas artificiales excavadas en la roca arenisca, cuyo contexto es el mundo eremítico altomedieval. El primer habitáculo, sito en la Peña de Castrejón, presenta vanos al exterior y habitaciones en torno a un espacio central. En este enclave se recogieron fragmentos de cerámica atribuible a los siglos VIII al XI. La otra cavidad artificial se sitúa muy cerca del pueblo de San Martín. Se trata de una cueva de una sola nave, rematada en cabecera de semicírculo irregular. Estas manifestaciones religiosas enlazan con la cultura eremítica rupestre, que se desarrolló con profusión en el Alto Ebro durante la Alta Edad Media.

También en la carretera comarcal que enlaza Quintanilla de las Torres con Villanueva de la Nía, en el paraje conocido como Peña Oracada, existe otro hipogeo excavado en un gran cantil de arenisca, que presenta una sola nave de 19 m de longitud y 2 m de altura. Otra cueva excavada en areniscas wealdenses se localiza en San Andrés de Valdelomar-Cezura. Asimismo, en el lugar del Tobazo, cuya denominación se debe al afloramiento de toba formado en la surgencia del sistema calcáreo del mismo nombre, hay tres cuevas artificiales que aprovecharon y remodelaron un cavernamiento natural preexistente de escasas dimensiones.