Esta posición a poca altura, además de señorear las tierras de su feudo y controlar las comunicaciones de sur a norte de la provincia, ofrece las ventajas de encontrarse escondido ante las invasiones realizadas por mar (normandos, turcos, pitaras, etc.) y disponer de abundancia de agua para desarrollar sus propios cultivos y pastizales para la ganadería.


a construcción original data del siglo XII, aún que será con Pedro Álvarez de Sotomayor, conocido por el apodo de Pedro Madruga, con el que alcance su máximo esplendor, ya que llego a ser el epicentro de la actividad política del sur de Galicia durante el siglo XV.


No es el clásico castillo inaccesible, construido sobre rocas de difícil escalada. Si bien, por los lados oeste y norte existen algunas rocas y pendientes, por el este y sur, el terreno es liso y se puede alcanzar fácilmente los muros defensivos.

Finalizado el período feudal, el castillo con su productivo suelo de su entorno pudo adaptarse fácilmente, incluso conservando sus viejos muros defensivos a la nueva producción agrícola-ganadera de tipo pacego de la nobleza gallega arraigada en el campo.
Fue destruido durante la Revolución Irmandiña y Pedro Madruga intervendrá muy directamente en su reconstrucción.



Cerca y bien situado ya estaba el Castro de la Peneda, en donde en 1477, el Arzobispo de Santiago D. Alonso de Fonseca y Ulloa construyo el castillo de Castriçan para controlar al de Soutomaior, y que al regresar de su cautiverio en Castilla, Pedro Madruga conquisto y derribó, ocupando su sitio en la actualidad la ermita de la Virgen de las Nieves.

Una de las características del Castillo de Soutomaior es la gran variedad de técnicas constructivas empleadas, lo que prueba las muchas reconstrucciones llevadas a cabo a medida que los tiempos fueron siendo mejores y según fuesen siendo necesarios los perfeccionamientos en las fortificaciones.
El cambio más destacado fue en el siglo XIX cuando el castillo pasa a manos del Marqués de la Vega de Armijo con la construcción neogótica de la "Galería de Damas", éste lo transforma en una residencia de verano.

Su inmediata sucesora es su sobrina, la Marquesa de Ayerbe, conocida popularmente como la "Marquesa Roja". Fue una de las precursoras del movimiento feminista en España. Precisamente fue también la autora de una de las mejores publicaciones sobre el pasado del castillo. Su segundo esposo, el doctor Lluria, construyo un sanatorio en sus alrededores. Sin embargo, debido a sus actividades políticas, convirtieron a Soutomaior en un centro sospechoso de conspiraciones políticas y perdieron la propiedad en el año 1917.

En 1982 el castillo pasó a manos de la Diputación Provincial de Pontevedra quien encarga a un grupo de expertos la restauración del conjunto, procediéndose a un estudio histórico y análisis de su evolución constructiva, replanteándose todo el conjunto hasta llegar a la solución de enfatizar el diálogo entre fortaleza militar medieval y palacio medieval decimonónico. El fin de la rehabilitación se logra cinco anos después, en la que se reponen entre otros elementos; techos artesonados de madera del palacio neogótico; se sustituyen las carpinterías exteriores y se repone la cubierta del castillo por una estructura metálica, ofreciendo mayor volumen utilizable. La nueva modificación en la Galería de las Damas permite que esta sea visitable, ofreciendo un nuevo mirador sobre el patio de armas.

Hoy en día las viejas piedras de la fortaleza, juntamente con el Jardín que la rodea, destacan sobre las irregulares parcelas de cultivo que en suave pendiente descienden hasta el río. Constituye un paraje para vivir plácidamente de las comodidades que la naturaleza puede ofrecer, con abundancia de agua y bosques próximos con grandes posibilidades de caza, el deporte favorito en la época de los orígenes de este castillo, sin olvidarnos tampoco de la pesca que ofrecen los ríos del lugar.