El nombre de Hermitage probablemente apareció por primera vez en el siglo XVII memoria de Enrique Gaspar, un caballero de Stérimberg: que habiendo regresado de las Cruzadas (siglo XIII) y cansado de hacer la guerra, vivió como un ermitaño en una ladera que Ana de Castilla, reina de España, le dio.