Lieu d'une séigneurie médiévale, la commune a été occupée depuis la préhistoire comme le prouve une grotte et des souterrains.

Elle est mentionnée dès le XIIe siècle comme étape du pèlerinage de Saint-Jacques-de-Compostelle. Elle accueille alors un hôpital tenu par les chevaliers de Saint-Jacques de l’Épée, ordre créé par Ferdinand II de León et de Galice pour soigner et protéger les pèlerins de Compostelle. L’hôpital fonctionne jusqu’au XVIIIe siècle. Il était situé à Louma tout près de l'actuelle église Saint Jean Baptiste qui est datée du XIème s, fut transformée au XVIème et au XVIIème. Restaurée de 2001 à 2011, les travaux ont révélés de remarquables peintures murales : une grande crucifixion datée de 1603 sur l'ancien portail sud, une autre scène sur le même mur de la nef et une scène de Jugement dernier datée de 1610 sur la surface voûtée.

Pour en savoir beaucoup plus sur l'importante histoire de Larbey un site fait à partir de l'étude historique faite en 1942 par l'Abbé Raphael Lamaignère curé à Saint Aubin =>

Une statue près de la mairie invite à prier Notre Dame des Champs elle est datée de 1893