Site gallo-romain au lieu dit l'Eglise-Basse, le bourg se réfugia au 14e siècle derrière les remparts du nouveau château construit par Adhémar d'Aigrefeuille sur l'éperon. Construit dès le XIIIe siècle, cet ancien castrum a été le siège d’une seigneurie des barons de Castelnau-Gramat. La terre eut le titre de baronnie jusqu'en 1789.
Surplombant les vallées de la Dordogne, de la Cère et de la Bave, la cité médiévale de Loubressac dresse sur son promontoire son château, un manoir du 15e siècle qui domine le bourg, son église et les toits de ses maisons coiffés de belles tuiles brunes. Le panorama que propose du haut du vieux village fortifié est splendide. De ce balcon du Haut Quercy avec deux points de vue, on voit au nord-ouest la vallée de la Dordogne et le château de Castelnau. Au nord-est on voit le château de Saint-Laurent-les-Tours, la maison de Jean Lurçat, et les premiers contreforts du Massif Central. Pas loin, on trouve les châteaux de Turenne et de Montal et la ville de Saint-Céré . Loubressac dispose également de richesses intrinsèques, commes ses ruelles étroites et sinueuses, ses maisons bâties en belles pierres ocres, ornées de balcons et d'escaliers fleuris ou garnis de treille et ses anciennes portes, et l'église Saint Jean-Baptiste, chapelle du 13e siècle avec son Christ en majesté et ses lions en marbre rose d'origine carolingienne.
Tout cela fait de Loubressac un village attachant où il fait bon vivre. De Loubressac partent de nombreux chemins de randonnée qui relient tous les hameaux environnants. En les sillonnant, le visiteur découvrira au hasard fontaines ou dolmens, et débouchera sur le causse tout proche. Tous les ans au mois d'août, grande foire à la brocante avec toutes collections anciennes et curiosités. Parking organisé et Buvette.
Pour la petite histoire, le célèbre film « Quelques messieurs trop tranquilles » de Georges Lautner y fut tourné en 1972.