Cardaillac a des origines très anciennes. Il peut estimer sa fondation au cours du VIIIe siècle et retient le nom de Bertrand de Cardaillac et la famille des Cardaillac qui, avec querelles et mariages, devient une famille très importante du Quercy. À l'ouest, un promontoire rocheux offrait un site favorable pour y batir une fortification. L'emplacement de ce « castrum » sur un éperon rocheux barré par une muraille en faisait une place forte très puissante. L'existence de ce "Fort" est signalée dans un acte datée de 1064. Au sud-est il existait en 1146 un prieuré de moines séculiers qui avaient construit l'église Saint-Julien au centre de leur exploitation agricole. Ainsi s'explique sa position eccentrique. Les autres parties du bourg se sont développées auprès de l'église, le long du chemin de Figeac, vers les villages du nord, rue Beauvert, et entre le chemin et le Fort, rue Sénéchal, place de la Tour, Cap del Castel.
À l'époque féodale, Cardaillac fût le siège d'une baronnie groupant 21 paroisses, dépendant d'une puissante famille qui en avait pris le nom et domina le Haut Quercy à cette époque. Pendant la guerre de Cent Ans et les guerres de réligion il sert comme des fortifications. Cardaillac a vécu la guerre de cent ans face aux anglais, a subi leurs assauts, a été pris en 1356 et occupé à répétition par les mercenaires des grandes compagnies jusqu'en 1388.
Quant à l'église Saint-Julien, on sait qu'elle était de style roman. Occupée pendant 30 ans par les protestants, elle fût rendue aux catholiques par l'Edit de Nantes en 1598 et, d'après un document de l'époque, dans un état de ruines à peu près complet. Vers les années 1570 il voit arriver la Religion Prétendue Réformée : les protestants, les huguenots, les calvinistes. La ville fut une des villes de sureté accordée aux calvinistes par l'édit de Nantes le 13 avril 1598. Richelieu qui, après la prise de La Rochelle et la paix d'Alais en 1629, « autorise » les protestants à démolir les fortifications. Où sont parties les pierres? Où sont parties les décorations des belles demeures?
En 1650 l'église était decrit comme en bon état, donc l'église actuelle aurait pu être édifiée sur les ruines du batiment primitif au XVIIe siècle. À nos jours l'église est restaurée. et on peut la visiter. De cette époque, il reste deux tours carrées du XVIIe et XVIIIe siècle, tours de défense et tours de puissance de la famille. À l'opposé du « Fort », vers l'est, l'église Saint Julien est le reste du prieuré qui à la même époque rivalisait avec cette puissance féodale. Cela pourrait expliquer les deux cloches : celle de l'église et celle du seigneur.Richelieu qui, après la prise de La Rochelle et la paix d'Alais en 1629, « autorise » les protestants à démolir les fortifications. Où sont parties les pierres? Où sont parties les décorations des belles demeures?
Avec la Révolution, la famille des Cardaillac n'occupe plus le « Fort ». Aux XIXe et XXe siècle Cardaillac créera des routes et des ponts. Elle semble s'ouvir au monde. Elle verra « la route » traverser le village : une rue ouverte en plein milieu du village où les habitants venaient flâner le dimanche et où sont situés les commerces.