Le château de Castelnau-Brenenoux, situé sur le promontoire à l'intersection des vallées de la Dordogne, de la Cère et les rivières Bave, est visible de loin et est facilement reconnaissable par le caractère distinctif rouge-brun de la pierre utilisée dans sa construction. Le petit village qui l'entoure sur les pentes inférieures est construit de la même pierre locale.
Les premiers barons de Castelnau apparaissent au 11ème siècle. La construction du château a commencé autour de 1100 sous Hugues qui ont construit un mur autour de son manoir. Il est l'ancêtre de la dynastie puissante de Castelnau, propriétaires d'une région riche et prospère et vassaux des comtes de Toulouse.
Le château a été prise d'assaut en 1159 par Henri II Plantagenêt et est restée sous la domination anglaise jusqu'à la fin de la guerre de Cent Ans au 15ème siècle quand il est devenu une fois de plus la propriété des barons de Castelnau.
Le plan du château est presque un triangle, avec une tour ronde à chaque angle. Le donjon carré et le bâtiment principal de l'époque médiévale subsistent. La conception originale a été très imposant, avec trois murs d'enceinte, les murs rideaux larges et neuf tours rondes. Le château fut agrandi à plusieurs reprises entre le 12ème et le 15ème siècle comme la nécessité de se défendre contre de nouveaux armements ont évolué. D'autres changements ont été effectués dans le 17ème siècle. Les grandes fenêtres et les salons richement décorés ont été ajoutés ainsi que le balcon d'honneur. Le château est tombé en ruine après la mort du dernier Castelnau en 1715. En 1895, il fut acheté par Jean Mouliérat, un chanteur à la Comique Opéra de Paris. Il a entrepris la restauration de certaines parties du château et il l'a meublé avec sa collection d'oeuvres de meubles et d'art sacré. Après sa mort en 1932, le château fut cédé à l'Etat.
Castelnau-Bretenoux ayant été retenu parmi les monuments de la Région Occitanie participant à la "Mission patrimoine", cette nouvelle source de financement permet d’avancer les importants travaux de la campagne globale de valorisation du château. Les travaux en cours en 2020 ont lieu dans la tour de l’Auditoire, résidence et logis médiéval remanié au XVIIème siècle. Cette aile a beaucoup souffert au XIXe siècle et nécessite des travaux de sauvegarde des maçonneries des façades et d’étanchéité de l’édifice. À l’intérieur, des travaux de conservation des vestiges de décors existants seront menés, ainsi que des travaux d’électricité avec mises aux normes.
Actuellement cette aile est à l’usage ponctuel des intervenants du festival de Saint-Céré, mais plus tard après son aménagement, elle sera ouverte au public.