Hoewel minder bekend dan de kastelen van Beynac en Castelnaud, werd het kasteel van Fayrac gebouwd in de dertiende eeuw, en geherstructureerd in de eeuwen die volgden. Het was een vooruit geschoven positie van de Engelsen gedurende de Honderdjarige Oorlog, gebouwd om te waken over Beynac, aan de overkant, waar de Fransen het voor het zeggen hadden. Het kasteel kent twee onderkomens: een gebouwd aan het einde van de XVIe eeuw, de andere uit de Renaissance.
Dit fort is zeer goed bewaard gebleven dankzij zijn slechte imago doordat het ligt in de vallei en slecht te verdedigen is omdat het wordt gedomineerd door de kastelen die het omringen. Het kasteel Fayrac is helaas gesloten voor het publiek.
Indien u de linkeroever van de Dordogne neemt komt het kasteel in al haar pracht en praal op uw weg.