Der erste Wohnturm der Burg mit Z-Förmigem Grundriss wurde 1546 erbaut. Nach der Plünderung und Brandschatzung durch James Graham, den 1. Marquess of Montrose, wurde das Gebäude 1645 restauriert.
1770 ließ General James Grant aus dem Amerikanischen Unabhängigkeitskrieg (dessen Geist die Burg heimsuchen soll) Anbauten anbringen. 1850 schuf der Architekt Thomas Mackenzie weitere Anbauten. Die 1878 erstellten Anbauten wurden während der 1965 durchgeführten Modernisierung größtenteils wieder abgerissen.
Über die Jahrhunderte war die Burg das Heim des Clan Russell und der Familie Macpherson-Grant.
In der Burg befindet sich eine bedeutende Sammlung spanischer Gemälde aus dem 17. Jahrhundert. Das Speisezimmer von Ballindalloch Castle soll von einem Geist namens „Green Lady“ heimgesucht werden.
Auf dem Anwesen der Burg finden sich ein Steingarten aus dem 20. Jahrhundert und ein Taubenhaus aus dem 17. Jahrhundert. Die Flüsse Spey und Avon fließen durch das Anwesen und gelten als exzellente Fischgründe. Die berühmte Rinderrasse Aberdeen Angus wird auf dem Anwesen gezüchtet.
Heute lebt immer noch die Familie Macpherson-Grant in der Burg. In den Sommermonaten ist sie für Touristen zugänglich. Eine Reihe von Werkstätten auf dem Gelände werden heute noch betrieben.
Es heißt, die Burg hätte eigentlich an einem besser zu verteidigenden Standort errichtet werden sollen. Als aber die Bauarbeiten begannen, wurde des Nachts eingerissen, was am Tage vorher gebaut worden war. Schließlich hörte der Bauherr, den das Problem sehr ärgerte, eine mysteriöse Stimme, die sagte: „Baue in den Kuhwiesen und es wird keine Unterbrechungen mehr geben!“ Er hielt sich daran und es gab keine weiteren Probleme mit dem Bau
Die Ländereien von Ballindalloch und Glencairnie wurden 1498 von König James IV. an John Grant of Freuchie vergeben, obwohl sein Großvater 1457 als "Crown Tacksman of Ballindalloch" beschrieben wird. Es war wiederum Johns Enkel, der ebenfalls John Grant hieß und um 1542 mit dem Bau der Burg begann.
Ballindalloch Castle wurde zu einer Zeit erbaut, als in den Highlands Clan-Fehden herrschten und die englischen und schottischen Monarchen ihre Habgier auslebten, und war einst sowohl eine Festung als auch ein Familiensitz. Die ursprüngliche Burg hatte die Form eines "Z", wobei der Wohnbereich, ein dreistöckiger quadratischer Steinblock, im Norden und Süden von zwei hohen runden Türmen flankiert wurde, die jeweils zwei Seiten des Rechtecks schützten. Die Flüsse Spey und Avon bildeten im Norden und Westen einen natürlichen Wassergraben, und der Eingang zur Burg wurde von einer Vorrichtung bewacht, die dazu diente, Steine und Abwässer auf unerwünschte Besucher zu werfen.
Seitdem ist es rätselhaft, dass John Grant seine Burg nicht auf dem höher gelegenen Gelände etwas weiter östlich errichtet hat. Wenn es eine strategische oder geografische Erklärung gibt, dann ist sie verloren. Alles, was wir haben, ist eine Legende. John Grant befahl seinen Steinmetzen, auf dem Hügel eine Burg zu errichten, aber mehr als einmal fand er bei Tagesanbruch die Fundamente in Schutt und Asche gelegt im Flussbett des Avon. Schließlich beschloss John Grant, seine junge Burg nachts zu bewachen, nur um festzustellen, dass er und sein Mauerwerk von einem mächtigen Windstoß, der von den felsigen Toren des Ben Rinnes herabfegte, vom Hügel gefegt wurden, begleitet von einer dämonischen Stimme, die ihn anflehte, seine Burg "on the coo haugh" zu bauen. So kam es, dass Ballindalloch Castle auf der "Kuhwiese" am Ufer des Flusses Avon errichtet wurde.
[spoiler]Für die Geschichte von Fin und Bran wurde Ballindalloch Castle viel früher erbaut und an den Loch Ericht versetzt.[/spoiler]
Cluny Castle
Die Cluny's Cage
Clan-Legende besagt, dass Ewen Macpherson von Cluny, Chief of Clan Macpherson , sich neun Jahre lang nach Culloden vor der Regierungsarmee in einem clever konstruierten Versteck auf Ben Alder versteckte. Diese Struktur war als Cluny's Cage bekannt, was sie von mehreren Höhlen unterschied, die er auch war zugeschrieben, besucht zu haben. Niemand weiß genau, wo das Versteck war, aber Ben Alder kann gesehen werden, wie er von Dalwhinnie aus Loch Ericht hinunterschaut. Cluny's Cage ist auch der Ort, an dem er Bonnie Prince Charlie Zuflucht gewährte, bevor er nach Frankreich zurückkehrte.
Im 14. oder 15. Jahrhundert errichtete der im Clan Chattan organisierte Clan Macpherson mit Cluny Castle einen Lairdsitz. Vermutlich handelte es sich eher um ein Wohnhaus mit leichter Befestigung als um einen Wehrbau. Die Macphersons kämpften beim zweiten Jakobitenaufstand 1745 auf jakobitischer Seite. Im Nachklang der entscheidenden Schlacht bei Culloden verheerten Regierungstruppen unter dem Duke of Cumberland die schottischen Wehrbauten der Highlands. In diesem Zuge wurde 1746 auch Cluny Castle geschleift. Duncan Macpherson ließ das heutige Cluny Castle vermutlich am selben Standort errichten. Der um 1800 begonnene Bau wurde 1810 abgeschlossen. Später im Laufe des Jahrhunderts pachtete Andrew Carnegie Cluny Castle, bevor er 1898 Skibo Castle erwarb. Um 1890 wurde der Nordwestflügel ergänzt und der Eingangsbereich überarbeitet.
Cluny Castle steht rund drei Kilometer östlich von Laggan abseits der A86 nahe dem linken Spey-Ufer. Stilistisch ähnelt das zweigeschossige Herrenhaus den Arbeiten Robert Burns. Das Mauerwerk der südexponierten, drei Achsen weiten Hauptfassade des zweigeschossigen Herrenhauses besteht aus grauen Granitquadern. Kolossale ionische Pilaster flankieren das durch einen Segmentbogengiebel bekrönte hölzerne Eingangsportal auf der Zentralachse. Ungewöhnlicherweise tragen die Pilaster kein Gebälk, sondern schließen mit blanken Steinquadern unterhalb des Kranzgesimses. Es flankieren venezianische Fenster in flachen, rundbogigen Aussparungen. Die Sprossenfenster des Obergeschosses sind zu Drillingen gekuppelt. Die Fassade schließt mit einer Zinnenbewehrung und kleinen auskragenden Tourellen. Aus dem schiefergedeckten Walmdach treten kleine Walmdachgauben heraus. Abseits der Hauptfassade besteht das Mauerwerk aus Bruchstein.
Die Stallungen befinden sich rund 200 Meter nordwestlich von Cluny Castle. Sie stammen aus dem frühen 19. Jahrhundert und weisen einen L-förmigen Grundriss auf. Ihr Mauerwerk besteht aus grob zu Quadern behauenem Bruchstein. Das Gebäude ist in drei Bereiche untergliedert; einen Wohnbereich rechts, die Stallungen links und die Remise in der Mitte. Letztere ist mit zwei Segmentbogentoren ausgeführt. Der Wohnbereich wurde im Laufe der Jahre verändert und erweitert. Die Eingangstüre schließt mit einem segmentbogigen Kämpferfenster. Die Schleppdachgaube ist neueren Datums. Drei Lukarnen durchbrechen die Traufe
Der rund 350 Meter südwestlich von Cluny Castle gelegene Privatfriedhof ist nicht ausschließlich den MacPhersons of Cluny vorbehalten. Es handelt sich um ein rundes, durch eine Bruchsteinmauer umfriedetes Areal. Der früheste Grabstein stammt aus dem Jahre 1801. Es handelt sich jedoch vermutlich um eine deutlich älteren Friedhof, der zuvor vermutlich als St. Clarment’s Graveyard bezeichnet wurde. Seine Pforte ist mit gemauerten Pfeilern mit aufsitzenden Betonurnen ausgeführt. Die Torflügel sind gusseisern.
