Die Burg ist auf einer recht großen Felsenanlage errichtet, die ihre Geschichte schon weit in der Vergangenheit hat. Durch den großen Felsen ist die Anlage auf mehreren Ebenen verteilt. Alles über diverse Treppen (über 600) verbunden. Der Felsen wurde in seiner Frühgeschichte mehrmals belagert. Der Angriff der Wikingerkönige Olaf und Ivar von Dublin im Jahr 870 war mit Abstand der schlimmste. Nach einer viermonatigen Belagerung verschleppten die beiden Sklaven und plünderten Schätze mit 200 Langschiffen. Edward I. von England eroberte die Burg 1296, doch die Schotten entrissen sie ihr nach Sir William Wallaces Sieg in der Schlacht von Stirling Bridge (1297) zurück. Drei englische Ritter, William Fitrzwarin, William de Ros und Marmaduke Tweng, wurden daraufhin gefangen genommen. Sie waren die ersten namentlich bekannten Gefangenen der Burg. Im Jahr 1489 belagerte Jakob IV. die Burg zweimal, um ihren rebellischen Verwalter, John Stewart, Earl of Lennox, abzusetzen. Jakob hatte schließlich Erfolg, nachdem königliche Geschütze, darunter die mächtige Mons Meg, von Edinburgh Castle herbeigeschafft worden waren. Während des Bürgerkriegs, der auf die Flucht Maria Stuarts nach England folgte, fand ein waghalsiger Überfall statt. In den frühen Morgenstunden des 1. April 1571 erklommen 100 wagemutige Männer unter der Führung von Hauptmann Thomas Crawford die schwindelerregenden Höhen der nordöstlichen Felsenseite, um die Burg von der „Königspartei“ unter Führung des Erzbischofs von St. Andrews einzunehmen.