Castle Campbell war ursprünglich als Castle Gloom bekannt. Der Name leitet sich möglicherweise vom schottisch-gälischen Wort „glom “ ab, was „Schlucht“ bedeutet und sich auf die engen Schluchten zu beiden Seiten des Geländes bezieht.] Die natürlich geschützte Lage könnte im 12. Jahrhundert Standort einer Motte gewesen sein. Der heutige Turm wurde um 1430 für John Stewart, Lord Lorne (gest. 1463), oder einen seiner Verwandten erbaut. Um 1460 erwarb Colin Campbell, 1. Earl of Argyll (gest. 1493), das Anwesen anlässlich seiner Heirat mit Isabel Stewart, der Tochter Lord Lornes. Die erste urkundliche Erwähnung der Burg stammt aus dem darauffolgenden Jahr, als Papst Paul II. eine Bulle gegen Walter Stewart, den Sohn Lord Lornes, erließ, weil dieser den „Ort von Glom“ angegriffen und beschädigt hatte. Campbell, der sich zu dieser Zeit am päpstlichen Hof aufhielt, könnte eine Schlüsselrolle bei der Organisation des päpstlichen Eingreifens gespielt haben. Der Turm weist Anzeichen eines frühen Wiederaufbaus nach diesem Ereignis auf.

Die Übernahme von Castle Gloom dehnte die Macht der Familie Campbell von Argyll im Westen bis nach Zentralschottland aus und kam Colin Campbells Position als Hofmeister König Jakobs III. von Schottland entgegen, die seine häufige Anwesenheit am Hof ​​erforderte. Im Februar 1490 bat Campbell den neu gekrönten König Jakob IV. von Schottland, den Namen von Gloom formell in „Castle Campbell“ zu ändern, was durch ein Parlamentsgesetz geschah. Castle Campbell Act 1489 (Feb. c. 23). Die Namensänderung deutet möglicherweise darauf hin, dass der Begriff „Castle“ als besonders prestigeträchtig galt und seine Verwendung der königlichen Genehmigung bedurfte. Zu dieser Zeit bestand die Burg aus dem Wohnturm sowie weiteren Gebäuden, die um den Innenhof und die Gärten angeordnet waren. Der Ostflügel wurde vermutlich zuerst errichtet, und einige Zeit nach der Thronbesteigung des2. Earlsim Jahr 1493 wurde mit dem Bau des großen Südflügels begonnen. Diese Gebäude weisen Einflüsse der zeitgenössischen Bauten in Stirling Castle, dem heutigen King’s Old Building. Sie umfassten einen repräsentativen Wohnbereich mit Halle, Vorzimmer und Schlafzimmer mit großen, nach Süden ausgerichteten Fenstern, die den Blick auf die Gärten und das Devon Valley. Der Flügel bot zudem weitere private Unterkünfte und war über zwei symmetrisch angeordnete Treppenhäuser zum Innenhof hin zugänglich.

Im 16. Jahrhundert schloss sich der 4. Earl of Argyll (gest. 1558) der Reformation an und wurde einer der führenden protestantischen Lords seiner Zeit. Seine Familie unterstützte den calvinistischen Prediger John Knox während dessen Aufenthalt in Schottland in den 1550er Jahren. Knox besuchte Castle Campbell und predigte dort um das Jahr 1556. Im Januar 1563 hielt sich Maria Stuart, Königin von Schottland, anlässlich der Hochzeit von Margaret, der Schwester des 5. Earl of Argyll, und James Stewart, Lord Doune, drei Tage lang auf Castle Campbell auf. Zu den Feierlichkeiten gehörte ein Maskenball, bei dem Höflinge und Musiker als Hirten verkleidet Lauten spielten. John Knox missbilligte die Tänze. Knox kam im Februar 1564 persönlich wieder nach Castle Campbell und traf den Earl of Argyll.  

Es hieß, der Earl of Moray und der Earl of Argyll hätten geplant, Königin Mary und Lord Darnley auf ihrer Rückreise von Perth nach Edinburgh im Juli 1565 am Loch Leven vorbei gefangen zu nehmen.  Mary wäre vermutlich in Lochleven Castle oder St Andrews Castle inhaftiert und Darnley nach Castle Campbell gebracht worden, um ihre Heirat zu verhindern.  Nach der Heirat von Mary und Darnley im Jahr 1565 schloss sich Argyll anderen protestantischen Lords im sogenannten Chaseabout Raid an. Mary und Darnley nahmen die Kapitulation von Castle Campbell entgegen.