Die Ruine liegt auf einem Hügel oberhalb des Gatcombe Brook. Dieses ist ein V-förmig in den von Kalkstein dominierten Untergrund eingeschnittenes Seitental des Flusssystems des River Dart. Das Untergrundgestein wird zudem von Schiefer gebildet. Beide Gesteinsarten wurden als Baumaterial in der unmittelbaren Umgebung der Burg gewonnen. Zusätzlich wurden auch Sandstein und Granit verwendet.

In dem Tal befanden sich zudem die Fischteiche zur Versorgung der Burg sowie die zugehörige Mühle (Castle Mill)

Der Name „Berry“ wird abgeleitet von dem angelsächsischen Begriff burh und weist auf das Vorhandensein einer alten angelsächsischen Befestigungsanlage hin. Als weitere ältere Schreibweisen wurden auch „Bury“ oder „Beri“ verwendet. Das Land befand sich unter der Herrschaft eines Angelsachsen namens Alric, bis das Land und die Herrschaft an die Familie Pomeroy übergingen.

Nach der normannischen Eroberung Englands 1066 wurde der aus Nordfrankreich stammende Ralph de la Pomeraya für seine Unterstützung von Wilhelm dem Eroberer mit insgesamt 57 Gütern belehnt, von denen sich letztlich das heutige Berry Pomeroy, welches sich seit 1068 in seinem Besitz befand, als das bedeutendste entwickelte. Ein erstes befestigtes Haus wurde es im frühen 12. Jahrhundert in der Ortschaft neben der Kirche erbaut. 

Erstmals wird Berry Pomeroy Castle an seinem heutigen Ort 1496 erwähnt, als Elisabeth, Witwe von Richard Pomeroy, ein Drittel der Burg und des Vermögens als Wittum erhält. Dieses Dokument ließ den Schluss einer gleichzeitigen Nutzung des Hauses in der Ortschaft („mansonry“) und der Burg zu. Die Rosenkriege ließen der Familie Pomeroy den Bau einer modernen Burg sinnvoll erscheinen; in diesen war die Familie Pomeroy Anhänger des Hauses York, wohingegen der Earl of Devon Anhänger der Partei des Hauses Lancaster war.

Die Burganlage ist einer der letzten unter überwiegenden Verteidigungsaspekten errichteten Herrschaftssitze Englands überhaupt. Bisherige archäologische Befunde liefern keine Hinweise auf das Vorhandensein einer älteren Anlage, der Bauplatz der Burg wurde vor deren Errichtung von der Familie Pomeroy lediglich als Wildpark genutzt. Die Existenz einer kleinen Jagdhütte oder einer normannischen Motte an dieser Stelle wird aber aufgrund von Funden mittelalterlicher Scherben nicht ganz ausgeschlossen. 

Eine Rekonstruktionszeichnung der Burg aus der Zeit der Pomeroys zeigt eine mit vier Ecktürmen versehene Anlage mit einem unregelmäßigen und ungleichseitigen viereckigen Grundriss, der den Geländegegebenheiten und den aufkommenden Feuerwaffen Rechnung trägt und viele Merkmale einer Kastellburg (quadrangular castle) trägt. Hinweise für die Existenz einer Schildmauer oder eines Keeps gibt es nicht. Die Wirtschaftsgebäude und der mutmaßliche Palas befanden sich an der Ost- und der Nordwand der Umfassungsmauer. Von dieser ältesten, für das 15. Jahrhundert hochmodernen Anlage sind heute noch trotz der später erfolgten Umbaumaßnahmen erhaltene Teile das Torhaus, der St. Margaret’s Tower, Reste der Burgmauer, Reste des Burggrabens und Reste des Nordostturmes. Das Torhaus und der St. Margaret’s Tower hatten noch mindestens ein Stockwerk mehr, die heutige Eindachung des Torhauses ist modernen Ursprunges. Das an der Südwestecke gelegene Torhaus ist ein Zwillingsturm mit einem mit Fallgatter versehenen Tor und Geschützstellungen im Erdgeschoss. Die Schießscharten als bauliche Besonderheit sind wie im St. Margaret’s Tower, dessen Untergeschoss ebenfalls eine Geschützstellung war, die modernsten für ihre Zeit und ermöglichten es, mit verschiedenen Waffen gleichzeitig durch eine Scharte zu feuern, da der Schlitz mehrere Aussparungen hat. Das Torhaus weist zudem eine Wandmalerei mit der Darstellung der Anbetung durch die heiligen drei Könige auf. Dies gilt als Beleg dafür, dass das Torhaus auch als Kapelle gedient hat. Das Bild wird in die Nähe der flämischen Maler eingeordnet. Der St. Margaret’s Tower hatte in seinen oberen Stockwerken Funktionsräume, u. a. ein Munitionslager und Räume für die Wachmannschaft. Das Torhaus und der St. Margaret’s Tower mit seinem U-förmigen Grundriss waren mit der südlichen Burgmauer wegen ihrer Ausrichtung zur bergseitigen Angriffsseite im Vergleich zu der restlichen Burg verstärkt ausgelegte Bauelemente. Die begehbare angriffseitige Mauer hatte wohl auch einen Wehrgang. Von der westlichen Umfassungsmauer sind nur noch Teile sichtbar und deutlich schwächer. Von der östlichen Umfassungsmauer wurden Teile in den späteren elisabethanischen Bau integriert. Vom wesentlich schwächer ausgelegten nordöstlichen Turm sind Reste nachweisbar, die auf eine Funktion als Verteidigungswerk und als Teil der Wasserversorgung der Burg hindeuten. Der ehemalige Halsgraben ist im Torbereich verschüttet, aber im Bereich des St. Margaret’s Tower sind noch Reste sichtbar.

In der Hoffnung, sich eine Option auf einen Wiedererwerb der Burg zu eröffnen, trat Thomas Pomeroy mit Edward Seymour, 1. Duke of Somerset, einem Bruder von Jane Seymour in Kontakt, welcher die Herrschaft Berry Pomeroy 1547 von Carew kaufte. Edward Seymour erwarb um diese Zeit viele Güter in der Region. Vermutlich war er selbst nie in Berry Pomeroy, denn schon 1552 fiel er in Ungnade und wurde als Hochverräter hingerichtet. Sein jüngerer Bruder Thomas Seymour war an den politischen Entwicklungen, die dazu führten, nicht unbeteiligt. Die Ländereien fielen daraufhin an die Krone. Sein jüngerer Sohn aus erster Ehe und Ahnherr des heutigen Eigentümers, des 19. Duke of Somerset, Lord Edward Seymour, bekam 1558 nach langwierigen Verhandlungen die Burg samt Ländereien zurück, wobei die Titularien laut Testament des 1. Duke of Somerset an die Erben aus zweiter Ehe fielen und erst nach Aussterben dieser Linie im Jahre 1750 dann an dessen Nachkommen zurückfielen.

Nach der Übernahme der Ländereien begannen zwei Bauphasen. Der Halsgraben wurde größtenteils verfüllt. Zwecks Errichtung des im elisabethanischen Stil gestalteten sog. Elisabethan House wurde das an der Ostseite befindliche mittelalterliche Haupthaus beseitigt und zwischen 1560 und 1580 der neue vierstöckige Palas innerhalb der alten Umfassung errichtet. Von 1600 bis 1610 und danach noch bis 1630 im Zeitalter König Jakobs I. wurde das Ensemble von seinem Sohn Edward Seymour, 1. Baronet, sowie wiederum dessen Sohn Edward Seymour, 2. Baronet um einen Nordflügel - das sog. Jacobean House - erweitert, dessen Architektur wegen ihrer eigenständigen epochalen Bedeutung in England auch als jakobinischer Stil bezeichnet wird. Für die Errichtung dieses Gebäudes, das auch den neuen Haupteingang, eine aufwändige Loggia mit prachtvollem Säulengang und nach Norden gerichteten gewaltigen Fensterfronten erhielt, mussten auch Teile des elisabethanischen Hauses an der Nordseite zwecks Einbeziehung des Neubaus verändert werden. Weiterhin musste die gesamte nördliche mittelalterliche Verteidigungsanlage weichen, sodass bei den Arbeiten auch der mutmaßliche Nordwestturm verschwand und der Nordostturm nur noch in Resten erhalten blieb. Für die Zeit zwischen 1610 und 1630 werden weitere Umbaumaßnahmen wie der Einbau einer Küche und einer Brauerei angenommen, möglicherweise erfolgten kleinere Maßnahmen noch bis 1688. Ein geplanter Westflügel, für dessen Errichtung die westliche Umfassungsmauer schon teilweise niedergelegt war, wurde nie begonnen. Der Bau musste letztlich wegen finanzieller Schwierigkeiten der dann folgenden Generationen der Seymours ziemlich kurzfristig beendet werden.

Während des Englischen Bürgerkriegs kämpfte der 2. Baronet auf Seiten der Royalisten, geriet in Gefangenschaft und wurde in London inhaftiert. Berry Pomeroy Castle war nie in Kampfhandlungen verwickelt und war auch wegen der wegen Umbaumaßnahmen fehlenden Westmauer zu Verteidigungszwecken unbrauchbar; es könnte aber als Waffenlager für die royalistische Armee gedient haben. Es gibt keinerlei Hinweise für eine kriegsbedingte Zerstörung der Burg während dieser Zeit. Die Burg aber wurde samt dem zugehörigen Land von Oliver Cromwell beschlagnahmt und verkauft, ohne dass der Besitz aufgeteilt wurde. Seymours Frau gelang der Rückerwerb des Erbrechtes für ihren gemeinsamen Sohn Edward Seymour, den späteren 3. Baronet. Nach seiner Freilassung erhielt der 2. Baronet die Erlaubnis, weiterhin auf der Burg zu wohnen, wo er sich unter Aufsicht des Parlamentes befand und 1659 starb. Während der Glorious Revolution soll sich Wilhelm von Oranien nach seiner Landung in England 1688 bei Edward Seymour, 3. Baronet auf Berry Pomeroy Castle einquartiert und dort gefeiert haben.

Auch der 3. Baronet kämpfte im Bürgerkrieg auf der Seite des Königs. Im Zuge der Stuart-Restauration erhielt er daher die Burg zurück. Sein Sohn Edward Seymour, 4. Baronet wurde wie sein Vater zum Abgeordneten im House of Commons gewählt, wo er ab 1673 Speaker war. Aufgrund der großen Entfernung von Berry Pomeroy nach London, wo jetzt der Schwerpunkt der politischen Aktivitäten der Familie war, sowie auch wegen finanzieller Schwierigkeiten verlegte er seinen Wohnsitz nach Bradley House in Maiden Bradley in Wiltshire. Eine Inventarliste aus dem Jahre 1688 nach dem Tode des 3. Baronet belegt die noch gegebene Nutzung der Burg. Lady Anne, die Witwe des 3. Baronets, lebte bis zu ihrem Tode 1694 in der Burg. Deshalb wurde die Burg wohl danach von ihrem Sohn, dem 4. Baronet, aufgegeben, sodass eine über sechs Generationen währende Zeit der Seymours in Berry Pomeroy endete. Vermutlich hat er brauchbares Material der Burg verkauft, um den Ausbau von Bradley House zu finanzieren. Der Bericht des Ortspfarrers John Prince belegt, dass die Aufgabe der Burg sehr schnell erfolgt sein muss, da der Pfarrer die Burg vor ihrem teilweisen Abbruch als in einen sehr guten und prachtvollen Zustand befindlich beschreibt. Aufgrund des Berichts von Prince ist es als sicher anzusehen, dass Berry Pomeroy Castle durch die Abbrucharbeiten bereits 1701 zur Ruine geworden war. Hinweise auf einen Untergang der Burg durch Artilleriebeschuss oder durch einen Blitzschlag, wie volkstümliche Sagen berichten, gibt es nicht. Die archäologischen Befunde sprechen für einen geordneten Rückbau.

Nach den Rückbauarbeiten war die Fläche bald von Bäumen überwachsen, die Wände von Efeu bedeckt. Von dem elisabethanischen Haus ist noch der größte Teil vorhanden, vom Nordflügel existiert auch noch aufgehendes Mauerwerk. An der Stelle des geplanten Westflügels erkennt man noch bereits angelegten Verzahnungen für den Anbau. Bald wurden Künstler und Literaten auf die Ruine aufmerksam. Es existieren Bilder beispielsweise von Samuel und Nathaniel Buck, W. Gauci, C. F. Williams und Thomas Rowlandson, die auch den damaligen Zustand gut dokumentieren. Auch Romane wie von Edward Montague und Novellen sowie Gedichte entstanden bis in die heutige Zeit.

Sicherungsarbeiten durch die Eigentümerfamilie Seymour sind für das Jahr 1830 dokumentiert, im Jahre 1977 wurde die Verwaltung der Ruine durch die Denkmalschutzabteilung des Department of Environment übernommen, die heute als English Heritage weiterexistiert. Von 1980 bis 1996 wurden umfangreiche archäologische Untersuchungen und Sicherungsarbeiten durchgeführt, die von der Devon Archeological Society wissenschaftlich dokumentiert wurden.

Eine Reihe von Legenden ranken sich um die Burg und es wird behauptet, dass es dort spukt („the most haunted castle of England“). Sie ist deshalb auch immer wieder Ziel von Besuchen durch Esoteriker oder Geistergläubige. Die Legenden waren auch schon Anlass für Reportagen. Der Volksmund berichtet über eine weiße Frau, die der Geist einer im Margaretenturm im Mittelalter zu Tode gehungerten Dame aus der Familie der Pomeroys sein soll – eine Geschichte, die angezweifelt wird, da der Margaretenturm als Geschützstellung zur Zeit der Rosenkriege errichtet wurde. Auch eine blaue Dame soll dort umgehen, die der Geist einer durch ihren Vater vergewaltigten Pomeroy-Tochter gewesen sei und das aus dieser Verbindung resultierende Kind ermordet haben soll. Nun irrt sie angeblich nicht nur durch die Burg, sondern auch durch die umliegenden Wälder. Eine weitere Reihe von Erscheinungen wird berichtet, weiterhin auch alle Sinnesqualitäten betreffenden sowie psychische und körperliche Missempfindungen – zudem auch technisches Versagen von allerlei Geräten, wobei diese auch in der direkten Umgebung der Burg vorgekommen sein sollen. Der Heimatforscher Seymour ging davon aus, dass die Legenden schon vor der Errichtung der Burg dort existiert haben und im Laufe der Jahrhunderte auf die Burg übertragen wurden.