Omdat het kasteel van Cuijk bij wijze van wraak verwoest werd, nadat Floris de Zwarte in 1133 door de Heren (Godfried en Herman) van Kuyc (lees "Kuuk") vermoord werd, werd na hun terugkeer uit de verbanning, rond het jaar 1140 dit kasteel te Grave herbouwd. We mogen dit ook als de stichting, het ontstaan van Grave beschouwen en de reden dat Grave later de hoofdstad van "den Lande van Cuyk" werd. De Heren van Kuyc hebben het Kasteel tot ± 1400 bewoond, waarna Grave onder Gelre's bewind kwam. Van Hertog Arnoud van Gelre, welke zeer belangrijk voor Grave is geweest, is bekend dat hij in 1465 door zijn ontaarde zoon Adolf gevankelijk over de bevroren kasteelgracht ontvoert en gevangen gezet werd in Buren, om daar 6 jaar later pas bevrijd te worden door Karel de Stoute aan wie hij uit dankbaarheid kort voor zijn dood zijn gebied schonk. Omdat Grave en den Lande van Cuyk in die tijd regelmatig van eigenaar wisselden heeft het Kasteel veel verschillende bewoners gekend. Van Brabanders tot Geldersen, van Spanjaarden tot Fransen, enz. Nadat de vesting in 1672, weliswaar door een tactische fout, onbeschadigd in Franse handen viel, werd tijdens de belegering door een Staats leger, onder aanvoering van Luitenant-Generaal Rabenhaubt, in 1674 een groot gedeelte van de stad, waaronder helaas ook het Kasteel, onherstelbaar verwoest. Op slechts enkele tientallen meters afstand van de Hampoort heeft het Graafse Kasteel gestaan. Juist in de tijd dat deze Hampoort tot stand kwam (1688), werd het kasteel gesloopt, omdat nieuwe, wat aan de tijd aangepaste vestingwerken nodig waren. In het kader van de ingrijpende wijziging in die omgeving, kreeg ook het poortgebouw aan de westzijde van de Voorhof een nieuwe bestemming: van 1675-1689 heeft de voormalige hoofdpoort naar het Kasteel gediend als kruitopslagplaats. Toen werd besloten tot bouw van een nieuw kruitmagazijn, maar mogelijk is dat besluit niet onmiddellijk uitgevoerd. Tot 1898 bleef deze kruitopslagplaats bewaard, maar werd toen omgebouwd tot kapel voor het "Gesticht voor rustige Krankzinnigen" zoals op de bouwtekening te lezen staat. Na sloop van het Kasteel en het opwerpen van een cavalier of kat ter plaatse van de hoofdburcht gaf de Raad van State opdracht tot de bouw van kazematten onder de noordzijde van die kat. Ze zijn er nog. Aan de oostzijde van de Voorhof bleef de bestaande bebouwing bewaard. Daar lag het in 1534 gebouwde wagenhuis, haaks staande aan "het lange huys", dat voor een groot deel samenvalt met het nog bestaande hoofdgebouw; in 1534 aangeduid als "timmer- en turfschuur". Het wagenhuis was nieuwbouw in plaats van een woonhuis dat werd aangekocht en gesloopt in 1533. De eindgevel van dat wagenhuis grensde aan de straat die toen al "Achter de Marsstal" heette, duidend op een paardenstal die in de rekeningen van 1534 niet genoemd wordt, maar op een grondplan van het kasteel uit 1541 wel aanwezig is, en staat op de huidige hoek St. Jorisstraat en Achter de Marsstal. Mogelijk is dus die paardestal ouder dan de vermelde nieuwbouw. Bouwhistorisch onderzoek kan wellicht op vragen antwoord geven. Al voor 1674 is het hoofdgebouw als 's Land Magazijn in gebruik geweest, later bekend als Arsenaal, tot in 1818 de katholieke schuurkerk of wat er na het zware bombardement op Grave in 1794 van over was (die stond in de tegenwoordige Boreel de Mauregnaultstraat ter plaatse van de hoogbouw) verbouwd werd tot Klein Arsenaal, waardoor Arsenaal voortaan Groot Arsenaal ging heten. Een maquette van het Kasteel is te vinden in het Graafsch Museum "Graeft Voort". Na de ontmanteling van de vesting als gevolg van de vestingwet van 1874 moesten de gebouwen een nieuwe bestemming krijgen. De Rijks Psychiatrische Inrichting heeft er gehuisd van 1898 tot 1973, de Gevangenis "de Raam" van 1973-1993, gevolgd door een tijdelijk verblijf van "de Hunerberg" uit Nijmegen. Na overdracht van het complex van Domeinen aan de Gemeente is het Groot Arsenaal in 2000 verkocht aan Jan des Bouvrie die er in 2001 een meubelboulevard heeft geopend. Het Kasteel is op veel gravures en pentekeningen afgebeeld, zoals o.a. op onderstaand aanzicht van de stad Grave is te zien (rechts van het zeilschip). De proporties zullen wel niet helemaal kloppen, aangezien het hier vaak om een copie van een copie gaat. Ook op plattegronden van de vesting werd het kasteel afgebeeld. Kijk ook eens op de pagina "Etsen & Gravures".