Rond 1600 verscheen ten noorden van het Montereyfort en dus binnen de stadsomwallingen een kazerne. Deze lag op de huidige lokatie van de Leopoldskazerne maar het betreft zeker niet meer dezelfde constructie.
In 1714 werd de Spaanse overheersing vervangen door de Oostenrijkse. Vanaf 1781 begonnen de Oostenrijkers onder Jozef II opnieuw met de ditmaal definitieve ontmanteling van het vroegere Spanjaardenkasteel. De militaire rol van dit oude kasteel was op hetzelfde moment reeds totaal uitgespeeld.
In 1794 krijgt Gent een periode van Franse bezetting (de bezetter waar voorheen alle vestingen waren tegen gericht). Onder hun bewind wordt rond 1800 het Montereyfort op de huidige terreinen van het Citadelpark afgebroken. Van dit fort zijn heden nog nauwelijks restanten terug te vinden. Bij opgravingen in de Leopold II laan, konden enkel nog eens een gedeelte originele funderingen worden teruggevonden.
De Franse periode van Gent, duurt voor Gent maar vrij beperkt en in 1814 kwam Gent onder Hollands bewind. Dit zou ook meteen een volledige nieuwe wind laten waaien over het opbouwen van de versterkingen van Gent. Onder hun bewind wordt van 1827 tot 1834 het oude Spanjaardenkasteel definitief volledig gesloopt. Heden zijn er nog nauwelijks restanten van terug te vinden op een gedenksteen na die zichtbaar is in de kaaimuur van de Napoleon de Pauwvertakking aan de Napoleon de Pauwbrug. |