Celá klášterní zahrada je obklopena zdí vystavěnou převážně z pískovcových kvádrů. Na severovýchodě zeď tvoří hranici nad srázem spadajícím ke Stěnavě. V severozápadní části zeď odděluje zahradu od atletického hřiště Masarykovy základní školy, na jihozápadě zeď tvoří předěl mezi klášterní zahradou a Schrollovým parkem. Pozemek zahrady je celý svažitý, v nejvyšší severozápadní části je umístěna vodárenská věž, nejnižší je část nad ostrohem naproti Klášteru a nad Stěnavou. Svažitost pozemku vyrovnali již zakladatelé zahrady, a to vybudováním opěrných zdí. Při obnově kláštera budou obvodová zeď i opěrné zdi uvnitř zahrady opraveny v místech, která lze považovat za havarijní stav.