De kloostermuur is een restant van de kapel van het Minderbroedersklooster en een rijksmonument. Tijdens de restauratie is ook onderzoek gedaan naar de bouwhistorie. Hieruit blijkt dat de kapel drie bouwfasen kent. Het eerste deel is eind 13de eeuw gebouwd. Dit stuk is één van de oudste muurwerken van Harderwijk en in romanogotische stijl gebouwd.

In de twee eeuwen daarna is de kapel twee keer uitgebreid. In de 15de eeuw werden onder meer gotische vensters aangebracht. De sporen van deze vensters zijn nog steeds zichtbaar.