La presenza di un convento di clausura a Brinzio trova la sua prima testimonianza nel 1492, grazie ad un testamento in cui la comunità di suore locali emerge come l’unico beneficiario.
Successivamente appare in un contratto del 1493 tra il sacerdote, don Andrea Cavona, e il Console et huomini de la Comunità di Brincio. L’accordo fu stipulato per risolvere le divergenze sull’amministrazione dei beni della chiesa. In base a questa intesa, l’edificio ecclesiastico plebano e tutte le proprietà ad esso collegate vennero affidati alle Eremitane. In cambio, queste ultime si impegnarono a garantire il sostentamento di don Cavona e dei suoi successori, consentendo la celebrazione di almeno tre messe settimanali, di cui almeno una festiva. La clausola finale stabiliva che, qualora le suore non avessero mantenuto i loro obblighi per tre anni, i beni legati alla chiesa sarebbero ritornati nelle mani della comunità brinziese. Ciò avrebbe dato ai cittadini il diritto implicito di eleggere il proprio sacerdote e informare il vescovo di Como, ottenendo così lo status di viceparrocchia. Questo accordo ha costituito la base giuridica per il diritto di giuspatronato sulla nomina dell’amministratore plebano, che Brinzio avrebbe esercitato in varie forme fino al 1943.
In un documento risalente probabilmente al 1496, sono riportati i nomi delle donne che fondarono la comunità e la regola che adottarono. Tre donne, Magdalena de Bossis, Margarita de Petrasanta e Catarina de Blanchis, avevano emesso i voti più di dieci anni prima e si erano stabilite in alcune case vicino alla chiesa per condurre una vita religiosa. Incapaci di entrare in un convento preesistente a causa della loro povertà e mancanza di dote, decisero di fondare una loro comunità. Nel documento, dichiararono di adottare la regola e l’ordine di Sant’Agostino e chiesero l’autonomia dalle diocesi di Como e Milano, desiderando dipendere esclusivamente dalla Santa Sede. Non essendo disponibili documenti successivi per un periodo di trent’anni, è sconosciuto se la loro richiesta sia stata accolta.
Il convento è nuovamente menzionato in una bolla papale del 1519, che ne sancisce la chiusura e l’unificazione con il convento del Sacro Monte di Varese, come richiesto dalla badessa Eufemia de Zeno de Massinago (Masnago). In questo documento, le suore vengono definite francescane; con il trasferimento delle suore, tutti i loro beni, compresi vasti terreni boschivi e coltivabili, oltre all’edificio in cui risiedevano (in parte ancora esistente), passarono al monastero di Santa Maria del Monte.
La presenza di una comunità religiosa in paese rappresentava un motivo di prestigio rispetto alle località circostanti, ma le suore, in quanto proprietarie terriere e senza la presenza di un prevosto, detenevano l’autorità sacra massima a Brinzio e avevano un certo potere materiale sulla comunità. Resa nota l’intenzione delle suore di lasciare Brinzio, alcuni abitanti si indispettirono a tal punto da aggredire le religiose.
Nel 1540 le cronache indicano come completato il trasferimento delle suore al Sacro Monte di Varese. I beni e i terreni di loro proprietà nel territorio brinziese rimasero sotto l’amministrazione del monastero varesino fino all’avvento della Repubblica Cisalpina, il cui governo li confiscò e li rivendette all’asta.
Gli edifici facenti parte del convento (noti oggi come “case colorate”) furono venduti all’incanto a privati, per poi essere riacquistati dalla chiesa di Brinzio a fine anni ’90 attendendo momentaneamente un progetto di ristrutturazione.