Intorno all'anno 1300,il Re Carlo II dona all'Arcivescovo di Brindisi, Ardea Pandone, un territorio presso Santa Maria del Casale, a cui si aggiunge un orto ceduto da Tommaso Pisconerio ( 1306).
La leggenda francescana narra che,già in precedenza, San Francesco in persona, di ritorno dall'Oriente, per la sua devozione alla Madonna del Casale, aveva pregato davanti ad una icona bizantina o cappellina a lei dedicata,anzi ne aveva costruita una ancora esistente nel 1647, ad ovest del convento, con affreschi di stile gotico e con accesso al pubblico.
Filippo I d'Angiò, principe di Taranto,e la moglie Caterina di Courtenay, figlia di Baldovino,conte di Fiandra e imperatore di Costantinopoli,per essere esaudito nel voto di avere un figlio, intendono emulare la magnificenza del Re e perciò costruiscono la Chiesa di Santa Maria del Casale, conglobando e circondando di una grata in ferro la precedente cappella e quando di essa, nel corso del tempo, è rimasto soltanto un muro,l'immagine della Madonna "dipinta a mezzo busto col Bambin Gesù tra le braccia e il colore del volto di ambedue va sul fosco"( descrizione del 1715 di P. Serafino Mortorio in "zodiaco di Maria") fu portata all'altare maggiore per darle il posto d'onore.

Dal 15 maggio 1310 la Chiesa e i locali annessi furono utilizzati come " cancelleria " del processo contro i TEMPLARI del regno di Sicilia.
In quella occasione, il tribuale composto dall'Arcivecovo Bartolomeo di Brindisi, il Canonico romano di S. Maria Maggiore Jacopo Carapelle, i francesi Arnolfo Bataylle e Berengario di Olargiis,insieme al Canonico Nicola il Mercartore, condannarono in contumacia i cavalieri assenti.