Secondo alcune fonti, la chiesa fu edificata dal sacerdote Antun Boglić alla fine del XVII secolo e dedicata a San Giuseppe. Alla fine del XIX secolo, la chiesa venne arbitrariamente ribattezzata Madonna del Porto, e l’iscrizione attuale sopra il portale risale al periodo del 1920. Oggi la chiesa ospita una statua della Madonna della Consolazione, proveniente originariamente dalla chiesa degli Agostiniani situata nell’area dell’attuale cimitero cittadino. Secondo la leggenda, questa statua fu sequestrata durante l’assedio turco e distrutta, per poi essere miracolosamente ritrovata intatta, galleggiante nel porto di Lesina. Oggigiorno la festa viene celebrata in questo luogo più volte all'anno.