Laut historischen Quellen ließ der Priester Antun Boglić die Kirche Ende des 17. Jahrhunderts erbauen und weihte sie dem hl. Josef. Ende des 19. Jahrhunderts wurde der Name der Kirche eigenmächtig in Madonna del Porto (Unsere Liebe Frau vom Hafen) geändert, wobei die heutige Inschrift über dem Eingang aus den 1920er-Jahren stammt. In der Kirche befindet sich heute eine Statue der Muttergottes der Trösterin, ursprünglich aus der Augustinerkirche, die einst am Ort des heutigen Stadtfriedhofs stand. Der Legende nach wurde die Statue während der türkischen Belagerung beschlagnahmt und zerbrochen, trieb jedoch - auf wundersame Weise zusammengesetzt - in den Hafen von Hvar. Heute wird in dieser Kirche mehrmals im Jahr Gottesdienst gefeiert.