Prema izvorima, crkvu je dao sagraditi svećenik Antun Boglić krajem 17.st. i posvetio je sv. Josipu. Krajem 19.st. crkvi je samovoljno promijenjen naziv u Madonna del Porto (Gospa od luke, porta), a sadašnji natpis iznad vrata potječe iz 1920-ih. U crkvi se danas čuva kip Gospe od Utjehe, izvorno iz augustinske crkve na mjestu današnjeg gradskog groblja koji je, prema legendi, zaplijenjen u vrijeme turske opsade i razbijen, te je čudesno sastavljen doplutao u hvarsku luku. Danas se ovdje celebrira nekoliko puta godišnje.