Según las fuentes, la iglesia fue mandada construir por el sacerdote Antun Boglić a finales del siglo XVII, y fue consagrada a San José. A finales del siglo XIX, su nombre fue cambiado arbitrariamente a Madonna del Porto (Virgen del Puerto), y la inscripción que puede leerse hoy sobre la puerta data de la década de 1920. En la iglesia se conserva hoy una escultura de la Virgen del Consuelo, originalmente procedente de la iglesia agustina que se encontraba en el lugar del actual cementerio de la ciudad. Según la leyenda, fue confiscada durante el asedio otomano y hecha pedazos, pero llegó milagrosamente recompuesta, flotando hasta el puerto de Hvar. En la actualidad, se celebran misas en este templo en varias ocasiones al año.