Iako su postojale ranije inicijative, samostan benediktinki utemeljen je tek 1664.g. u prostoru kuće pjesnika Hanibala Lucića, kao izvršenje oporuke njegove nevjeste Julije. Prve redovnice pristigle su iz Paga na poziv hvarskog biskupa Milanija. Uz samostan je djelovala i ženska škola, a izvori spominju i utočište za zlostavljane žene. Barokna crkva sv. Antuna Opata i Ivana Krstitelja je iz 17. st. U sklopu je zbirka umjetnina i čipki od niti kaktusa agave, uvrštenih na UNESCOV popis nematerijalne kulturne svjetske baštine.