Gradnja utvrde Fortice započela je nakon 1278., kada Hvar dolazi pod vlast Venecije. Srednjovjekovni kaštel, zajedno s gradskim zidinama, predstavljao je jedinstveni obrambeni sustav grada Hvara. Do 1551. godine na mjestu starog gotičkog kaštela sagrađena je nova renesansna tvrđava, slična današnjoj. Tvrđava je teško oštećena 1579. uslijed eksplozije skladišta baruta. Popravci su završeni tek početkom 17. stoljeća, kada su izgrađene nove zgrade i bastioni. Posljednji objekti podignuti su tijekom 18. i 19. stoljeća za vrijeme austrijske vladavine, kada Fortica dobiva današnji izgled.