Nel 1217 il nobile pisano Lamberto Visconti ottenne in donazione dalla giudicessa di Cagliari Benedetta il colle nel quale venne costruita una cittadella fortificata, il “Castellum Castris de Callari”.
Della chiesa del Castello, dedicata a Santa Maria, si ha documentazione dal 1255