Quíloa só esteve sob o domínio português entre 1505 e 1512. Vasco da Gama entrou no seu porto, aquando da segunda viagem à Índia, conseguindo obter autorização para  estabelecer um vínculo de vassalagem do monarca local com D. Manuel I.

No entanto, as grandes campanhas de obras de construção da nossa fortaleza só se iniciaram em 1505, mas esta viria a ser abandonada pouco depois, em 1512.

A estrutura base da obra portuguesa ainda está lá, nomeadamente as duas torres de canto, as primeiras feitas em pedra e cal por nós, nos territórios do Índico.