A conquista definitiva de Damão teve lugar em 1559. A cidade que fica intra-muros foi sempre muito pouco povoada e a disposição ortogonal das ruas não era comum nas cidades portuguesas do Oriente. Quanto à fortaleza propriamente dita, foi António Pinto da Fonseca que a deixou programada, em termos genéricos, e que foi desenhado para conclusão por Giovanni Battista Cairato.

Em 1595 as muralhas estavam a ponto de ser fechadas, mas o acabamento dos baluartes e cortinas foi posterior a 1614. A fortaleza ficou um quadrilátero bastante regular, com dez baluartes unidos por cortinas de cantaria dotadas de um fosso, construído após 1635.