Em 1535, o sultão do Gujarate, Badur-Shá, concedeu a Nuno da Cunha autorização para construir uma fortaleza em Diu. Conservam-se o castelo e grande parte da muralha de terra, além de baluartes e cortinas na costa sul. As primeiras obras realizadas foram da responsabilidade de Martim Afonso de Sousa. O vice-rei D. João de Castro foi o responsável pela renovação das fortificações da cidade após o segundo cerco posto a Diu, tendo ao seu serviço o mestre Francisco Pires.

Quanto às muralhas, cortavam a ponta de terra mais para leste, foram executadas entre 1570 e 1574, por iniciativa do capitão Aires Telles, a quem se devem as portas, e por Manuel de Miranda, que em 1584 edificou o maior dos baluartes, o de São Sebastião da Vitória.