A primeira investida dos portugueses contra Ormuz ocorreu em 1507, tendo ficado a dominar esta estratégica posição na entrada do Golfo, até 1621.

Afonso de Albuquerque iniciou uma construção, mas a extraordinária fortaleza que hoje se pode admirar, com imensos baluartes, cortinas fortíssimas, uma igreja manuelina, e cisternas é, no fundamental, obra do arquitecto Inofre de Carvalho, feita no fim da década de cinquenta do século XVI.

No entanto, mais tarde, por volta de 1591, com planos de Giovanni Baptista Cairato, a fortaleza foi ainda reforçada.