Sáfi foi conquistada por Diogo de Azambuja em 1509. As antigas muralhas da cidade foram todas refeitas a partir de 1512, com a orientação e projecto de Francisco e Diogo de Arruda. Entre 1517 e 1521, o mestre Pedro Álvares ergueu o castelo do mar, para proteger a frente virada ao Atlântico.

A cidade foi abandonada em 1541, mas conserva-se a estrutura dos muros, o castelejo e o já citado castelo do mar, além de parte da catedral e da igreja do convento de Santa Catarina.