Il Castello Aragonese fu eretto da Ferdinando d’Aragona nel 1485, sfruttando i resti di un fortino preesistente di fattura bizantina. Le tre torri non facevano parte della vecchia struttura, ma furono aggiunte dagli aragonesi. La cosiddetta “Punta di diamante”, ovvero quello spuntone che protende verso il mare è opera dei viceré spagnoli (1587). Il Castello presenta subito una piazzetta d’ingresso e un ballatoio superiore nel suo perimetro; le sale superiori del castello hanno lo scopo di disorientare il nemico; le sale circolari delle torri presentano finestre con bocche di fuoco; la sala triangolare è opera dell’architetto Ciro Ciri; le sale inferiori alla piazzetta sono ricche di scorciatoie, sotterranei e vie di fuga. A difesa della città si costruirono poderose mura, fortificando quello che rimaneva di quelle bizantine dopo gli attacchi dei turchi (nei decenni a seguire se ne registrarono numerosi). Queste mura furono intervallate da tre torri principali: Ippolita, Duchesca e Alfonsina, e, insieme al Castello, racchiudono, come uno scrigno prezioso, l’antico borgo di Otranto.