Ocupa el lugar de una antigua fortaleza templaria del siglo XIII de la que no quedan vestigios. En 1334 el rey D. Alfonso IV, hijo y sucesor de D. Dinis, inicia la construcción de ese elemento de origen musulmán que es la alcazaba: recinto amurallado dentro de las murallas; culminando con un torreón, el más alto de las plazas de frontera. Pero será D. João II, en 1488, quien otorgue una nueva fisonomía al conjunto, ya que a pesar de los pactos de desarme suscritos con los Reyes Católicos, el Príncipe Perfeito realiza obras de refuerzo del alcázar; artilla en su base dos torres circulares y construye un foso en su perímetro, como puede verse en el Livro das Fortalezas de Duarte D’Armas.
El Castillo es un hermoso ejemplar de la arquitectura militar de la época. Tiene forma trapezoidal con un patio central y tres torres cúbicas en los ángulos, además de la del Homenaje, situada al Noroeste, de la época de D. Afonso IV, hijo de D.Dinis.
La Torre del Homenaje, de 37 m. de altura destaca sobre el conjunto, siendo la más alta de las torres de fortaleza en la frontera hispanoportuguesa. Construida en mampostería reforzada por sillares en los ángulos, tiene 24 saeteras que iluminan su interior. En lo más elevado de sus cuatro caras pueden aún apreciarse los restos de los primitivos matacanes de defensa de sus flancos, de los cuales uno fue reconstruido en cemento armado hacia el año 1973. Una barbacana, a cuyo pie se abría el foso inundable, mandado construir por D. João II en 1488, rodeaba por completo la alcazaba oliventina.
El Castillo acoge parte del Museo Etnográfico González Santana.
La Torre del Homenaje tiene en su interior tres salas. Destaca la superior, con una hermosa bóveda de nervadura. El acceso por sus 17 rampas nos conduce hoy a la terraza, desde la que se domina la ciudad de Olivenza y las tierras y poblaciones españolas y portuguesas de su entorno. En la antigüedad permitía subir piezas de artillería a la parte superior, por lo que se aprecian rebajadas las esquinas en su parte inferior.