A mediados del siglo XV, a la derecha de la puerta de la Gracia, apoyado sobre la muralla medieval se acuerda instalar el edificio de las Casas da Câmara (Casas Consistoriales). La denominación de Palacio de los Duques de Cadaval que ha llegado hasta nuestros días es engañosa. En efecto, este edificio nunca fue palacio de los Duques de Cadaval, debiendo su nombre al hecho de que éstos hayan sido un tiempo alcaldes mayores de Olivenza.
Su fachada se estructura en dos plantas. En la inferior destacan dos grandes vanos: la puerta principal en estilo manuelino y otra a su derecha, adovelada. En el lado izquierdo, junto a la puerta de la Gracia, la antigua puerta de acceso a la planta superior presenta el adintelado típico en mármol. Sobre la misma, una lápida también en mármol, reproduce el escudo portugués flanqueado por la esfera armilar, símbolo de las conquistas ultramarinas, y las armas de Olivenza. Los elementos del escudo nacional portugués fueron borrados para dedicar la piedra a la reina Isabel II. Posteriormente se regrabó una inscripción en su lugar, para celebrar la constitución española de 1845.
En la parte superior destacan los vanos enrejados y un balcón corrido donde ondean las banderas de Europa, España, Extremadura y Olivenza.
La singular puerta manuelina se ha convertido en el símbolo identificativo de la ciudad. En ella se reproducen los elementos característicos del estilo nacional portugués, que debe su nombre al rey D. Manuel I el Afortunado: decoración profusa del intradós a través del recurso al elemento vegetal; arco polilobulado de influencia árabe; esferas armilares, divisa de D. Manuel y símbolo de las conquistas ultramarinas y remate del conjunto con la Cruz de Cristo. En el motivo central destacan las armas portuguesas, rodeando la torre y el olivo, escudo de Olivenza.
Es posible que esta puerta estuviera originalmente en la entrada principal de la vecina Iglesia de la Magdalena, lo que está por demostrar científicamente.
Distribuido en dos plantas, no presenta elementos dignos de destaque. La actual Sala de Plenos, permite ver la muralla medieval de su pared de fondo y una bóveda imitando nervaduras, construidas en material de obra común, así como los escudos de sus claves, con las armas de Portugal, de Olivenza y otra por determinar.