En el flanco occidental del Castillo de Zalamea se disponía el Palacio de Don Juan de Zúñiga, construido en el último cuarto del siglo XV. Actualmente sólo se conserva la fachada, que la forman una puerta (que es el acceso actual al Castillo) con arco escarzado y moldura gótica, dos plantas de vanos rebajados, disponiendo uno de ellos asientos de piedra embutidos, rematada el coronamiento una cornisa en bocel y el escudo de los Zúñiga.
Don Juan de Zúñiga ya libre de sus ocupaciones militares se instala en Zalamea de la Serena, donde construyó un fastuoso palacio adosado al castillo, el que convirtió en Corte Literaria, a la que acudieron figuras eminentes como Fray Gutierrez de Trejo, jurista y Caballero de la Orden de Alcántara, Fray Domingo, teólogo de la Orden de Predicadores, Abasurto, astrólogo que escribió en esta academia uno de sus mejores libros, el “Tratado de las influencias del cielo” (1486); el maestro de Capilla Salórzano, el mayor músico que conocieron aquellos siglos.
De los personajes ilustres que conformaban la corte literaria destaca Antonio de Nebrija, que permaneció al lado de Don Juan de Zúñiga en su palacio durante largas temporadas entre los años 1485 y 1503, y donde escribió la primera gramática de la lengua Castellana y el primer diccionario de nuestra lengua, ambas obras impresas en 1492.