• Ubicado en la Plaza de la Constitución.
• Dentro de este palacio está el Castillo de Pallarés.
  
• Fue levantado el Palacio en 1492, coincidiendo con el final de la reconquista, sobre el patio del primitivo Castillo de Pallarés
• Fue construido por don Men Rodríguez de Benavides.
• Fue de los Condes de Santisteban hasta el siglo XVIII, que por matrimonio pasó al Duque de Medinaceli, del que recibe su nombre.
  
• Incoado expediente el 23 de Febrero de 1981, para declararlo Monumento Nacional
• Proyectada su restauración por la Junta de Andalucía, se comenzó con el estudio arqueológico realizado durante los meses de enero y febrero de 1992.
• Se derrumbó en la madrugada del 24 Diciembre de 1995; quedando únicamente en pie La Torre del Homenaje y la esquina noreste del Palacio.
• Las obras de restauración terminaron en Junio de 1998
• El conjunto se abre a una plaza monumental que es el centro del pueblo.
• De la estructura fortificada emerge un palacio de grandes volúmenes que da paso a un amplio patio ordenador de las distintas estancias.
• En ellas son comunes las cubiertas de madera, típicas en edificios civiles del renacimiento español.
• Destaca el desplazamiento lateral de la portada común al estilo de palacio renacentista, buscando romper la simetría.
• Desde 1998 es sede del Ayuntamiento.
• Cabe destacar el Salón de Plenos por su artesonado y su colección de retratos de los alcaldes de Castellar desde 1850 hasta la actualidad.
• En él se muestran los cuadros ganadores del Certamen Internacional de Pintura Rápida Villa de Castellar.