La enorme fábrica del palacio señorial fue edificada y renovada en diferentes épocas, fundamentalmente a lo largo de los siglos XV y XVI. La parte más antigua es la zona norte, con interesante galería de finales del gótico y excelentes vistas al Duero, recordándonos el paso de la Corte de los Reyes Católicos en diferentes ocasiones por la villa o la estáncia del principe D. Juan. En 1565 D. Francisco Hurtado de Mendoza emprendió la ampliación del edificio y planteó el cuerpo de la fachada principal de estilo renacentista con ordenada distribución de vanos y muros, portada resaltada y torres enchapiteladas que no llegaron a finalizarse. Según los escritos, el autor fue Bartolomé Carlone, figurando dicho arquitecto como contratista en las obras de El Escorial. Esta circunstancia explicaría el aire italiano de la fachada, y a la vez su sobriedad. El elemento que más destaca de la fachada principal corresponde al escudo de armas de la familia Mendoza.