El Palacio de los Condes de Peñaranda es el edificio de dos plantas que, hoy en día, sigue separando las plazas de la Constitución y España (antiguamente del Ganado y de la Corralada respectivamente), se tiene constancia de su existencia desde los primeros documentos de Peñaranda de Bracamonte, posiblemente su construcción se llevó a cabo por los repobladores venidos de Peñaranda de Duero (Burgos), al igual que la Parroquia San Miguel.
Ya en el año 1376 se tiene constancia del palacio pues se hace referencia en el pleito entre Nuño Núñez de Villazán y el infante Don Juan de Portugal, duque de Valencia y Señor de Alba de Tormes, sobre la mitad de la villa de Peñaranda. Pleito que ganó el primero y vendió dicha mitad de Peñaranda a Don Álvaro de Ávila en 1409 (I Señor de Peñaranda), que construyó dicho palacio sobre el antiguo palacio o torre inicial, fijando en el su residencia habitual.
A su muerte la posesión pasa a sus hijos Don Álvaro de Bracamonte (II Señor de la Villa) y Don Alonso Rodríguez Manjón (Abad de Medina)
En 1469 el Alcaide de Castronuño entró en Peñaranda, ocupando el palacio durante algún tiempo y destruyendo las casas de alrededor a modo de defensa. Don Álvaro de Bracamonte retomó el palacio, y no solo no reconstruye las casas destruidas por el Alcaide sino que compra y derriba las casas de alrededor, quedando el espacio diáfano para la futura plaza, haciendo también los soportales y poyos, que podemos contemplar hoy en día.
La reconstrucción del Palacio era típica castellana, de adobes con entramado de madera, recubierto de yeso. Al Palacio se entraba por la Plaza del Ganado, estando la puerta de servicio en la Plaza La Corralada. Tenía dos patios interiores con jardín y columnas, establos, bodegas, cuadras, cochera, archivo, contaduría, oratorio, cocinas, además de las habitaciones de los señores y de servicio.
En 1508 este palacio era la residencia habitual de Don Juan de Bracamonte, IV Señor de Peñaranda, y de sus descendientes hasta que Don Alonso, I Conde de Peñaranda, fue nombrado asistente del rey partiendo a Sevilla en 1617. En el palacio se quedó su mujer Juana Pacheco e hijos.
En 1623 muere Don Juan de Bracamonte y Guzmán, VI Señor de Peñaranda, llegando sus restos mortales a Peñaranda en 1628. Heredó Baltasar, II Conde de Peñaranda que habitó en el Palacio hasta su muerte, la hija de este María de Bracamonte y Portocarrero, III Condesa de Peñaranda, trasladó su residencia a la corte del rey al casarse con su tío, Gaspar de Bracamonte y Guzmán, diplomático y estadista, grande es España, gran mecenas peñarandino, fundador del Convento de las Carmelitas, ocupó los más altos cargos políticos de España en el siglo XVII, tanto con Felipe IV como con Carlos II.
En 1796 hereda el título de Conde de Peñaranda y la posesión del palacio Don Diego Fernández de Velasco, IX Conde de Peñaranda, que nunca habitó en el, aunque le mantenía en perfectas condiciones gracias a su administrador, el peñarandino Don Josef Navarro. A la muerte del Conde en 1812, pasó la propiedad a su hijo Don Bernardino Fernández de Velasco, X Conde de Peñaranda, que no heredó más que las ruinas de este palacio, el pueblo de Peñaranda lo había destruido totalmente por el presunto afrancesamiento de su antiguo señor, el padre de este Don Diego Fernández de Velasco.
