El trayecto exacto del Emperador Carlos V en su último viaje hacia su retiro en Yuste, se dividió en 24 escalas desde Cantabria hasta Extremadura, desde Septiembre de 1556 hasta febrero de 1557.
Después de pasar por la capital burgalesa, su viaje continuó por Palencia, hasta llegar a Valladolid, donde pasó dos semanas debido a que aquí residían sus hermanas, su hijo Juan y su nieto Carlos.
Tras descansar aquí y en Valdestillas, llega por fin a Medina del Campo el 5 de Noviembre de 1556. A su llegada a la Villa, el séquito imperial se alojó en la casa del cambiante Rodrigo de Dueñas.
Este alojamiento es conocido como el Palacio de los Dueñas y se encuentra en pleno centro del casco urbano, muy cercano a la Plaza Mayor. De estilo renacentista, conserva en muy buen estado el artesonado del techo de la entrada y su espectacular claustro, terminado de restaurar en 2009, acoge en sus muros un instituto de enseñanza secundaria.
Rodrigo de Dueñas, en un afán por impresionar y alagar al Emperador, se comportó de forma ostentosa, hasta tal punto que su comportamiento molestó al Señor y este decidió pagar su estancia, se negó a recibirlo en su presencia, renegando así de la hospitalidad del medinense.
Tras este incidente puramente anecdótico, el Emperador Carlos V continuó su viaje camino de Gredos dejando atrás Medina del Campo y el esplendor de sus ferias.