Coñecida no romancero popular como Nido Real de Gavilanes, foi un punto clave na conquista de Al-Andalus polos reis cristiáns, ao servir de atalaia sobre o río Guadalquivir. A súa posesión asegurou as costas castelás e a ameaza para os reinos que estaban na ribeira esquerda do Gran Río.
Tanta importancia tivo a súa conquista, (1227), que o rei Fernando III decide que a partir dese momento a bandeira real, que logo sería a española, teña sobre si a aspa ou cruz de Santo André, pois atribúe ao apóstolo e á súa intercesión a milagrosa conquista. E durante séculos, ata Carlos III, será o símbolo distintivo das bandeiras españolas, e aínda hoxe o rei Xoán Carlos apoia todo o seu escudo na Cruz de Santo André, en cuxa festividade, 30 de novembro se conquistara a cidade de Baeza. Tres séculos despois a raíña Isabel I, medorenta de que a nobreza lle discutise o seu poder, mandou derrubar o seu Alcázar, do que só queda algún resto.