Em 1031, o califado foi, abolido e todas as grandes famílias árabes, bérberes e muwaladis, cristãos hispânicos que abraçaram o Islam durante o governo muçulmano, queriam, de uma forma ou de outra, usufruir das benesses do estado, ou pelo menos, de suas cidades.
Surgiram então, por toda parte, os reis de taifas, que se elevaram à categoria de donos e senhores dos principais lugares do território andaluz. Este desmembramento representou o começo do fim da Andaluzia e, enquanto se enfraquecia cada vez mais, os cristãos se organizavam para combater os muçulmanos.
A primeira grande vitória sobre o os muçulmanos na península foi protagonizada por Alfonso VI, quando, em 1085, tomou a importante cidade de Toledo. No entanto, nesta época surgiram figuras importantes no campo do saber e da arquitetura, com as construções suntuosas de palácios, almunias (hortos) e mesquitas.Enquanto isso, ao final do século XI, no Magrebe ocidental, atual Marrocos, surgia um novo movimento político e religioso no seio de uma tribo bérbere do sul, os lamtuna, que fundaram a dinastia dos almorávidas.
Em pouco tempo, a austeridade e pureza religiosa deles convenceu grande parte da população desencantada e, com o seu apoio, empreenderam uma série de campanhas. Conseguiram formar um império que compreenderia parte do norte da África e da Andaluzia, que havia pedido ajuda a eles para frear o avanço cristão. Chefiados por Ibn Tashfim, os almorávidas chegaram na península, e infligiram uma grande derrota às tropas de Alfonso VI, em Sagrajas.
De imediato, conseguiram extinguiram os reinos de taifas e centralizaram o governo da Andaluzia, e a nova situação deu um incremento ao bem-estar social e econômico. Os cristãos estavam conseguindo, enquanto isso, importantes avanços. Alfonso I, de Aragão, conquistou Zaragoza, em 1118.
Ao mesmo tempo, os almorávidas viam ameaçada a sua própria supremacia por um novo movimento religioso surgido no Magrebe: os almoadas. Esta nova dinastia surgiu numa tribo bérbere, procedente do Atlas, que, liderada por Ibn Tumart, logo se organizou usando argumentos semelhantes de pureza e revitalização religiosa. Foram grandes construtores e também se cercaram dos melhores literatos e cientistas da época. No entanto, da mesma forma que os almorávidas, acabaram por sucumbir ao relaxamento dos costumes, que quase sempre caracterizou Al-Andalus.
Os Almorávidas 
A dinastia dos Almorávidas (al-murabitin), cuja designação pode ter advindo do nome do local (ribat) onde se reuniam os partidários de Yahya bin Ibrahim e Abdallah bin Yasin, surgiu no Magrebe, no século XI e esteve sob alçada política dos califas abássidas. O fundador da cidade de Marraquexe em 1060, e primeiro a atingir o poder, foi Yusuf bin Tachfin.
Os Almorávidas eram provenientes do Sul de Marrocos e nómadas, caracterizando-se por serem acérrimos partidários da fação sunita e de Yahya bin Ibrahim e Abdallah bin Yasin, que defendiam uma reforma dos costumes muçulmanos ocidentais, considerados degradados. Os Almorávidas tiveram em Yahya ibn Umar o seu primeiro chefe militar, sucedido pelo seu irmão, Abu Bakr ibn Umar, que conquistou o Marrocos com Yusuf bin Tachfin.
A convicção religiosa aliada à vontade de adquirir poder político levou-os à expansão a partir do Magrebe até conseguirem se afirmar não só nesta zona como também em Marrocos. Acabaram por se estabelecer também na Península Ibérica, concretamente na Andaluzia, na sequência de um apelo que lhes foi feito em 1086 pelo príncipe de Sevilha, para conseguir reforços na luta dos príncipes muçulmanos contra os Cristãos.
Foi na sequência deste chamado que se deu a batalha de Zalaca (1086), da qual saiu derrotado o rei Afonso VI. Conseguindo reunir sob o seu poder uma série de reinos de pequena dimensão (taifas), adquiriram uma preponderância que lhes permitiu governar a seu bel-prazer um território que se estendia do Sul da Península até ao rio Tejo.
O seu ascendente terminou quando, no século XII, os Almóadas tomaram o poder sobre os territórios árabes do Magrebe e de Espanha, inaugurando uma nova era, em 1162, com a subida ao poder de Abd el-Mumin.
Os Almóadas
O Califado Almóada foi uma potência religiosa berbere governada pela quinta dinastia moura, tendo se destacado do século XII até meados do século XIII. O nome latino deriva da corruptela do árabe “os monoteístas” ou “os unitaristas”, que alude ao fundamentalismo do movimento.
Os almoádas surgiram em Marrocos no século XII, descontentes com o insucesso dos almorávidas em revigorar os estados muçulmanos na península Ibérica, bem como em suster a reconquista cristã. Tendo conquistado o Norte de África até ao Egito, conquistaram sucessivamente grande parte de Al-Andalus.
Os almóadas então trataram de unificar as taifas e formar um governo islâmico que pudesse fazer frente aos cristãos. Em pouco mais de trinta anos, os almóadas conseguiram forjar um poderoso califado que se estendia desde Santarém, no que é atualmente Portugal, até Trípoli na atual Líbia, incluindo todo o norte de África e o sul da península Ibérica.
Em 1170 os almóadas transferiram a sua capital para Sevilha, onde fundaram a grande mesquita, posteriormente convertida em catedral cristã. A torre da mesquita, a Giralda foi construída em 1184 para assinalar a ascensão de Abu Yusuf Ya’qub al-Mansur (Almançor). Foi durante este período que ressurgiram os estudos filosóficos com Averróis e ibn Tufail.
No entanto, desde Yusuf II, tratavam os seus domínios fora de Marrocos como províncias e governavam os seus correligionários na península Ibérica e no restante do norte de África através de governadores locais. Os príncipes almóadas tiveram uma carreira mais longa e marcante do que os seus antecessores almorávidas.
Yusuf I (1163–1184) e Almançor (1184-1199), sucessores de Abd al-Mu’min, eram homens fortes. Almançor (Ya’qub al-Mansur) era um homem de grande cultura, que escrevia em bom estilo árabe e protegia o filósofo Averróis. O seu título al-Mansur, “O Vitorioso,” deve-se à derrota que infligiu a Afonso VIII de Castela, em 1195, na Batalha de Alarcos.
As construções almóadas caracterizam-se pela simplicidade e austeridade, um reflexo da vida difícil dos nómadas do Magrebe. Apesar disso, muitos edifícios têm um tamanho considerável. Exemplos clássicos deste movimento são a Mesquita de Tinmel, a Torre del Oro e a Giralda, em Sevilha, a mesquita Kutubiyya de Marraquexe, a Grande Mesquita de Taza e a Torre Hassan em Rabat.
1212 marcou o início da decadência do Califado Almóada. As forças de Muhammad an-Nasir (1199–1214), sucessor de al-Mansur, depois de um avanço inicialmente bem sucedido para norte, foram aniquilados por uma aliança de tropas cristãs na Batalha de Navas de Tolosa na Sierra Morena.
Essa batalha destruiu o domínio almóada. Em 1216-7 os merínidas enfrentam os almóadas em Fez. ibn Hud proclama-se emir de Múrcia em 1227, fazendo frente aos almoádas, e Tunes torna-se independente três anos mais tarde. Muhammad ibn al-Ahmar proclama-se emir de Arjona, Jaén, Guadix e Baza em 1232. Cinco anos depois é reconhecido como emir de Granada, dando início à dinastia nasrida.
Os almóadas encorajaram o estabelecimento de cristãos até mesmo em Fez, e depois da Batalha de Navas de Tolosa, ocasionalmente faziam alianças com os reis de Castela. Na África conseguiram expulsar os exércitos dos reis normandos da Sicília das cidades costeiras. A história do seu declínio é diferente da dos almorávidas. Não foram tomados por um poderoso movimento religioso, simplesmente foram perdendo territórios com a revolta de tribos e cidades.

A Dinastia Nasari

Quando parecia que tudo estava perdido e o avanço de Castela era inexorável, surgiu em Jaén uma nova dinastia, a nasri (nasari), fundada por Al-Ahmar ibn Nasr, o célebre Abenamar das histórias, que havia de dar um novo alento aos muçulmanos. Com sede em Granada, seu reino compreendia as regiões granadina, almeriense e malaguenha, e parte da murciana.
Cercados ao norte pelos reis cristãos, e ao sul pelos sultões marinidas do Marrocos, os nasaris estabeleceram um reino cercado de instabilidades. Apesar de tudo, Granada foi uma grande metrópole em seu tempo, que acolhia muçulmanos de todas as partes do mundo e onde se construíram palácios suntuosos – a Alhambra – mesquitas e banhos públicos.
Em meados do século XIII, tudo o que restava da Espanha islâmica era o reino de Granada, na costa sul da península ibérica. Os cristãos tinham reconquistado Córdoba, em 1236, e Sevilha, em 1248, e, em breve toda a península seria conquistada. O ponto decisivo chegou ao final do século XV, com o casamento de Fernando de Aragão e Isabela de Castela e Leon, que unificou a Espanha e fortaleceu os exércitos cristãos. Em 1492, os cristãos finalmente derrotaram os muçulmanos.
O rei Bobadilha, (Abu Abdallah), capitulou ante os reis católicos, entregando-lhes Granada. Se bem que as condições da rendição tenham sido generosas por parte dos vencedores, não demoraram muito a ser esquecidas, começando uma perseguição e aculturação sem tréguas dos mouriscos que permaneceram sob o domínio cristão, até que aconteceram as expulsões maciças a partir de 1610.
Os 800 anos de ocupação da península ibérica pelos muçulmanos deixaram marcas indeléveis na cultura espanhola, que absorveu muito das primeiras influências islâmicas e que podem ser vistas hoje na arquitetura, língua e tradições da Espanha.