Während des zweiten Kreuzzuges herrschte der Kalif al-Muqtafi, welcher einen Teil der Macht der Kalifen zurückgewinnen konnte. Schon sein Vorgänger, ar-Raschid, konnte die innerfamiliären Streitereien der Seldschuken nutzen, um seinen Einfluss zu stärken. Allerdings geriet er dadurch in Konflikte mit den Führern der Seldschuken, wodurch er abgesetzt und später auch ermordet wurde. In den Querelen zwischen den Seldschuken untereinander, sowie teilweise mit dem Kalifen, stach ein Name besonders hervor: Imad ad-Din Zengi. Zengi, anfangs noch Gouverneur von Aleppo, war in der Zeit vor dem zweiten Kreuzzug an einer Reihe militärischer Aktionen gegen die Kreuzzüglergebilde, vor allem in Edessa, beteiligt. Später erlangte er in Großsyrien immer mehr Einfluss, unter anderem in Mosul, Aleppo, Erbil und Raqqa. Er war somit der Begründer der Zengi-Dynastie und verwaltete sein Einflussbereich selbstständig, aber weiterhin im Auftrag der Seldschuken. Nach seinem Tod 1146 übernahm sein zweitältester Sohn Nur ad-Din Zengi die Führung. Dieser arbeitete, wie zuvor auch, weiter an dem Vorhaben seines Vaters das al-Scham-Gebiet (Großsyrien) zu vereinen, da dieses zu dessen Zeit mehrheitlich aus einzelnen, teils untereinander verfeindeten Städten bestand. Zudem spielte er eine zentrale Rolle im Kampf gegen den zweiten Kreuzzug.

Trotz des Sieges der Kreuzritter über die Muslime in Großsyrien und der Gründung von vier Kreuzzüglergebilden, konnten sie keine feste und gesicherte Herrschaft in den eroberten Gebieten etablieren. Stattdessen waren sie, unteranderem eben durch Iman ad-Din Zengi, mit ständigen Widerständen der Muslime konfrontiert und konnten ihre Stellung nur mit Mühe und viel Gewalt halten. Aber auch untereinander gerieten die Kreuzzügler in Streitigkeiten. So entflammte die alte Konkurrenz der christlichen Europäer und der Byzantiner auf ein Neues, sodass es teilweise sogar zu kriegerischen Auseinandersetzungen unter diesen kam. Beispielsweise wurde den Kreuzzüglern in Antiochia ihre gegründete Grafschaft von den Byzantinern entrissen. Das alles veranlasste die Kreuzzügler dazu, weitere Unterstützung aus Europa zu bitten. Papst Urban II., der Initiator des ersten Kreuzzuges, war jedoch bereits tot und die Priester in Europa stritten um seine Nachfolge. Zudem intensivierte sich die Spannung um Machtansprüche innerhalb Europas zwischen der Kirche und den Königen. Aus diesen Gründen war die Bereitschaft zur Unterstützung der Kreuzzügler nur in einem kleineren Umfang gegeben und hatte nicht dieselbe Wirkung wie beim ersten Kreuzzug.

Derweil entstand unter der Führung von Nur ad-Din Zengi ein weiterer Widerstand gegen die Kreuzzügler mit dem Ziel die verlorenen Gebiete zurückzuerobern. Zuvor wurde schon das Kreuzzüglergebilde in Edessa 1144 von seinem Vater Imad ad-Din Zengi zurückerobert. Mit diesem Sieg stieg die Kampfmoral der Muslime und ihr Siegeswille wurde wieder angefacht, sodass sie sich wieder mehr auf die Rückeroberung von verlorenen Gebieten konzentrierten. Auch in den darauffolgenden Jahren konnte Nur ad-Din Zengi einige Festungen der Kreuzzügler mitten im Al-Scham-Gebiet sowie an dessen Küste zurückerobern.

Erst diese Bedrohung für die Christen führte dazu, dass die Europäer sich wieder mehr auf die Unterstützung ihrer Glaubensbrüder in Großsyrien fokussierten, da das erklärte Ziel Nur ad-Din Zengis die Rückeroberung Jerusalems war. Daher rief der inzwischen ernannte Papst Eugen III. 1145 zum zweiten Kreuzzug auf. Allerdings erlangte er kaum gehör, sodass er ein Jahr später ein zweites Mal versuchte, die Europäer zum Kampf gegen die Muslime zu ermutigen. Dieses Mal erwiderten mehr Europäer den Aufruf und es meldete sich eine Reihe von freiwilligen Kämpfern. Während des Aufrufes zum Kreuzzug überschlugen sich, wie auch schon beim ersten Kreuzzug, die Emotionen der europäischen Christen, sodass sie ihre frisch gewonnene kriegerische Energie wieder gegen die jüdische Bevölkerung im eigenen Land abließen und viele von ihnen ermordeten (wie war das nochmal mit dem importierten Antisemitismus?). Besonders Deutschlands König, Konrad III. und der König Frankreichs, Ludwig VII., nahmen sich dem Hilferuf der Kreuzzügler an und machten sich mit einer Armee von insgesamt 100.000 auf Richtung Großsyrien. Dabei machten sich die Deutschen auf nach Akkon (heute durch Israel besetzt) und die Franzosen marschierten nach Antiochia (Türkei). Ursprünglich wollten sie sich in Konstantinopel treffen und zusammenschließen. Der byzantinische Kaiser Manuel I. misstraute jedoch den Kreuzzüglern und fürchtete um seine Stadt. Zudem hatte er bereits einen Friedensvertrag mit dem seldschukischen Sultan von Ikonion (heute Konya) in Anatolien ausgehandelt. Diesen wollte Kaiser Manuel I. nicht gefährden, weswegen er den Kreuzrittern auch nur wenig Unterstützung zukommen ließ und darauf drängte, dass diese weiterziehen sollten. So zog das deutsche Heer unter Konrad III., welche zuerst Konstantinopel erreichten, ohne das französische Heer weiter. Somit machten sich das französische und das deutsche Heer getrennt auf nach Großsyrien. Sie kamen dort schnell in vereinzelte kriegerische Auseinandersetzungen mit den Seldschuken, welche die Europäer auf Grund ihrer Schwäche nicht gewinnen konnten. So flohen die Kreuzzügler nach Akkon und trafen sich dort, um gemeinsam mit dem König Jerusalems, Balduin III., über das weitere Vorgehen zu beraten.

Neues Ziel der Kreuzzügler war es nun, sich vor Damaskus zu versammeln und die Stadt einzunehmen, da es zum einen die Hauptstadt des Al-Scham Gebietes war und zum anderen den Muslimen den Weg nach al-Quds erschweren würde. Zudem hätte die Eroberung dieser wohlhabenden Stadt die Muslime in Ägypten von denen in Syrien abgeschnitten und den Kreuzzüglern Wohlstand und bessere Versorgungsmöglichkeiten verschafft. Dies war insbesondere deshalb wichtig, da die Kreuzzügler schlecht versorgt waren, sich in der Nähe von feindlichem Territorium befanden und auch von ihren christlichen Kameraden, wie das Beispiel des byzantinischen Kaisers zeigt, wenig Unterstützung erhoffen konnten. Durch den Plan Damaskus einzunehmen, begingen sie aber einen schwerwiegenden Fehler. Denn der Herrscher von Damaskus, Mujir ad-Din, stand der Herrschaft der Zengi-Familie feindlich gegenüber und spielte mit dem Gedanken, sich die Unterstützung der Kreuzzügler zu sichern, sollte sich die Familie Zengi in Richtung Damaskus machen. Er zahlte an einige christliche Standpunkte sogar Tribut. Da er aber nun sah, dass eben diese Kreuzzügler das Ziel hatten seine Stadt einzunehmen, wandte er sich stattdessen Nur ad-Din Zengi zu, um diesen um Hilfe gegen die Kreuzzügler zu bitten. Die Kreuzzügler nutzen diesen strategischen Vorteil nicht und brachten Damaskus gegen sie auf. Zwar konnten sie für vier Tage die Stadt belagern, waren aber durch fehlenden Proviant und den herrschenden Streitigkeiten unter ihren Befehlshabern so weit geschwächt, dass sie die Belagerung abbrechen mussten. In diesem Zustand hätten sie sich nicht gegen Nur ad-Dins Armee durchsetzen können. Somit übernahm letzterer die Kontrolle über das Gebiet um Damaskus und erschwerte den Kreuzzüglern ihren Plan. Konrad III. und kurz darauf auch der französische König Louis VII., sahen sich daher gezwungen ihr Vorhaben abzubrechen und zurück in ihre Heimaten zu kehren. Dadurch scheiterte der zweite Kreuzzug 1149 nach vier Jahren.

Durch den Fehlschlag des zweiten Kreuzzuges wurde die Verletzlichkeit der Kreuzzügler offensichtlich. Zusammen mit dem Siegeszug des Nur ad-Din Zengi verbesserte sich die Situation für die Muslime und sie schöpften neuen Mut. Zudem wurde das Herrschaftsgebiet der Kreuzzügler auf einige Küstenregionen und Palästina beschränkt. Ihre Hoffnung auf Verstärkung schwindete, da Europa vorerst keine neue Unterstützung schicken sollte. Es zeigte sich wie wenig die Kreuzzügler den Muslimen entgegenbringen konnten. Und obwohl sie immer noch al-Quds und einige andere Gebiete besetzt hielten, wurden sie stark geschwächt. Der einzige Grund, warum sie ihre Stellung zum Teil halten konnten, war die noch weiter herrschende Uneinigkeit unter den verschiedenen Emiraten sowie dem Kalifat. Machtansprüche und Zwist hinderten die Muslime mehrheitlich geschlossen zu agieren. Doch stärkten sich ihre Reihen im Vergleich zu der Zeit des ersten Kreuzzuges durch die Einheitsbemühungen der Zengi-Familie und dem Erstarken des abbasidischen Kalifen Al-Muqtafi. Die christlichen Kreuzzügler hingegen konnten keine wirkliche gemeinsame Aktion durchführen, da sie sich gegenseitig misstrauten. Somit schwanden große Teile ihrer Gebiete und gingen zurück an die Muslime.