واستقرت الأمور فى "البصرة" عقب ذلك، وأخذ على البيعة لنفسه من أهلها ثم وجه أنظاره ناحية الشام حيث معاوية بن أبى سفيان الذى رفض الطاعة وأبى البيعة له إلا بعد الأخذ بثأر عثمان، فبعث إليه يدعوه مرة أخرى فلم يجبه إلى ثلاثة أشهر من مقتل عثمان، ولما تحقق علىّ من عدم استجابته لدعوته وتأهبه للقتال، سار من الكوفة لردعه والتقى بجند الشام وعلى رأسهم معاوية بن أبى سفيان حيث دارت بين الطرفين مناوشات يسيرة فى سهل "صفين" فى ذى الحجة سنة 36هـ، ثم اتفقا على إيقاف الحرب إلى آخر المحرم طمعًا فى الصلح، وترددت الرسل بينهما لكن معاوية ابن أبى سفيان كان يعتبر نفسه ولى دم عثمان بن عفان وطالب بثأره فأصر على موقفه وهو مطالبة علي بن أبى طالب بالتحقيق مع قتلة عثمان والاقتصاص منهم، بينما رأى على أنَّ هذا الأمر لن يتم إلا بعد أن تهدأ الفتنة وتستقر الأحوال فى الدولة، ولما لم يصل الطرفان إلى حل يرضى كلا منهما عادوا إلى القتال فى شهر صفر سنة 37هـ.
موقعة صفين:
واشتعلت نار الحرب بين الفريقين أيامًا متوالية وزحف علىّ ابن أبى طالب بجنده على جند معاوية بن أبى سفيان الذين رفعوا المصاحف على أسنة الرماح وقالوا: "هذا كتاب الله عز وجل بيننا وبينكم" فلما رأى أهل العراق المصاحف مرفوعة قالوا: "نجيب إلى كتاب الله" ولقيت هذه الدعوة قبولا لدى عدد كبير من جند "على" الذين يُعرفون بالقراء؛ لأنهم يجيدون حفظ القرآن الكريم، فرفضوا المضى فى القتال ووافقوا على التحكيم، وبذلك انتهت موقعة "صفين"، وحل محلها التحكيم، واتفق الفريقان على أن يختار كل منهما رجلا من قِبَله، فاختار معاوية "عمرو بن العاص"، واختار أتباع على "أبا موسى الأشعرى"، لكن فئة من أنصاره عادوا ورفضوا التحكيم فى قضية تبين فيها الحق من الباطل، وخرجت هذه الفئة على أمير المؤمنين علي بن أبى طالب ورفضوا السير معه إلى الكوفة وعرفت هذه الفئة "بالخوراج".
استمر علي بن أبى طالب فى قبول مبدأ التحكيم وأرسل أبا موسى الأشعرى، فاجتمع بعمرو بن العاص، واتفق الحكمان على خلع على ومعاوية، وترك الأمر شورى للمسلمين يختارون فيه من يريدون، فلما بلغ عليّا خبر الحكمين أنكر عليهما ما اتفقا عليه، وقال: إن هذين الحكمين نبذا حكم القرآن واتبع كل واحد هواه، واختلفا فى الحكم فاستعدوا للسير إلى الشام، وأخذ يحرض الناس على حرب معاوية، لكن الخوارج اشتدوا على أصحاب "على" وقتلوا بعضًا منهم، فجهَّز "على" جيشًا لمحاربة الخوارج والتقى بهم عند النهروان على بعد ميلين من "الكوفة" وهزمهم شر هزيمة ثم أخذ يعد العدة لمحاربة معاوية بن أبى سفيان بالشام سنة 38هـ، لكن أحد الخوارج ويُدعى عبدالرحمن بن مُلْجَم استطاع قتل على فى المسجد بالكوفة؛ حيث ضربه بسيف مسموم فتوفى فى 17 رمضان سنة 40هـ .
وبوفاته انتهى عهد الخلفاء الراشدين.