Setelah wafatnya Sayyidina Abu Bakar, beliau berkeinginan agar umat Islam tidak berselisih mengenai siapa yang akan menjadi penggantinya. Oleh karena itu, menjelang akhir hayatnya, Sayyidina Abu Bakar menunjuk Sayyidina Umar bin Khattab sebagai Khalifah berikutnya. Keputusan ini diambil setelah diskusi dengan sejumlah pemuka umat Islam, seperti Abdurrahman bin Auf dan Utsman bin Affan.
Pengangkatan Sayyidina Umar bin Khattab diwarnai dengan gejolak yang tidak sekuat yang dialami Sayyidina Abu Bakar pada musyawarah di Saqifah Banu Sa’idah. Meskipun ada beberapa sahabat yang tidak setuju, mayoritas menerima keputusan tersebut, termasuk Sayyidina Ali bin Abi Thalib. Sikap yang serupa ditunjukkan Sayyidina Ali ketika Sayyidina Utsman bin Affan terpilih sebagai Khalifah ketiga.
Menjelang akhir hayat Sayyidina Umar, ia membentuk Majelis Syura untuk menentukan penggantinya, yang terdiri dari enam orang: Sayyidina Utsman bin Affan, Ali bin Abi Thalib, Zubair bin Awwam, Talhah bin Ubaidillah, Abdurrahman bin Auf, dan Sa’ad bin Abi Waqqas. Mereka dipilih berdasarkan kedudukan dan hubungan mereka dengan Nabi Muhammad SAW. Pada sidang Majelis Syura, terjadi perdebatan sengit untuk menentukan siapa yang akan menjadi Khalifah ketiga.
Dua nama yang muncul sebagai calon terkuat adalah Sayyidina Utsman dan Sayyidina Ali. Bani Umayyah mendukung Sayyidina Utsman, sementara Bani Hasyim mendukung Sayyidina Ali. Dalam proses ini, pamannya Sayyidina Ali, Abbas bin Abdul Muthalib, sangat mendorong keponakannya untuk terpilih sebagai Khalifah. Namun, meskipun ada dorongan tersebut, Sayyidina Ali menolak untuk segera mengambil alih kepemimpinan umat Islam.
Akhirnya, Majelis Syura menetapkan Sayyidina Utsman sebagai Khalifah ketiga. Semua pihak menerima keputusan ini, termasuk Sayyidina Ali. Menurut riwayat Ibnu Sa’ad, Sayyidina Ali adalah orang pertama yang membaiat Sayyidina Utsman, meskipun ada pendapat lain yang menyatakan bahwa Abdurrahman bin Auf adalah orang pertama yang membaiat.
Meskipun ada ketidakpuasan di antara Sayyidina Ali dan Bani Hasyim terhadap pemilihan ini, mereka tetap membaiat Sayyidina Utsman dan menjaga hubungan baik satu sama lain. Peran Sayyidina Ali sebelum menjadi Khalifah keempat adalah penasihat resmi bagi tiga khalifah sebelumnya. Ia memberikan saran-saran kepada Sayyidina Abu Bakar, Umar bin Khattab, dan Utsman bin Affan selama masa jabatan mereka.
Sayyidina Ali dikenal sebagai sosok yang berjiwa besar dan rendah hati. Ia mampu menerima kenyataan meskipun tidak terpilih menjadi pengganti Nabi Muhammad SAW, meskipun banyak yang berpendapat bahwa ia adalah orang yang paling berhak untuk menjabat sebagai Khalifah.
