Setelah wafatnya Khalifah Umar, peluang Ali ibn Abi Thalib untuk menjadi khalifah sebenarnya cukup besar. Ia memenuhi hampir semua syarat ideal sebagai seorang khalifah. Ali adalah salah satu yang dijamin masuk surga, orang pertama yang masuk Islam dari kalangan anak-anak, menantu dan sepupu Nabi Muhammad SAW, serta berasal dari keluarga terhormat dengan ilmu yang sangat tinggi. Selain itu, Ali merupakan sahabat yang selalu hadir dalam peperangan, termasuk sebagai penjebol benteng Yahudi di Perang Khaibar.
Namun, sebelum meninggal, Khalifah Umar memberikan wasiat bahwa jika Abu Ubaidillah bin al-Jarrah masih hidup, ia akan menyerahkan jabatan khalifah kepadanya. Karena Abu Ubaidillah telah meninggal, Umar tidak dapat menunjuk satu orang pun dan memilih untuk menyerahkan masalah ini kepada enam tokoh sebagai tim formatur. Salah satu anggota tim adalah Abdullah ibn Umar, anaknya, yang tidak boleh dipilih. Enam orang tersebut adalah Ali ibn Abi Thalib, Usman ibn Affan, Abdurrahman ibn Auf, Sa’ad ibn Abi Waqaz, Zubair ibn Awwam, dan Thalhah ibn Ubaidillah. Mereka harus mencapai keputusan dalam waktu empat hari. Jika tidak, ketua tim harus mengambil kebijakan tegas.
Musyawarah untuk menentukan khalifah berjalan dengan alot. Faktor kabilah sangat mempengaruhi. Zubair tidak bisa maju karena berasal dari Bani Hasyim yang sama dengan Ali. Sa’ad ibn Abi Waqqas memiliki peluang kecil karena berasal dari Bani Zahrah, kabilah yang tidak memiliki wibawa. Thalhah juga tidak dapat maju karena berasal dari Bani Adiy seperti Umar. Hal ini membuat Abdurrahman ibn Auf, Usman (Bani Umayyah), dan Ali (Bani Hasyim) menjadi kandidat terkuat. Abdurrahman tidak dapat maju karena ada yang lebih senior, sehingga tersisa dua calon khalifah: Ali dan Usman.
Faktor fanatisme kabilah sangat berperan dalam sidang formatur tersebut. Pada akhirnya, Abdurrahman ibn Auf memilih Usman setelah melakukan lobi dengan kedua kandidat. Saat menemui Ali, Abdurrahman bertanya siapa yang akan dipilihnya jika ia tidak dicalonkan. Ali menjawab bahwa ia akan memilih Usman. Kemudian Abdurrahman menemui Usman dan menanyakan hal yang sama, dan Usman menjawab bahwa ia akan memilih Ali. Karena keduanya adalah kandidat kuat, akhirnya Abdurrahman ibn Auf menetapkan Usman sebagai Khalifah. Keputusan ini juga mempertimbangkan faktor kabilahnya. Menariknya, istri Abdurrahman ibn Auf, Ummi Kulsum, adalah saudara se-Ibu Usman bin Affan.
