Kota Yatsrib, yang kini dikenal sebagai Madinah, sebelum kedatangan Nabi Muhammad dan para sahabatnya, merupakan daerah yang dilanda konflik antar-suku, terutama antara dua suku besar, Suku ‘Aus dan Suku Khazraj. Kedua suku ini tidak pernah akur dan terlibat dalam perseteruan sepanjang tahun.
Salah satu alasan utama hijrah Nabi Muhammad dan para sahabatnya ke Yatsrib adalah keinginan untuk menyatukan masyarakat di Madinah. Sebelumnya, beberapa warga Yatsrib yang jenuh dengan konflik meminta Nabi Muhammad untuk memberikan kedamaian. Nabi Muhammad disambut baik oleh penduduk Yatsrib, terutama oleh para sahabat Anshar yang sudah mengikuti ajaran beliau. Ia tidak memaksakan agama Islam kepada penduduk Madinah yang dikenal memiliki keragaman, termasuk kaum Muslim, Nasrani, dan Yahudi.
Muhammad Husain Haekal dalam karyanya menjelaskan bahwa sebelum menyatukan masyarakat Madinah, Nabi Muhammad terlebih dahulu menyatukan umat Islam, yaitu kaum Muhajirin dan Anshar. Dalam proses ini, beberapa kaum munafik berusaha menciptakan konflik antara kedua kelompok tersebut untuk memicu peperangan. Namun, Nabi Muhammad dapat membaca upaya jahat itu dan berhasil menghindarkan kaum Muslimin dari provokasi tersebut. Ia kemudian merangkul semua kaum dan menyusun sebuah kesepakatan yang dikenal sebagai Piagam Madinah.
Dalam piagam ini, Nabi Muhammad melakukan kebijakan politik yang cerdas dengan menciptakan “Persatuan Yatsrib.” Beliau juga menjalin hubungan baik dengan kaum Yahudi melalui musyawarah dengan kepala suku dari Suku Quraiza, Nadhir, dan Qainuqa, serta kaum Nasrani. Nabi Muhammad menjadikan mereka sebagai Ahli Kitab dan kaum monoteis. Selama bulan puasa, kaum Yahudi juga ikut berpuasa sesuai dengan tradisi umat-umat terdahulu, meskipun umat Islam telah memiliki syariat yang jelas.
Pada masa itu, kiblat shalat masih mengarah ke Baitul Maqdis, yang menjadi pusat perhatian keluarga Israil. Hubungan Nabi Muhammad dengan kaum Yahudi semakin erat dari waktu ke waktu. Kewibawaan beliau terlihat jelas di hadapan masyarakat Madinah, berkat akhlak mulia, kerendahan hati, kasih sayang, serta komitmen untuk memenuhi janji dan membantu orang-orang yang membutuhkan.
Nabi Muhammad berhasil menyatukan masyarakat Madinah melalui perjanjian persahabatan dan persekutuan sambil menetapkan kebebasan beragama. Namun, beliau juga menegaskan hukuman bagi siapa saja yang melanggar kesepakatan dalam Piagam Madinah.
Sebelum hijrah ke Madinah, atau ketika kota tersebut masih bernama Yatsrib, terdapat dua kabilah besar yang bertikai selama ratusan tahun: Kabilah Aus dengan sekutu Yahudi Bani Quraiza dan Kabilah Khazraj dengan sekutu Yahudi Bani Nadhir. Konflik antara kedua kabilah ini telah berlangsung selama sekitar 120 tahun dengan sejumlah perang besar seperti Perang Sumir, Perang Ka’b, Perang Hathib, dan Perang Bu’ats yang menewaskan ratusan orang.
Sejak dua tahun sebelum hijrah (620 M), Nabi Muhammad sering dihubungi oleh tokoh-tokoh dari Yatsrib yang berasal dari Kabilah Aus dan Khazraj. Meskipun beliau memiliki banyak musuh di Makkah, reputasi beliau sebagai al-Amin—orang yang jujur dan terpercaya—membuat pemuka kabilah di Yatsrib melihatnya sebagai sosok yang layak untuk menyelesaikan sengketa antara kedua suku.
Menyadari krisis sosial politik di kota tersebut, mereka sepakat bahwa Nabi Muhammad adalah sosok yang tepat untuk menjadi arbitrator dalam menyelesaikan konflik tersebut. Pada saat bersamaan, perjuangan dakwah Nabi Muhammad di Makkah mengalami jalan buntu. Oleh karena itu, beliau mengajak kaum Muslim di Makkah untuk hijrah ke Yatsrib setelah mendapat perintah Allah.
Harapannya adalah dakwah Islam akan diterima lebih baik oleh warga Yatsrib. Kemudian pada tahun 622 Masehi atau tahun pertama hijriah, Nabi Muhammad membuat perjanjian dengan berbagai kalangan dari berbagai suku, ras, dan agama di Yatsrib yang dikenal sebagai Piagam Madinah.