Nabi Muhammad dan umat Islam terpaksa meninggalkan Makkah dan bermigrasi ke Yatsrib setelah mendapatkan wahyu untuk berhijrah. Mereka mengalami penyiksaan dan penindasan yang luar biasa dari kaum musyrik Quraisy, sehingga terpaksa meninggalkan kampung halaman dan semua harta benda mereka yang diambil oleh musyrik Quraisy. Umat Islam melakukan hijrah tanpa membawa kekayaan sama sekali.
Perjalanan menuju Kota Yatsrib dilakukan secara bergelombang. Nabi Muhammad, bersama Abu Bakar, memulai hijrah pada tanggal 27 Shafar tahun ke-14 kenabian. Beliau menumpang Qashwa, seekor unta yang dibeli dari Abu Bakar, menyusuri perjalanan panjang. Setelah melewati berbagai rintangan, Nabi akhirnya tiba di Yatsrib pada bulan Rabi’ul Awwal, yaitu pada hari Senin, 22 September 622 M.
Kedatangan Nabi Muhammad disambut dengan suka cita oleh masyarakat Yatsrib. Semua ingin Nabi tinggal di rumah mereka, tetapi Nabi memilih tempat yang ditentukan oleh unta kesayangannya, Qashwa. Unta itu berhenti di sebuah tanah milik Sahl dan Suhail, dua anak yatim piatu yang diasuh As’ad. Di tempat itulah kemudian dibangun Masjid Nabawi dan bilik-bilik untuk Nabi Muhammad.
Setibanya di Yatsrib, Nabi Muhammad menyampaikan khutbah pertama untuk meneguhkan iman umat Islam, terutama kaum Muhajirin, dan mengingatkan agar menjaga diri dari neraka. Dalam khutbahnya, beliau menekankan pentingnya mempersiapkan diri untuk kehidupan setelah meninggalkan harta dan keluarga di Makkah. Kehidupan baru ini adalah di bawah bimbingan Rasulullah dan bersama dengan saudara baru, kaum Anshor.
Nabi Muhammad juga melakukan berbagai terobosan untuk membangun Kota Yatsrib; mengganti namanya menjadi Madinah, menjadikan masjid sebagai pusat kegiatan—bukan hanya untuk pengajaran Islam dan ibadah, tetapi juga untuk merencanakan strategi perang dan pembinaan umat, serta mempersaudarakan kaum Muhajirin dan Anshor. Beliau juga menjalin perjanjian dengan kaum Yahudi dan Nasrani.
Semua usaha Nabi Muhammad terbukti berhasil. Beliau mampu mengubah kota biasa menjadi Madinah yang berperadaban dan diperhitungkan di jazirah Arab saat itu. Melalui Piagam Madinah, Nabi Muhammad berhasil membangun masyarakat majemuk di Madinah yang hidup dalam harmoni dan damai.