Waktu Nabi Muhammad (SAW) dan para sahabatnya memasuki kota Madinah, mereka mendapat sambutan yang luar biasa dari penduduk setempat. Setiap orang menawarkan tempat tinggal untuk Nabi (SAW), tetapi beliau tidak ingin mengecewakan siapa pun. Untuk menghindari memilih satu rumah dari yang lain, Nabi (SAW) berkata, “Biarkan unta itu berjalan, di mana ia berhenti, di situlah kami tinggal, karena unta itu telah ada yang memerintah.” Perhatian ribuan orang tertumpu pada unta Nabi yang bernama al-Qushwa, yang berjalan di antara kerumunan.
Akhirnya, unta itu berhenti di sebuah tanah lapang yang luas, tempat menjemur buah kurma. Semua orang berteriak gembira dan sepakat untuk membangun masjid di lokasi tersebut. Tanah itu milik dua anak yatim bernama Sahal dan Suhail. Awalnya, mereka ingin mewakafkan tanah tersebut kepada Nabi (SAW), tetapi beliau menolak dan membayar harga yang sewajarnya agar hak mereka tidak diabaikan. Di tempat itulah kemudian dibangun Masjid Nabawi, masjid yang kini dikenal dengan kubah hijaunya di Madinah.
Selain membangun masjid sebagai pusat ibadah dan dakwah Islamiah, Nabi (SAW) juga menegakkan ukhuwah Islamiah atau persaudaraan antar umat Islam. Beliau menyatukan kaum Muhajirin yang datang dari Makkah dengan kaum Anshar, pribumi Madinah, serta berbagai bangsa lainnya seperti orang Persia dan orang Afrika. Dalam sabdanya, Nabi (SAW) mengibaratkan orang-orang beriman bagaikan satu tubuh; jika salah satu anggota tubuh sakit, maka seluruh tubuh merasakannya.
Nabi (SAW) juga mengatakan bahwa seorang Muslim adalah saudara bagi Muslim lainnya. Oleh karena itu, setiap orang harus saling membantu dan tidak menyakiti satu sama lain. Barang siapa yang memenuhi kebutuhan saudaranya, Allah akan memenuhi kebutuhannya di hari kiamat. Persaudaraan ini sangat tulus dan didasarkan pada kasih sayang tanpa mengharapkan imbalan lainnya selain ridha Allah.
Di samping membina persaudaraan antar umat Islam, Nabi (SAW) juga memperhatikan persaudaraan antar sesama umat manusia. Untuk mengatur kehidupan di Madinah yang terdiri dari berbagai suku, ras, dan agama, beliau membuat perjanjian yang dikenal sebagai Konstitusi Madinah. Konstitusi ini merupakan dokumen tertulis tertua yang mencakup sepuluh bab dan 47 pasal.
Di antara pasal-pasal tersebut terdapat pengaturan tentang persaudaraan seagama, pertahanan bersama, perlindungan terhadap minoritas, dan pembentukan umat. Misalnya, Pasal 1 menekankan pembentukan umat sebagai satu bangsa bebas dari pengaruh manusia lainnya. Pasal-pasal lain juga menyatakan bahwa hak dan kewajiban antara kaum Muhajirin, Anshar, dan suku-suku lain adalah setara.
Konstitusi Madinah mencerminkan semangat persatuan dan saling menghormati antar semua lapisan masyarakat di Madinah, sehingga menciptakan ikatan yang kuat antara para pengikut Nabi (SAW) tanpa memandang suku atau latar belakang mereka.