Di usia Nabi Muhammad shallallahu ‘alaihi wasallam yang ke-35 tahun, masyarakat Quraisy berkumpul untuk merencanakan pembangunan Ka‘bah. Menurut Musa ibn ‘Uqbah, motivasi utama mereka adalah banjir besar yang merusak dinding Ka‘bah, yang membuat mereka khawatir akan masuknya air ke dalam bangunan suci tersebut. Di samping itu, insiden pencurian barang berharga di dalam Ka‘bah oleh seorang bernama Mulaih semakin mendorong mereka untuk mengambil tindakan, termasuk meninggikan pintu agar aksesnya lebih terbatas.
Setelah mengumpulkan dana dan pekerja, mereka mulai merobohkan Ka‘bah dengan hati-hati, khawatir akan halangan dari Allah dalam tujuan mereka. Seperti yang diceritakan oleh Ibnu Ishaq, kabilah-kabilah dari masyarakat Quraisy bersatu mengumpulkan batu untuk pembangunan. Namun, ketika saatnya tiba untuk meletakkan Hajar Aswad, perselisihan muncul di antara mereka mengenai siapa yang berhak melakukannya. Masing-masing kabilah mengklaim haknya, dan diskusi panjang serta konflik tidak dapat dihindari, bahkan ada yang mengusulkan untuk menyelesaikannya dengan perang.
Dalam situasi tegang itu, warga Bani Abdid Dar membawa mangkuk berisi darah sebagai simbol keseriusan mereka. Bersama dengan warga Bani Adi, mereka sepakat untuk berperang sampai titik darah penghabisan. Akibatnya, masyarakat Quraisy sempat mundur selama empat atau lima malam sebelum kembali berkumpul di masjid untuk berdiskusi dan mencari solusi.
Abu Umayyah ibn al-Mughirah, salah satu tokoh tertua di antara mereka, memberikan saran untuk menjadikan orang pertama yang masuk ke masjid sebagai penengah. Tak disangka, orang pertama yang masuk adalah Muhammad shallallahu ‘alaihi wasallam. Begitu mengetahui bahwa Rasulullah akan menyelesaikan masalah ini, semua pihak langsung setuju. “Ini Muhammad, seorang pemuda yang jujur. Kami rida kepadanya,” kata mereka.
Rasulullah lalu meminta sebuah kain dan meletakkan Hajar Aswad di atasnya. Beliau kemudian meminta setiap kabilah memegang pinggir kain tersebut dan mengangkatnya bersama-sama. Dengan cara ini, semua kabilah dapat berpartisipasi dalam meletakkan batu suci itu. Setelah kembali ke tempat semula, Hajar Aswad pun ditempatkan oleh Rasulullah. Keputusan ini membuat semua pihak merasa puas, dan pembangunan pun dilanjutkan.
Pada zaman Nabi Ismail ‘alaihis salam, tinggi bangunan Ka‘bah hanya 9 hasta. Sebelum datangnya Islam, masyarakat Quraisy menambah tinggi bangunan tersebut menjadi 18 hasta. Pintu Ka‘bah juga ditinggikan dari permukaan tanah sehingga hanya bisa diakses menggunakan tangga. Di masa Ibnu az-Zubair, tinggi Ka‘bah ditambahkan lagi menjadi 27 hasta, dan hingga kini bangunan suci tersebut tetap setinggi itu.
