Pembangunan Ka’bah dimulai dari migrasi Nabi Ibrahim dari Irak, tanah kelahirannya. Pernikahannya dengan Sayyidah Sarah tidak dikaruniai anak, sehingga beliau dihadiahi seorang budak bernama Sayyidah Hajar. Dari Sayyidah Hajar lahirlah seorang anak bernama Ismail. Sayyidah Sarah kemudian memohon kepada Nabi Ibrahim untuk berhijrah bersama Hajar dan Ismail. Mereka pun hijrah dan tiba di tempat yang sangat gersang dan tandus.
Setelah beberapa waktu tinggal di sana, Nabi Ibrahim meninggalkan mereka untuk kembali ke Palestina menemui Sayyidah Sarah. Di sinilah kisah antara Sayyidah Hajar dan Nabi Ismail kecil dimulai, sebagaimana diceritakan dalam sejarah Islam. Dalam Tafsir at-Thabari dijelaskan bahwa Allah mengutus Malaikat untuk memberikan kabar kepada Sayyidah Hajar agar tidak khawatir, karena suatu saat Nabi Ibrahim akan kembali ke tempat tersebut. Kembali setelah peristiwa keluarnya air zam-zam dan pencarian air oleh Hajar, Nabi Ibrahim dan Ismail akan membangun sebuah rumah yang kemudian dikenal dengan Ka’bah.
Ketika Ismail berumur 30 tahun dan ibunya Sayyidah Hajar berumur 90 tahun, Nabi Ibrahim datang ke Makkah dengan misi untuk membangun Ka’bah. Ia menceritakan misinya kepada Ismail, dan keduanya mulai membangun Ka’bah. Setelah bangunan Ka’bah tinggi, Nabi Ismail membawa batu besar dari Jabal Qubais untuk ayahnya, yang kemudian digunakan Nabi Ibrahim sebagai pijakan saat membangun. Batu itu dikenal sebagai Maqam Ibrahim. Tidak ada keterangan pasti mengenai berapa lama pembangunan Ka’bah ini berlangsung. Sebagai simbol selesainya pembangunan, ditandai dengan peletakan Hajar Aswad setelah Nabi Ibrahim kembali ke Syam, sementara Nabi Ismail melanjutkan misi dakwahnya.
Namun, seiring waktu, tempat suci ini mengalami pergeseran fungsi. Dalam kitab al-Ashnam karya Ibnu Hisyam al-Kalbi dijelaskan bahwa keturunan Nabi Ismail berkembang biak dan Makkah dipenuhi oleh mereka. Interaksi sosial yang terjadi di antara mereka melahirkan kepentingan yang beragam. Hal ini mengakibatkan munculnya peperangan dan pertikaian, di mana sebagian orang meninggalkan Makkah untuk membangun daerah baru. Penyembah berhala adalah mereka yang membawa batu suci dari tanah haram Makkah sebagai penghormatan, meletakkannya di tempat-tempat baru, dan mengelilinginya sebagai bentuk penghormatan kepada Ka’bah.
Di sisi lain, sebagian orang tetap melanjutkan tradisi nenek moyang mereka dengan melakukan haji dan umrah sesuai perintah. Namun, seiring berjalannya waktu, banyak dari mereka mulai menyimpang dari warisan Nabi Ibrahim dan Nabi Ismail, dengan menyembah patung-patung seperti kaum Nabi Nuh. Beberapa orang juga mengubah tradisi dengan yang baru, meskipun masih ada yang melakukan haji, umrah, dan tawaf dengan banyak penyimpangan.
Amr bin Luhay bin Harishah adalah orang pertama yang mengganti agama Ismail dengan menyembah patung. Ia membawa berhala dari Syam, yang dikenal sebagai Hubal, dengan keyakinan bahwa berhala-berhala tersebut dapat memberikan berkah dan menolak bencana. Amr bin Luhay juga dikenal sebagai pembuat dua patung bernama Nailah dan Asaf yang diagungkan oleh orang-orang saat thawaf.
Cerita mengenai Amr bin Luhay juga menyebutkan bahwa ia pernah sakit parah dan pergi ke Balqa’ untuk mandi di kolam pemandian air hangat. Setelah sembuh, ia bertanya kepada penduduk setempat tentang penyembahan berhala yang mereka lakukan, lalu membawa benda-benda tersebut ke Makkah dan meletakkannya di Ka’bah.
Bulan Ramadhan menjadi titik balik bagi pengembalian Ka’bah sebagai tempat penyembahan kepada Allah. Berhala-berhala yang mengelilingi Ka’bah hancur setelah Fathu Makkah. Pada tahun 8 Hijriah, sebanyak 360 berhala hancur bersamaan dengan jatuhnya patung al-Uzza ke tanah. Saat itu, Nabi Muhammad langsung menuju Masjid Haram, menyalami Hajar Aswad, dan tawaf di Ka’bah yang dikelilingi berhala-berhala sambil membersihkannya dengan tongkat. Dalam proses ini, Nabi Muhammad dibantu oleh pasukan seperti Khalid bin Walid yang pergi ke al-Uzzah, Amr bin Ash ke Sawa’, dan Sa’ad bin Zaid ke Manah.
