Pada masa kekhalifahannya, Umar bin Khattab berhasil menaklukkan imperium besar Persia di bawah komando Khalid bin Walid. Umar memerintahkan panglima tersebut untuk membantu Abu Ubaidillah bin Jarrah yang saat itu sedang mengurung wilayah Yerusalem. Yerusalem, yang kala itu di bawah kekuasaan Raja Romawi Heraklius, menyerah kepada Panglima Abu Ubaidillah bin Jarrah pada tahun 636 Masehi. Namun, persoalan penyerahan tersebut tidak selesai begitu saja. Kedua pihak menyepakati adanya surat perjanjian penyerahan Yerusalem.
Panglima Romawi dan Patriark (Uskup Agung) Sophronius meminta agar perjanjian penyerahan Kota Yerusalem ditandatangani langsung oleh Khalifah Umar bin Khattab. Awalnya, permintaan ini ditolak oleh Abu Ubaidillah dan Khalid bin Walid beserta pasukan Muslim. Namun, dengan kebijaksanaannya, Khalifah Umar akhirnya menyetujui pemerintahan tersebut.
Kedatangan Khalifah Umar dari Madinah disambut baik oleh pembesar Muslim, Romawi, dan pemimpin Kristen. Mereka terkejut melihat sang khalifah menaiki unta tanpa pengawalan besar-besaran, hanya ditemani seorang ajudan. Ternyata, sosok yang ditakuti oleh lawan dan dihormati oleh panglima-panglimanya adalah seorang lelaki dengan penampilan yang sangat sederhana.
Di era kekhalifahan Umar bin Khattab, upaya memperluas dakwah Islam terus dilakukan ke berbagai negeri, termasuk Palestina dan Suriah yang masih dikuasai oleh Raja Romawi. Meskipun musim dingin melanda, Panglima Abu Ubaidillah bin Jarrah tetap melaksanakan misi ke seluruh tanah Suriah dan Palestina.
Palestina sendiri memiliki sejarah panjang penguasaan oleh berbagai kelompok, seperti Asyur, Babilonia, Persia, Yunani, Romawi, Arab, Turki Seljuk, Tentara Salib, hingga Mesir. Kekaisaran Ottoman menguasai sebagian besar wilayah Palestina dari sekitar tahun 1517 hingga 1917. Namun, saat Kekaisaran Ottoman runtuh setelah Perang Dunia I berakhir pada 1918, Palestina berada di bawah kekuasaan Inggris. Liga Bangsa-Bangsa kemudian memberikan mandat kepada Inggris untuk mengontrol administrasi kawasan Palestina.
Setelah lebih dari dua dekade pemerintahan Inggris di Palestina, Perserikatan Bangsa-Bangsa (PBB) pada tahun 1947 mengusulkan rencana pembagian wilayah Palestina menjadi dua bagian: negara Yahudi merdeka dan negara Arab merdeka. Kota Yerusalem, yang sama-sama diklaim oleh orang Yahudi dan Arab Palestina, direncanakan menjadi wilayah internasional dengan status khusus. Rencana ini menuai kontroversi; para pemimpin Yahudi setuju sementara mayoritas orang Arab Palestina menolak dengan keras.
Menurut kelompok Arab, seharusnya mereka mendapatkan wilayah lebih banyak karena mewakili mayoritas penduduk. Mereka mulai membentuk pasukan sukarelawan di seluruh Palestina. Pada tahun 1948, Inggris menarik diri dari Palestina, sementara Israel mendeklarasikan diri sebagai negara merdeka. Kejadian ini memicu Perang Arab-Israel pada tahun 1948. Ketika perang berakhir, Israel telah menguasai sebagian besar wilayah bekas kekuasaan Inggris dan sebagian besar wilayah Yerusalem. Sementara itu, Yordania menguasai Tepi Barat dan Mesir menguasai Gaza.
Lebih dari setengah populasi Arab Palestina melarikan diri atau diusir. Konflik tidak berhenti di situ; pada tahun 1967, dikenal sebagai Perang Enam Hari, Israel merebut Jalur Gaza dan Semenanjung Sinai dari Mesir serta Dataran Tinggi Golan dari Suriah. Israel juga merebut Tepi Barat dan Yerusalem Timur dari Yordania dengan alasan agresi Arab di perbatasan.
Meskipun Israel menawarkan untuk mengembalikan wilayah yang direbut dengan imbalan pengakuan hak hidup bagi Israel serta jaminan terhadap serangan di masa depan, tawaran ini ditolak oleh para pemimpin Arab. Hanya Mesir yang merundingkan kembalinya Semenanjung Sinai dengan tawaran pengakuan diplomatik penuh atas Israel. Pendudukan Israel di wilayah Palestina telah menyebabkan konflik dan kekerasan selama beberapa dekade.
Namun demikian, pemimpin arus utama Palestina tetap menginginkan kesepakatan damai dan mencari solusi atas konflik dua negara. Sementara itu, pembangunan pemukiman oleh orang Yahudi terus berlangsung di tanah yang diduduki. Sampai saat ini, Palestina masih berjuang untuk nasib dan kemerdekaannya agar secara resmi diakui oleh seluruh negara. Meskipun orang Palestina menempati wilayah utama seperti Tepi Barat dan Jalur Gaza, beberapa orang Israel tinggal di wilayah yang umumnya disepakati berada di bawah kendali Palestina.