Keluarga Umar bin Khattab tidak memiliki kedudukan istimewa. Hal ini ditanamkan dengan tegas dalam keluarganya. Setiap kali beliau ingin mengeluarkan undang-undang, beliau terlebih dahulu membicarakannya dengan anak-anaknya. Umar mengumpulkan mereka dan berkata, “Ini adalah undang-undang yang akan diberlakukan. Siapa di antara kalian yang mau menaati, silakan. Yang tidak mau, juga dipersilakan.”
Beliau menegaskan, “Jika ada dari keluarga Umar yang melanggar peraturan ini, saya akan menghukumnya dua kali lipat karena dia adalah keluarga saya. Jadi, jangan anggap karena Anda anak seorang khalifah, Anda kebal hukum.”
Salah satu sifat menonjol dari kepemimpinan Umar bin Khattab adalah kesederhanaannya. Beliau adalah satu-satunya khalifah, Amirul Mukminin, yang hanya memiliki dua jubah, dan satu di antaranya pun dipakai oleh anaknya. Suatu ketika, saat shalat Jumat, beliau terlambat dan naik ke mimbar untuk meminta maaf karena harus menunggu bajunya kering.
Kisah kekaguman bangsa-bangsa besar terhadap kesederhanaan Khalifah Umar diceritakan oleh Maulana Jalaluddin Rumi dalam karyanya Al-Matsnawi. Suatu ketika, seorang penasihat kekaisaran Byzantium dari Konstantinopel datang untuk menghadap Khalifah Umar di Madinah.
Penasihat tersebut adalah seorang filsuf dan negarawan terkemuka. Setibanya di Madinah, ia merasa heran karena tidak menemukan istana kekhalifahan. Ia bertanya kepada salah seorang penduduk Madinah tentang lokasi istana raja mereka. Penduduk tersebut hanya tersenyum dan menjawab, “Raja kami tidak memiliki istana megah, karena istana terindahnya adalah hati dan ruhnya yang selalu diterangi oleh cahaya takwa.”
Penasihat itu semakin heran dan bertanya kembali, “Lalu di manakah raja kalian yang terkenal sebagai penakluk dua benua, Persia dan Byzantium?”
Penduduk itu menjawab, “Tidakkah engkau lihat, di bawah pohon kurma yang baru saja kau lewati itu, seorang lelaki tengah memandikan dan memberi makan unta?”
Dengan penasaran, sang utusan bertanya lebih lanjut, “Mengapa demikian?”
“Itulah sang khalifah kami, Umar bin Khattab. Ia sedang memberi makan dan memandikan unta milik baitul mal untuk anak-anak yatim dan para janda,” jawab penduduk tersebut.
Mendengar hal itu, utusan tersebut tergetar. Ia telah melihat sosok raja besar yang sangat bersahaja. “Beritahu aku lebih banyak tentang orang mulia itu,” katanya.
“Pertama-tama, bersihkan hatimu dari kotoran-kotoran duniawi. Terangi hatimu dengan cahaya ketaatan agar kau bisa mengenalnya dengan baik. Di sana kau akan menemukan kemegahan istana sang khalifah kami berupa ketakwaan,” kata penduduk itu.
Utusan lalu mendekati Khalifah Umar dan bertanya mengapa beliau melakukan pekerjaan tersebut. Tidakkah hal itu bisa dilakukan oleh bawahannya?
Khalifah Umar menjawab, “Ini adalah tanggung jawabku. Unta ini adalah milik anak-anak yatim dan para janda, milik rakyatku yang sepenuhnya menjadi tanggung jawabku. Aku takut jika Allah akan menanyakan kepadaku tentang kepemimpinanku, apakah rakyatku menderita dan merasa terabaikan.”
Sang utusan semakin terguncang. Ia melihat sosok negarawan ideal yang selama ini digambarkan dalam kitab Republik Plato benar-benar ada di hadapannya. Tak lama kemudian, utusan Byzantium itu bersyahadat dan mengikrarkan keislamannya di hadapan Khalifah Umar.