Keluarga Umar bin Khattab tidak memiliki kedudukan istimewa. Ia selalu menanamkan prinsip ini kepada keluarganya. Setiap kali akan mengeluarkan undang-undang, Umar mengajak anak-anaknya berdiskusi terlebih dahulu. Ia berkata, “Ini akan ada undang-undang begini, siapa di antara kalian yang mau menaati, silakan. Yang tidak pun silakan.”
Umar menegaskan, “Jika ada dari keluarga Umar yang melanggar peraturan ini, saya akan menghukumnya dua kali lipat karena dia keluarga saya. Jadi jangan mentang-mentang anak seorang khalifah lantas kebal hukum.”
Salah satu sifat menonjol dari kepemimpinan Umar adalah kesederhanaannya. Ia dikenal sebagai khalifah yang hanya memiliki dua jubah, dan satu di antaranya dipakai oleh anaknya. Pernah, saat shalat Jumat, beliau terlambat karena harus menunggu bajunya kering sebelum naik mimbar untuk khutbah, dan beliau meminta maaf atas keterlambatannya.
Kesederhanaan Khalifah Umar juga diakui oleh berbagai bangsa besar di dunia. Dalam karyanya Al-Matsnawi, Maulana Jalaluddin Rumi menceritakan tentang seorang penasihat kekaisaran Byzantium yang datang untuk menghadap Khalifah Umar di Madinah. Penasihat tersebut adalah seorang filsuf dan negarawan terkemuka. Sesampainya di Madinah, ia merasa heran karena tidak menemukan istana kekhalifahan.
Ia bertanya kepada penduduk setempat mengenai keberadaan istana raja mereka. Penduduk itu menjawab dengan senyuman, “Raja kami tidak memiliki istana megah, karena istana termegahnya adalah hati dan ruhnya yang selalu diterangi oleh cahaya takwa.”
Masih merasa bingung, penasihat itu bertanya lebih lanjut, “Di manakah raja kalian yang terkenal sebagai penakluk dua benua ini?” Seorang penduduk menunjuk ke arah seorang lelaki yang sedang memandikan dan memberi makan unta di bawah pohon kurma.
“Itulah sang khalifah kami, Umar bin Khattab. Ia sedang memberi makan dan memandikan unta milik baitul mal, milik anak-anak yatim dan para janda,” jawab penduduk tersebut.
Penasihat itu tergetar melihat sosok Khalifah yang sangat bersahaja. Ia bertanya lebih lanjut tentang Umar. Penduduk itu menyarankan agar ia membersihkan hatinya dari kotoran duniawi agar bisa mengenal Umar dengan baik dan melihat kemegahan istananya yang berupa ketakwaan.
Penasihat itu kemudian mendekati Khalifah Umar dan bertanya mengapa ia melakukan pekerjaan tersebut. Bukankah hal itu bisa dilakukan oleh bawahannya? Umar menjawab, “Ini adalah tanggung jawabku. Unta ini milik anak-anak yatim dan para janda, milik rakyatku. Aku takut jika kelak Allah akan menanyakan aku tentang bagaimana aku memimpin rakyatku dan apakah mereka merasa diterlantarkan.”
Mendengar jawaban itu, penasihat tersebut semakin terkesan. Ia menyadari bahwa sosok negarawan ideal yang digambarkan dalam kitab Republik Plato benar-benar ada di hadapannya. Tak lama kemudian, penasihat Byzantium itu pun bersyahadat dan mengikrarkan keislamannya di hadapan Khalifah Umar.