Pada hari-hari terakhir hidupnya, Khalifah Abu Bakar Siddiq sibuk bertanya pada banyak orang. "Bagaimana pendapatmu tentang Umar?" Hampir semua orang menyebut Umar adalah seorang yang keras, namun jiwanya sangat baik. Setelah itu, Abu Bakar minta Usman bin Affan untuk menuliskan wasiat bahwa penggantinya kelak adalah Umar.
Tampaknya Abu Bakar khawatir jika umat Islam akan berselisih pendapat bila ia tak menuliskan wasiat itu.
Pada tahun 13 Hijriah atau 634 Masehi, Abu Bakar wafat dan Umar menjadi khalifah. Jika orang-orang menyebut Abu Bakar sebagai "Khalifatur- Rasul", kini mereka memanggil Umar "Amirul Mukminin" (Pemimpin orang mukmin). Umar masuk Islam sekitar tahun 6 Hijriah. Saat itu, ia berniat membunuh Muhammad namun tersentuh hati ketika mendengar adiknya,Fatimah, melantunkan ayat Quran.
Selama di Madinah, Umarlah –bersama Hamzah-yang paling ditakuti orang-orang Quraisy.Keduanya selalu siap berkelahi jika Rasul dihina. Saat hijrah, ia juga satu-satunya sahabat Rasul yang pergi secara terang-terangan. Ia menantang siapapun agar menyusulnya bila ingin "ibunya meratapi, istrinya jadi janda, dan anaknya menangis kehilangan."
Kini ia harus tampil menjadi pemimpin semua. Saat itu, pasukan Islam tengah bertempur sengit di Yarmuk -wilayah perbatasan dengan Syria. Umar tidak memberitakan kepada pasukannya bahwa Abu Bakar telah wafat dan ia yang sekarang menjadi khalifah. Ia tidak ingin mengganggu konsentrasi pasukan yang tengah melawan kerajaan Romawi itu.
Di Yarmuk, keputusan Abu Bakar untuk mengambil markas di tempat itu dan kecerdikan serta keberanian Khalid bin Walid membawa hasil. Muslim bermarkas di bukit-bukit yang menjadi benteng alam, sedangkan Romawi terpaksa menempati lembah di hadapannya. Puluhan ribu pasukanRomawi -baik yang pasukan Arab Syria maupun yang didatangkan dari Yunani-tewas. Lalu terjadilah pertistiwa mengesankan itu.
Panglima Romawi, Gregorius Theodore -orang-orang Arab menyebutnya "Jirri Tudur"– ingin menghindari jatuhnya banyak korban. Ia menantang Khalid untuk berduel. Dalam pertempuran dua orang itu, tombak Gregorius patah terkena sabetan pedang Khalid. Ia ganti mengambil pedang besar. Ketika berancang-ancang perang lagi, Gregorius bertanya pada Khalid tentang motivasinya berperang serta tentang Islam.
Mendengar jawaban Khalid, di hadapan ratusan ribu pasukan Romawi dan Muslim, Gregorius menyatakan diri masuk Islam. Ia lalu belajar Islam sekilas, sempat menunaikan salat dua rakaat, lalu bertempur di samping Khalid. Gregorius syahid di tangan bekas pasukannya sendiri. Namun pasukan Islam mencatat kemenangan besar di Yarmuk, meskipun sejumlah sahabat meninggal di sana. Di antaranya adalah Juwariah, putri Abu Sofyan.
Umar kemudian memecat Khalid, dan mengangkat Abu Ubaidah sebagai Panglima Besar pengganti. Umar khawatir, umat Islam akan sangat mendewakan Khalid. Hal demikian bertentangan prinsip Islam. Khalid ikhlas menerima keputusan itu. "saya berjihad bukan karena Umar," katanya. Ia terus membantu Abu Ubaidah di medan tempur. Kota Damaskus berhasil dikuasai. Dengan menggunakan "tangga manusia", pasukan Khalid berhasil menembus benteng Aleppo. Kaisar Heraklius dengan sedih terpaksa mundur ke Konstantinopel, meninggalkan seluruh wilayah Syria yang telah lima abad dikuasai Romawi.
Penguasa Yerusalem juga menyerah. Namun mereka hanya akan menyerahkan kota itu pada pemimpin tertinggi Islam. Maka Umar pun berangkat ke Yerusalem. Ia menolak dikawal pasukan. Jadilah pemandangan ganjil itu. Pemuka Yerusalem menyambut dengan upacara kebesaran. Pasukan Islam juga tampil mentereng. Setelah menaklukkan Syria, mereka kini hidup makmur.Lalu Umar dengan bajunya yang sangat sederhana datang menunggang unta merah. Ia hanya disertai seorang pembantu. Mereka membawa sendiri kantung makanan serta air.
Kesederhanaan Umar itu mengundang simpati orang-orang non Muslim. Apalagi kaum GerejaSyria dan Gereja Kopti-Mesir memang mengharap kedatangan Islam. Semasa kekuasaan Romawi mereka tertindas, karena yang diakui kerajaan hanya Gereja Yunani. Maka, Islam segera menyebar dengan cepat ke arah Memphis (Kairo), Iskandaria hingga Tripoli, di bawah komandoAmr bin Ash dan Zubair, menantu Abu Bakar.
Ke wilayah Timur, pasukan Saad bin Abu Waqas juga merebut Ctesiphon –pusat kerajaan Persia,pada 637 Masehi. Tiga putri raja dibawa ke Madinah, dan dinikahkan dengan Muhammad anak Abu Bakar, Abdullah anak Umar, serta Hussein anak Ali. Hussein dan istrinya itu melahirkan Zainal Ali Abidin -Imam besar Syiah.
Dengan demikian, Zainal mewarisi darah Nabi Muhammad, Ismail dan Ibrahim dari ayah, serta darah raja-raja Persia dari ibu. Itu yang menjelaskan mengapa warga Iran menganut aliran Syiah. Dari Persia, Islam kemudian menyebar ke wilayah Asia Tengah, mulai Turkmenistan, Azerbaijan bahkan ke timur ke wilayah Afghanistan sekarang.
Banyak Sekali Sifat-sifat teladan yang patut kita contoh dari Seorang Umar Bin Khatab, Salah satunya adalah, Suatu ketika Umar bin Khattab sedang berkhotbah di masjid di kota Madinah tentang keadilan dalam pemerintahan Islam. Pada saat itu muncul seorang lelaki asing dalam masjid , sehingga Umar menghentikan khotbahnya sejenak, kemudian ia melanjutkan.
"Sesungguhnya seorang pemimpin itu diangkat dari antara kalian bukan dari bangsa lain. Pemimpin itu harus berbuat untuk kepentingan kalian, bukan untuk kepentingan dirinya, golongannya, dan bukan untuk menindas kaum lemah. Demi Allah, apabila ada di antara pemimpin dari kamu sekalian menindas yang lemah, maka kepada orang yang ditindas itu diberikan haknya untuk membalas pemimpin itu. Begitu pula jika seorang pemimpin di antara kamu sekalian menghina seseorang di hadapan umum, maka kepada orang itu harus diberikan haknya untuk membalas hal yang setimpal."
Selesai khalifah berkhotbah, tiba-tiba lelaki asing tadi bangkit seraya berkata; "Ya Amiirul Muminin, saya datang dari Mesir dengan menembus padang pasir yang luas dan tandus, serta menuruni lembah yang curam. Semua ini hanya dengan satu tujuan, yakni ingin bertemu dengan Tuan."
"Katakanlah apa tujuanmu bertemu denganku," ujar Umar.
"Saya telah dihina di hadapan orang banyak oleh Amr bin Ash, gubernur Mesir. Dan sekarang saya akan menuntutnya dengan hukum yang sama."
"Ya saudaraku, benarkah apa yang telah engkau katakan itu?" tanya khalifah Umar ragu-ragu.
"Ya Amiirul Muminin, benar adanya."
"Baiklah, kepadamu aku berikan hak yang sama untuk menuntut balas. Tetapi, engkau harus mengajukan empat orang saksi, dan kepada Amr aku berikan dua orang pembela. Jika tidak ada yang membela gubernur, maka kau dapat melaksanakan balasan dengan memukulnya 40 kali."
"Baik ya Amiirul Muminin. Akan saya laksanakan semua itu," jawab orang itu seraya berlalu. Ia langsung kembali ke Mesir untuk menemui gubernur Mesir Amr bin Ash.
Ketika sampai ia langsung mengutarakan maksud dan keperluannya. "Ya Amr, sesungguhnya seorang pemimpin diangkat oleh rakyat, dari rakyat, dan untuk rakyat. Dia diangkat bukan untuk golongannya, bukan untuk bertindak sewenang-wenang terhadap rakyatnya, dan bukan pula untuk menindas yang lemah dan mengambil hak yang bukan miliknya. Khalifar Umar telah memberi izin kepada saya untuk memperoleh hak saya di muka umum."
"Apakah kamu akan menuntut gubernur?" tanya salah seorang yang hadir.
"Ya, demi kebenaran akan saya tuntut dia," jawab lelaki itu tegas.
"Tetapi, dia kan gubernur kita?"
"Seandainya yang menghina itu Amiirul Muminin, saya juga akan menuntutnya."
"Ya, saudara-saudaraku. Demi Allah, aku minta kepada kalian yang mendengar dan melihat kejadian itu agar berdiri."
Maka banyaklah yang berdiri.
"Apakah kamu akan memukul gubernur?" tanya mereka.
"Ya, demi Allah saya akan memukul dia sebanyak 40 kali."
"Tukar saja dengan uang sebagai pengganti pukulan itu."
"Tidak, walaupun seluruh masjid ini berisi perhiasan aku tidak akan melepaskan hak itu," jawabnya .
"Baiklah, mungkin engkau lebih suka demi kebaikan nama gubernur kita, di antara kami mau jadi penggantinya," bujuk mereka.
"Saya tidak suka pengganti."
"Kau memang keras kepala, tidak mendengar dan tidak suka usulan kami sedikit pun."
"Demi Allah, umat Islam tidak akan maju bila terus begini. Mereka membela pemimpinnya yang salah dengan gigih karena khawatir akan dihukum," ujarnya seraya meninggalkan tempat.
Amr binAsh serta merta menyuruh anak buahnya untuk memanggil orang itu. Ia menyadari hukuman Allah di akhirat tetap akan menimpanya walaupun ia selamat di dunia.
"Ini rotan, ambillah! Laksanakanlah hakmu," kata gubernur Amr bin Ash sambil membungkukkan badannya siap menerima hukuman balasan.
"Apakah dengan kedudukanmu sekarang ini engkau merasa mampu untuk menghindari hukuman ini?" tanya lelaki itu.
"Tidak, jalankan saja keinginanmu itu," jawab gubernur.
"Tidak, sekarang aku memaafkanmu," kata lelaki itu seraya memeluk gubernur Mesir itu sebagai tanda persaudaraan. Dan rotan pun ia lemparkan.
Umar wafat pada tahun 23 Hijriah atau 644 Masehi. Saat salat subuh, seorang asal Parsi Firuz menikamnya dan mengamuk di masjid dengan pisau beracun. Enam orang lainnya tewas, sebelum Firus sendiri juga tewas. Banyak dugaan mengenai alasan pembunuhan tersebut. Yang pasti,ini adalah pembunuhan pertama seorang muslim oleh muslim lainnya.
Umar bukan saja seorang yang sederhana, tapi juga seorang yang berani berijtihad. Yakni melakukan hal-hal yang tak dilakukan Rasul. Untuk pemerintah, ia membentuk departemen-departemen.Ia tidak lagi membagikan harta pampas an perang buat pasukannya, melainkan menetapkan gaji buat mereka. Umar memulai penanggalan Hijriah, dan melanjutkan pengumpulan catatan ayat Quran yang dirintis Abu Bakar. Ia juga memerintahkan salat tarawih berjamaah.