Cikal bakal pesantren Nurul Hikmah telah dirintis sejak awal abad ke-19 M. Perintisnya bernama K. Abd. Latif, yang lebih dikenal orang dengan panggilan K. Parseh. Dalam bahasa Indonesia, Parseh berarti tunas kelapa, karena sejak awal, K. Abd. Latif berkeinginan untuk mendidik dan mengasuh anak-anak muda menjadi tunas pembela perjuangan bangsa yang masih hidup di alam penjajahan. Pada masa-masa awal, anak-anak muda dididik K. Parseh untuk mengaji di langgar secara tradisional, sehingga pesantren lebih dikenal karena panggilan pengasuhnya (Pesantren K. Parseh) atau lokasinya (Pesantren Jarat Dukon).
Setelah K. Parseh wafat, tugas pendidikan dan pengasuhan santri dilanjutkan oleh generasi kedua, K. Mahmudin, salah seorang putra beliau, hingga tahun 40-an. Dari istri pertama yang bernama Ny. Marwati, K. Mahmudin memiliki dua putra, yakni: K. Ghazali dan K. Yahya. Setelah Ny. Marwati wafat, K. Mahmudin menikah lagi dengan Ny. Maliha dan dikaruniai 3 putra dan 2 putri, yakni: K. Syamsuddin, K. Rifa’I, Ny. Aisyah, K. Abd. Latif dan Ny. Zainab. Setelah wafatnya K. Mahmudin, tugas-tugas kepesantrenan dan kemasyarakatan dilanjutkan oleh K. Ghazali (1915-1970 M) dan K. Syamsuddin.
Model pengajian tradisional tetap dipertahankan dari zaman K. Parseh hingga generasi ketiga, K. Ghazali dan berkembang menjadi TPQ hingga sekarang menjadi MADIN Plus (Madrasah Diniyah). Untuk mengatur manajemen pesantren menjadi lebih baik lagi, maka pada tanggal 21 Maret 1994, didirikanlah Yayasan Usman Al-Farsy dengan dewan pendiri Jendral (Purn.) H.R. Hartono, KH. Muntaha Abdullah Pengasuh Ponpes Nurud Dhalam Nyalabuh Daya (Alm.) dan K. Abd. Latif serta Drs.KH. Moh Baidowi, MM (Alm). Pada saat itulah Ketua Yayasan Usman al-Farsy yang pertama adalah H. Moh. Saleh, yang kedua adalah KH. Moh Fadli Ghazali BA, yang ketiga adalah KH. Lutfi Ghazali, SH. Sedangkan ketua yayasan saat ini adalah generasi keempat yakni H. Moh. Imam Ghazali S. Ag yang merupakan putra pertama dari Alm Drs. KH. Baidhowi.MM.