Dari cerita-cerita lisan warga setempat diyakini bahwa Desa Dermaji termasuk salah satu desa yang keberadaanya sudah cukup tua. Desa Dermaji diperkirakan sudah ada pada masa-masa berdirinya Kerajaan Galuh, Jawa Barat pada abad ke – 6. Desa Dermaji masuk wilayah Kerajaan Galuh. Karena masuk dalam wilayah Kerajaan Galuh yang berbudaya Sunda, kehidupan masyarakat Desa Dermaji pun juga tidak lepas dari pengaruh budaya Sunda.

Pengaruh paling besar bisa dilihat dari bahasa yang dipakai warga Desa Dermaji. Bahasa Sunda pernah menjadi bahasa tutur masyarakat Dermaji. Nama-nama tempat dan sungai, seperti, Cireang, Cukangawi, Cipancur, Citunggul, Cipeundeuy, Ciberewek, Cijurig dan lain sebagainya menunjukkan adanya pengaruh kuat bahasa Sunda di Desa Dermaji. Beberapa kosa kata bahasa Sunda di Desa Dermaji tidak lagi ditemukan pada pengguna bahasa Sunda yang berada di wilayah Bandung dan sekitarnya (wilayah Priangan), tetapi memiliki banyak kesamaan dengan bahasa Sunda di wilayah Banten.

Cerita lain menyebutkan, sebelum dihuni oleh manusia, Desa Dermaji berwujud hutan belantara yang di dalamnya hidup binatang buas, jin dan siluman. Mbah Damarwulan, Mbah Panusupan, dan Mbah Jayasengara dianggap sebagai para leluhur yang berjasa besar dalam mendirikan Desa Dermaji. Merekalah yang mengusir jin dan siluman jahat sehingga Desa Dermaji dapat dihuni oleh manusia hingga sekarang.

Warga Desa Dermaji juga memiliki leluhur yang dikenal dengan nama Mbah Darmokusumo. Mbah Darmokusumo ini seringkali digambarkan sebagai sosok yang memiliki tingkat kejujuran yang tinggi dan totalitas kepasrahan kepada Sang Illahi.

Bagi warga Dermaji, sosok Darmokusumo menjadi sosok yang dibanggakan, karena memiliki banyak keutamaan-keutamaan dalam perilaku. Karena keutamaan-keutamaan perilakunya tersebut, sosok Darmokusumo seringkali dikait-kaitkan dengan asal-usul nama Dermaji. Derma berarti memberi, aji berarti sesuatu yang berharga. Nama Dermaji mengandung makna dan semangat untuk selalu memberikan kebaikan terus menerus kepada sesama.