Konon, masjid tertua yang menjadi bangunan cagar budaya ini diyakini sudah ada sebelum Kabupaten Purbalingga berdiri.
Imam Masjid Raden Sayyid Kuning Kiai Maksudi saat ditemui detikcom, awal pekan ini mengatakan, dari cerita turun temurun masjid ini pertama dibangun sekitar tahun 1.300 Masehi, oleh Syekh Syamsudin dari Timur Tengah. Saat itu musala didirikan menggunakan tiang dari kayu pakis dan atap ijuk.
Setelah tahun 1.500-an Masehi didatangi dan dibangun kembali dengan struktur yang lebih baik oleh Wali Songo, di antaranya Sunan Bonang, Sunan Kudus, Sunan Kalijaga, dan Sunan Gunung Jati.
Maksudi menyebut renovasi masjid dilakukan sebelum keempat Wali Songo berangkat ke Demak untuk membangun Masjid Agung Demak. Oleh Sunan Bonang, Sunan Kudus, Sunan Kalijaga, dan Sunan Gunung Jati empat tiang yang semula menggunakan kayu pakis diganti dengan kayu jati.
Renovasi berikutnya dilakukan oleh pemuka agama setempat, Ngabdullah Syarif, pada abad ke-16. Ngabdullah lalu dijadikan menantu oleh Raden Anyakrapati atau Adipati Onje II dengan putrinya yang bernama Kuningwati. Setelah pernikahan itu Ngabdullah Syarif kemudian lebih dikenal sebagai Raden Sayyid Kuning.
Sebelum dinamakan Masjid Raden Sayyid Kuning, masjid ini dikenal dengan Masjid Onje. Namun, karena pada 1986 ada dua masjid di Desa Onje maka Maksudi berinisiatif memberikan nama agar para peziarah tidak salah tempat.
Maksudi mengatakan masyarakat setempat percaya setiap Ramadhan beduk yang ada di dalam masjid akan berbunyi. Namun, suara beduk itu hanya bisa didengarkan oleh orang tertentu.
