Kemunduran disini disebabkan karena pecahnya perang dunia II, tentara Dai Nippon (Jepang) mendarat di pulau Jawa dalam rangka ekspansinya untuk menguasai Asia Timur Raya.

:: Jepang mendarat di pulau Jawa

Kedatangan Jepang ke jawa benar-benar telah membawa penderitaan bagi rakyat Indonesia. Penderitaan fisik, mental keyakinan, politik, kebudaayaan, ekonomi, pendidikan dan keselamatan setiap orang. Mereka telah merampok kekayaan tanah air, menghancurkan kebudayaan serta adat-istiadat, dan menyebarkan rasa takut serta gelisah dikalangan penduduk. Oleh sebab itu orang tidak sempat berfikir, apalagi berangan-angan tentang politik dan nasib hari depan, karena masing-masing orang telah menghadapi kemungkinan yang paling mendesak.

Akibat buruk yang ditimbulkan oleh tentara Dai Nippon itu juga menimpa terhadap para santri maupun pengasuh Pondok Tremas itu sendiri. Oleh sebab itu maka banyaklah para santri yang pulang ke kampungnya masing-masing kecuali bagi mereka yang tidak dapat pulang karena sesuatu hal. Dan sejak itulah Pondok Tremas mengalami masa kemunduruan.

Kemunduran Pondok Tremas tersebut belum sempat dibenahi sudah disusul oleh peristiwa meletusnya pemberontakan PKI-Muso di Madiun. Sebuah kasus yang lebih dikenal dengan nama “ Affair Madiun “ pada tahun 1948. Suatu peristiwa dimana kaum agama yang menjadi lawan utama kaum atheis jadi korban. Dan peristiwa tersebut sangat merugikan terhadap perkembangan Pondok Tremas, bahkan sampai pada masa fakumnya

:: Pembrontakan PKI di Madiun

Dalam suasana perjuangan yang semakin memuncak pada tahun 1945, Kyai Hamid Dimyathi ikut menerjunkan diri dalam kancah perjuangan. Beliau masuk menjadi anggota KNIP ( Komite Nasional Indonesia Pusat ), dan kemudian beliau masuk menjadi aktifis partai politik Islam Masyumi, ( satu-satunya partai Islam pada waktu itu ). Dalam kedudukannya itu maka akibatnya beliau jarang berada di pondok, sampai akhirnya meletus pemberontakan PKI di Madiun pada tahun 1948.

Pemberontakan diawali dari kota Madiun dan kota Solo, maka kota Pacitan yang juga termasuk wilayah karesidenan Madiun juga bergolak. Maka kaum agama yang menjadi lawan utama kaum atheis menjadi korban. Dan dalam pemberontakan PKI di Madiun ( Affair Madiun ) itu korban yang paling banyak jatuh adalah dari pihak Islam, yang memang bahu-membahu dengan TNI menumpas pemberontakan itu.

Akibat pemberontakan PKI di Madiun tersebut bagi Pondok Tremas tercatat sebagai hari berkabung. Karena pada waktu itu Pondok Tremas juga termasuk salah satu sasaran tentara tentara PKI-Muso yang mengganas, membabi buta dan menghancurkan apa saja yang mereka kehendaki, sehinga keamanan Pondok Tremas menjadi semakin terancam. Dan situasi yang tidak menentu tersebut menyebabkan para santri banyak yang pulang ke rumah masing-masing.

Bahkan pernah suatu waktu Kyai Hamid Dimyathi di panggil langsung oleh Bung Tomo ke Surabaya dalam rangka mengobarkan semangat perjuangan para ulama dan kyai. Tapi karena kesibukan Kyai Hamid Dimyathi di daerah Pacitan sendiri sebagai pimpinan partai Masyumi dan sebagai Kepala Penghulu, maka beliau berhalangan hadir, dan disuruhlah Bapak Mursyid ( kakak ipar beliau ) sebagai penggantinya berangkat ke Surabaya. Sebagai pimpinan partai Masyumi dan sebagai Kepala Penghulu beliau merasa bahwa keadaan dan keamanan di Pacitan sudah sangat kritis, maka beliau kemudian berusaha mengadakan hubungan ke Yogyakarta untuk memberi laporan kepada pemerintah pusat. Namun dalam penyamarannya melakukan perjalanan ke Yogyakarta bersama-sama dengan Pak Joko, Pak Abu Naim, Pak Yusuf, Pak Qosyim ( kakak dan adik ipar ) dan Pak Soimun ( pendereknya ) serta pengikut-pengikutnya yang semua berjumlah 15 orang, di tengah perjalanan sewaktu beristirahat di sebuah warung di daerah Pracimantoro, beliau dan rombongannya dicurigai dan ditangkap oleh gerombolan PKI yang memang sudah menguasai daerah itu.

Setelah beberapa waktu ditahan di Baturetno maka dibawalah Kyai Hamid Dimyathi beserta rombongannya itu ke daerah Tirtomoyo dan dibunuhlah disana dengan dimasukkan begitu saja dalam suatu lobang bersama-sama dengan 13 syuhada’ lainnya ( kecuali Pak Soimun pendereknya yang tidak dibunuh ). Inna lillaahi wainna ilai roji’un.

Menurut persaksian Pak Soimun, diceritakan bahwa setelah beberapa bulan kemudian ( setelah keadaan aman ), diadakan penggalian terhadap para syuhada’ dan pejuang termasuk diantaranya penggalian terhadap jenazah rombongan Kyai Hamid Dimyathi yang berjumlah 14 orang tersebut. Namun setelah lobang itu digali kembali maka jumlah jenazah yang sudah mulai rusak tersebut tinggal 13 orang, dan karena keadaannya sudah rusak maka tidak dapat dikenali lagi satu persatu dan yang manakah jenazah Kyai Hamid Dimyathi. Dan akhirnya ke 13 jenazah tersebut dibawa ke makam pahlawan di Jurug Surakarta, dan sampai sekarang belum diketahui dimana makam beliau. Wallaahu A’lam.

Sejak meningalnya Kyai Hamid Dimyathi ( tahun 1948 ), maka Pondok Tremas tersebut mengalami masa kefakuman sampai tahun 1952. Bangunan pondok yang beberapa tahun sebelumnya masih ramai dihuni oleh para santri kini menjadi kosong, serta banyak yang sudah mulai rusak. Dan para santrinya banyak yang kembali kembali ke kampungnya masing-masing. Alasan pulangnya para santri tersebut disamping adanya suasana politik yang kurang memungkinkan untuk tinggal di pondok duga disebabkan oleh karena kekosongan pemimpin (kyai ), karena pengaruh kyai terhadap para santri sangat besar sehingga kyai dianggap sebagai sumber pemberi ilmu dunia dan akherat, dan juga sebagai seseorang yang paling harus ditaati.

Kemunduran yang sedemikian parahnya itu belum sempat dibenahi sudah disusul dengan bencana yang lain, yaitu datangnya kembali Belanda ke Indonesia ( Agresi Belanda II ) pada tahun 1948

:: Datangnya kembali Belanda ke Indonesia

Seperti diuraikan diatas, bahwa penyebab ketiga kemunduran Pondok Tremas tersebut disebabkan oleh kedatangan kembali Belanda ke Indonesia ( Agresi Belanda II ). Agresi militer tersebut ialah aksi Belanda menyerbu wilayah Republik Indonesia yang kedua kalinya, setelah wakil tinggi mahkota Belanda ( Dr. Beel ) menyatakan tidak terikat lagi oleh persetujuan Renville pada tanggal 18 Desember 1948.

Tanggal 19 Desember 1948 Lapangan Maguwo Yogyakarta diserang oleh Belanda dan berhasil diduduki. Penyerbuan juga terjadi di kota-kota lain. Panglima Besar Jendral Sudirman bersama-sama para pemuda menyusun kekuatan dan melaksanakan strategi perang gerilya dimana-mana.

Oleh karena Pacitan termasuk salah satu kota yang menjadi sasaran serbuan tentara Belanda pada waktu itu, maka ketika diketahui bahwa kota Pacitan akan diserbu oleh tentara Belanda dari laut maka Pacitan dalam keadaan darurat, dan kabupaten Pacitan dipindah ke Arjosari, ( sekarang kecamatan ). Dan atas ijin sesepuh pondok, maka bupati Pacitan memutuskan untuk memindahkan sebagian lembaga pemasyarakatan ke Pondok Tremas yang sudah hampir tidak ada penghuninya, jadi selain digunakan sebagai lembaga pemasyarakatan Pondok Tremas juga digunakan untuk menampung orang-orang yang terlantar akibat penjajahan Jepang.

Kiranya tidaklah mengherankan apabila dalam keadaan yang tidak memungkinkan itu para santrinya pulang ke kampung masing-masing. Jadi sejak itulah maka Pondok Tremas sudah hampir tidak ada santrinya lagi kecuali hanya beberapa orang santri daari daerah sekitar dasn para santri yang tidak pulang karena hal lain. Sehingga dapat dikatakan bahwa mulai tahun itu Pondok Tremas dalam keadaan vakum sama sekali, sampai akhirnya pada tahun 1952 Kyai Habib Dimyathi ( adik Kyai Hamid Dimyathi ) kembali dari Pondok Pesantren Krapyak Yogyakarta mengganti kakaknya membina dan membangkitkan kembali Pondok Tremas yang sudah hampir lima tahun dalam keadaan tidak aktif lagi.