Seven challenges for RE/RS: Seven tasks for the conference!

Raymond Pawson, University of Leeds, UK (in absentia)-Via video
Brisbane 25 Oktober 2017

Pada sesi ini, Ray Pawson berhalangan hadir untuk menyampaikan materinya. Namun Ray menampilkan video presentasinya yang sangat menarik dengan mengangkat 7 tantangan yang dihadapi dalam melakukan realist evaluation dan synthesis. Ketujuh isu ini menjadi bagian dari materi yang diharapkan dapat didiskusikan dan dijawab dalam seminar ini oleh para peserta seminar. Ketujuh isu tersebut meliputi:

1. Mengganti ‘program-program’ dengan ‘programme theory’ sebagai unit dari analisis. Pada studi dengan pendekatan tradisional, seringkali gambaran keseluruhan dari suatu masalah menjadi tidak teridentifikasi atau tidak tertangkap. Hal ini disebabkan fokus dari evaluasi adalah pada program-program atau intervensi yang ada dan bukan program theory. Salah satu masukan dari Ray Pawson yaitu mengubah tahap awal dari evaluasi. Ray Pawson menekankan kelebihan dari menganalisis permasalahan yang ada terlebih dahulu sebelum menganalisis program kesehatan atau intervensi. Tahap awal ini disebut sebagai realist diagnostic of the program.
2. Memperbanyak realist evaluation atau realist synthesis untuk bidang kebijakan dan bukan lagi program. Hal ini penting mengingat banyaknya penelitian evaluasi untuk menghasilkan evidenced-based policy namun jarang fokus terhadap ide-ide besar. Pendekatan realist untuk riset tentang ide-ide besar dan kebijakan dimulai dengan melihat aspek spesifik dari kebijakan, bagi dan fokuskan menjadi beberapa poin teori. Kemudian petakan menggunakan realist questions.
3. Perlunya eksplorasi pada program dan sejarah kebijakan. Salah satu yang sering hilang dalam evaluasi suatu program adalah sequence antar program. Ketika kita terlalu fokus mengevaluasi satu program saja, banyak konteks lain yang hilang karena kita tidak melihat perbedaan antar program yang pernah dilakukan. Pemahaman ini akan memperkaya informasi lebih dari sekedar jawaban atas “apa yang membuat berhasil mencapai tujuan atau berhasil dilaksanakan”. Pemahaman atau eksplorasi antar program dan kebijakan yang ada, ditemukanadanya “kelelahan” program, dimana tingkat jenuh dari implementasi program telah terjadi dan menjadi salah satu faktor ketidakberhasilan suatu program.
4. Presentasi atau visualisasi yang lebih baik dalam pemaparan realist theories. Seperti diagram teory of change atau program logic lainnya dalam studi evaluasi, panah-panah yang menjelaskan alur dari inputs, outputs hingga outcomes tidak terlalu dapat dipahami apa yang terjadi pada tahap panah/transisi ini. Sebaliknya, pendekatan realist dapat menjelaskan dengan lebih detil terkait apa-apa yang terjadi di ‘panah’ atau transisi ini dengan mencoba menggambarkan multiple dynamics system. Penjelasan ini mencakup konteks, mekanisme dan outcome yang berbeda-beda.
5. Perlunya pemahaman yang lebih bahwa “theory testing” berarti “theory adjudication”. Poin ini menekankan pentingnya kemampuan dan pemahaman seorang researcher untuk dapat melakukan theory testing, yang berarti mampu menentukan di antara penjelasan yang masuk akal. Salah satu sindiran yang disampaikan adalah, apabila seorang mahasiswa mengalami kesulitan dalam menentukan setidaknya tiga penjelasan yang masuk akal untuk suatu program dapat berhasil atau gagal, maka sebaiknya mahasiswa tersebut memilih subject atau profesi yang lainnya.
6. Meningkatkan pemahaman dan pengakuan bahwa realist explanation adalah trans-disciplinary. Penjelasan realist memerlukan pendekatan trans-disciplinary yang melibatkan banyak unsur keilmuan. Kompleksitas dari pendekatan ini dapat digambarkan dengan pohon realist, di mana banyak cabang yang mewakili beragam konteks, mekanisme dan outcomes.
7. Mengurangi formula atau aplikasi tertentu dan memperbanyak pendalaman berpikir dan lebih banyak duduk. Intellectual craftsmanship menjadi pokok kegiatan yang harus lebih banyak dilakukan daripada mencoba memformulasikan kepingan informasi yang belum terpetakan. Pendekatan realist menempatkan peneliti sebgai aset yang penting dalam pengembangan riset evaluasi yang secara personal terlibat dalam kegiatan ini. Salah satu saran yang diberikan adalah dengan memiliki suatu diary atau dokumentasi perjalanan pemikiran (thinking journey) yang merekam perkembangan logika berpikir si peneliti dalam proses pengembangan realist evaluation. Dokumen ini penting menjadi acuan, bukan hanya untuk peneliti sendiri melainkan juga untuk keperluan pengembangan studi. Saran lainnya yang diberikan adalah dengan menggunakan pendekatan system project daripada single project.

Demikian 7 isu penting yang diharapkan oleh Ray Pawson dapat didiskusikan dalam seminar kali ini. Video menarik beliau menjadi penyemangat tersendiri dalam acara pembukaan seminar ini. Selain itu ke-tujuh isu di atas menjadi isu yang relevan dalam mengemebangan pendekatan realist untuk evaluation study ke depannya.