Validitas Kesimpulan Penelitian (Bagian 1)

Validitas kesimpulan penelitian dalam tulisan ini didasarkan pada dua buku [1,2] yang menurut saya sangat lengkap membahas validitas kesimpulan penelitian. Dalam beberapa 'ajaran' di kelas metodologi yang saya ingat, biasanya istilah yang sering digunakan untuk menggambarkan validitas pengambilan kesimpulan ini adalah validitas penelitian. Istilah ini sepertinya dipilih untuk memilahnya dari validitas pengukuran. Saya pribadi lebih sreg dengan istilah validitas kesimpulan (inferensi) penelitian, karena yang dinilai valid adalah kesimpulan penelitiannya bukan penelitiannya itu sendiri. 

Valid berarti benar atau tepat. Kesimpulan penelitian dianggap valid jika kesimpulan tersebut dengan benar atau tepat menggambarkan fenomena yang diteliti. Misalnya: ketika peneliti menyimpulkan dari hasil penelitiannya bahwa ada pengaruh A terhadap B, maka kesimpulan ini dianggap valid bila realitasnya memang ada pengaruh A terhadap B. 

Validitas kesimpulan penelitian ini tentu saja tidak bersifat dikotomis (valid-tidak valid) dan tidak dapat diketahui dengan pasti. Namun demikian, peneliti dapat merencanakan dan menjalankan desain penelitian yang dianggap dapat memberikan bukti-bukti kuat (compelling evidence) yang mendukung kesimpulan penelitian. Dengan demikian, pembaca penelitian tersebut akan semakin diyakinkan bahwa kesimpulan penelitian memang dengan tepat menggambarkan fenomena yang diteliti. 

Ada 4 tipe validitas kesimpulan penelitian, yaitu [1,2]:

1. Validitas Kesimpulan Statistik
2. Validitas Internal
3. Validitas Konstruk
4. Validitas Eksternal

Ke-empat tipe validitas ini akan dibahas dalam tulisan kali termasuk ancaman-ancaman terhadap validitas kesimpulan penelitian dalam tipe tertentu. Penjelasan mendalam dapat diperoleh melalui dua pustaka yang saya sertakan di bawah. 

1. Validitas Kesimpulan Statistik

Validitas kesimpulan statistik terkait dengan pertanyaan: "apakah kesimpulan hasil analisis statistik sudah tepat?" Salah satu kesimpulan hasil analisis statistik yang sering diambil adalah apakah kita menolak atau gagal menolak hipotesis nol (H0: H nol). Ini berarti validitas kesimpulan statistik terkait dengan:

1. Jika kita menolak H0, apakah besarnya tipe kesalahan 1 (alpha:menolak H0 yang benar) sesuai dengan yang kita tetapkan di awal. Misalnya, jika kita telah menetapkan bahwa kita hanya mengijinkan alpha sebesar 0.05, apakah hasil analisis statistik yang kita peroleh benar-benar memiliki alpha sebesar 0.05. Ini terkait dengan isu mengenai pengujian yang terlalu liberal: pengujian statistik mengakibatkan alpha lebih besar daripada yang diharapkan. Misalnya, meskipun program analisis statistik p < 0.05, sebenarnya p memiliki nilai yang lebih besar dari alpha = 0.05. Kesalahan ini dapat mengakibatkan kita menganggap adanya efek atau korelasi atau perbedaan mean, yang sebenarnya tidak ada di populasi. 
2. Jika kita gagal menolak H0, apakah besarnya tipe kesalahan 2 (beta: gagal menolak H0 yang salah) tergolong kecil. Misalnya jika hasil analisis statistik menunjukkan tidak adanya perbedaan mean, maka apakah hasil ini memang diakibatkan tidak adanya perbedaan mean di populasi, atau hanya diakibatkan lemahnya sensitivitas analisis atau disebut juga power.  Pengujian statistik seperti ini disebut pengujian statistik yang terlalu konservatif. 

Ada beberapa ancaman yang dapat menyebabkan pengujian statistik menjadi terlalu liberal atau terlalu konservatif.

Pengujian statistik yang terlalu liberal, dapat diakibatkan oleh beberapa hal (catt: daftar di bawah ini tidak mencatat semua kemungkinan penyebab, oleh karena itu peneliti perlu memikirkan kemungkinan lainnya):

1.  Melakukan pengujian lebih dari satu kali untuk membuktikan satu hipotesis umum yang sama. Beberapa penulis menyebutnya sebagai familywise error rate  atau experimentwise error rate. Ancaman ini dapat diatasi dengan melakukan misalnya penyesuaian alpha yang dikehendaki dengan teknik-teknik seperti Bonferroni, Tukey, Scheffe, dan lain-lain. 
2. Pelanggaran asumsi oleh data penelitian. Pelanggaran asumsi dapat mengakibatkan baik uji statistik menjadi terlalu liberal atau konservatif. Ancaman ini dapat dikurangi dengan memilih analisis statistik yang robust terhadap pelanggaran asumsi oleh data. 
3. Estimasi efek yang bias karena didasarkan pada sampel. Misalnya estimasi R kuadrat merupakan estimasi yang bias terhadap kondisi R kuadrat di populasi. Oleh karena itu ada beberapa teknik yang ditawarkan untuk mengoreksi estimasi ini agar lebih mendekati nilai di populasi. 
4. Adanya researcher degrees of freedom [3,4], yaitu pilihan-pilihan peneliti yang terkait dengan desain penelitian yang dilakukan secara sembarangan, seperti pemilihan besarnya sampel, pemilihan variabel, dll. Misalnya peneliti mengumpulkan data mengenai banyak variabel kemudian 'memancing' variabel-variabel mana yang sekiranya berkorelasi satu dengan lain. Praktek ini akan meningkatkan probabilitas munculnya false positive  atau probabilitas kesalahan pengambilan kesimpulan mengenai parameter populasi ketika penelitian menunjukkan hasil yang signifikan.
5. Kesalahan spesifikasi model dalam analisis. Kesalahan ini akan menyebabkan bias estimasi parameter yang dapat berakibat pada hasil analisis yang terlalu liberal. Kesalahan ini dapat terjadi ketika peneliti mengabaikan variabel yang penting atau relevan di dalam analisisnya. Peneliti dapat menghindari kesalahan ini dengan melakukan studi literatur yang sekomprehensif mungkin dan memasukkan selengkap mungkin variabel-variabel yang penting dalam analisis. 

Pengujian statistik yang terlalu konservatif, atau dapat dipandang juga sebagai lemahnya power dari analisis yang dilakukan.  Lemahnya power ini merupakan kendala yang dialami banyak penelitian di Psikologi [5]. Ancaman ini dapat muncul karena beberapa hal: 

1. Ukuran sampel terlalu kecil. Cara yang paling sederhana untuk mengatasi ancaman ini adalah dengan merencanakan ukuran sampel sebelum penelitian. Ini dapat dilakukan dengan menggunakan power analysis [5]. 
2. Reliabilitas pengukuran yang terlalu rendah. Reliabilitas yang rendah akan berdampak pada melebarnya standard error dan bias estimasi parameter. Ini akan membuat analisis cenderung memberikan hasil yang tidak signifikan dibandingkan yang seharusnya. 
3. Variasi yang sangat besar pada subjek penelitian sehingga mengakibatkan besarnya standard error dari estimasi parameter. Ancaman ini dapat diatasi dengan mengendalikan variasi individu ini, misalnya dengan menggunakan statistik dengan memperlakukan variabel dengan variasi yang besar sebagai kovariat atau dengan memilih desain penelitian yang dapat mengurangi variasi ini seperti penggunaan desain penelitian amatan ulang atau penggunaan matched-pairs. 
4. Pelanggaran asumsi oleh data juga dapat menyebabkan lemahnya power dari analisis, oleh karena itu transformasi data atau penggunaan analisis statistik yang robust dapat dijalankan untuk mengatasi ancaman ini. 

2. Validitas Internal

Validitas internal merupakan validitas terkait dengan pengambilan kesimpulan mengenai hubungan kausal / adanya pengaruh antara variabel independen dan variabel dependen. Validitas internal akan makin tinggi ketika penelitian dapat menyajikan dukungan yang meyakinkan akan adanya hubungan kausal ini. Ada beberapa ancaman yang dapat membuat keyakinan akan hubungan kausal ini melemah: 

1. Bias seleksi; yaitu ketika karakteristik partisipan yang dikenai intervensi dan yang tidak memiliki perbedaan mencolok yang juga dapat mempengaruhi variabel dependen. Jika dalam penelitian tersebut diperoleh adanya perbedaan efek yang signifikan, maka akan muncul keraguan apakah efek ini dapat berasal dari intervensi yang diberikan atau akibat perbedaan karakteristik partisipan tadi. 
2. Subjek gugur / mortalitas; yaitu ketika partisipan dengan karakteristik tertentu tidak lagi dapat diambil datanya atau memutuskan tidak mau lagi terlibat dengan penelitian. Karakteristik partisipan ini berkaitan dengan variabel dependen, sehingga keluarnya partisipan ini akan mempengaruhi hasil analisis. Keraguan akan muncul mengenai efek yang terlihat atau tidak terlihat, apakah ini diakibatkan intervensi atau karena berkurangnya partisipan yang memiliki karakteristik penting. 
3. Pengetesan; yaitu perubahan skor tes dari subjek penelitian yang tidak diakibatkan oleh intervensi melainkan karena terbawanya efek saat pengetesan pertama. Ancaman ini relevan ketika peneliti merancang desain yang melibatkan amatan ulang. 
4. Regresi; yaitu perubahan skor seseorang pada variabel dependen, khususnya ketika orang tersebut memiliki skor yang ekstrim, yang diakibatkan oleh fenomena statistik bukan karena intervensi. 
5. Kematangan; yaitu perubahan skor tes yang tidak diakibatkan oleh intervensi, melainkan oleh kematangan subjek penelitian secara alami. 
6. Sejarah; yaitu perubahan skor tes yang tidak diakibatkan oleh intervensi, melainkan oleh peristiwa yang terjadi bersamaan dengan dilakukannya intervensi. 

Pustaka
[1]  Shadish, W., Cook. T. D., & Campbell, D. T.(2002). Experimental and quasi-experimental designs for generalized causal inference. Boston: Houghton Mifflin Company.

[2] Maxwell, S. & Delaney, H. (2004). Designing experiments and analyzing data : A model comparison perspective. New York, NY.: Psychology Press.

[3] Simmons, J., Nielson, L., and Simonsohn, U., (2011), False-positive psychology: Undisclosed flexibility in data collection an analysis allows presenting anything as significant. Psychological Science. 22(11): 1359 - 1366.

[4] John, L.K., Loewenstein, G., & Prelec, D. (2012). Measuring the Prevalence of Questionable Research Practices With Incentives for Truth Telling. Psychological Science 23(5):524 to 532.

[5] Cohen, J.(1998) Statistical power analysis for the behavioral sciences. Hillsdale, NJ: Lawrence Erlbaum Associates.