Anava Identity : Post Hoc dan Kontras

Anava ternyata tidak membereskan masalah sampai ke akar-akarnya. Bahkan menyisakan pertanyaan di benak kita...wah wah wah bahasanya... Ya, selesai analisis kita hanya bisa bilang bahwa salah satu dari segala kemungkinan perbandingan antar kelompok memiliki perbedaan yang signifikan.

Jadi kalo misalnya kita punya 3 kelompok: A, B, C, kita akan memiliki kurang lebih 3 perbandingan, yaitu antara A dengan B, A dengan C, dan B dengan C. Jika Analisis varians menghasilkan nilai F yang signifikan, ini berarti salah satu dari ketiga perbandingan itu yang signifikan. Yang mana? hmm... kalo Tora Sudiro akan bilang,"Mene Ketehe?".

Multiple Comparison

Keren bener bahasanya. Ya ini istilah lainnya perbandingan jamak... agak janggal sih jadi kita pake istilah aslinya aja ya, disingkat MC.
Kembali ke masalah si Anava ini, lalu gimana dong?
Mungkin ada yang usul juga gimana kalo kita pake t-test dibandingin satu-satu? (Kenapa nggak dari awal aja sekalian, jadi nggak harus pake anava...ya nggak ya nggak?).

Boleh-boleh... (saya dengar di sana ada yang bilang,"Tapi...." hehe). Menggunakan t-test berkali-kali akan memiliki dampak kurang baik terhadap uji hipotesis. Ilustrasinya begini: Kalau saya punya 3 bola, dua berwarna biru dan satu berwarna merah, lalu saya menutup mata si A, dan memintanya menebak bola apa yang saya lempar ke udara saat ini. Setelah A menebak saya akan memberitahunya bola apa yang saya lempar sebenarnya. Anggaplah saja percobaan pertama gagal ditebak, si A jawab merah padahal saya lempar biru. Nah percobaan kedua masih gagal, si A jawab biru padahal saya lempar merah. Dapat dipastikan percobaan ketiga pasti dapat ditebak dengan benar bukan? Jadi dalam hal ini, tiap kali kita melakukan uji, kita akan meningkatkan kemungkinan untuk mendapatkan t yang signifikan.

Contoh yang lebih konkret: kita ingin menguji apakah perbedaan antara kelompok A dan B signifikan dengan taraf 5%. nah karena ketersediaan dana kita bisa mengambil 100 sampel. kemudian kita tes sampel ini satu demi satu. Bisa dijamin, meskipun sebenarnya tidak ada perbedaan antara A dan B di populasi, tapi karena kita melakukan uji sampe 100 kali, kesempatan kita mendapat sampel yang A dan B nya memiliki perbedaan yang signifikan semakin besar di tiap kali pengujian. Besarnya kemungkinan mendapatkan paling tidak 1 perbedaan yang signifikan dengan taraf 5% sebesar:

1-(1-p)^k

k dalam hal ini adalah banyaknya pengujian yang dilakukan, sementara p adalah taraf signifikasi yang kita gunakan. misalnya kita melakukan 3 kali, jadi k=3, dengan taraf 5%. Ini berarti kemungkinan mendapatkan 1 sampel yang memiliki perbedaan mean yang signifikan tidak lagi 5% tapi :

1-(1-0.05)^3=1-0.8575
=0.142625

Bisa dibilang sekarang taraf signifikasinya nggak lagi 5% melainkan 14.2625%.

Oleh karena itu kita tidak dapat menggunakan pengujian t-test berkali-kali tanpa melakukan penyesuaian terhadap taraf signifikasinya.

Jadi sebenarnya bisa hanya harus disesuaikan?

anda benar! kita bisa menggunakan t-test dengan menyesuaikan taraf signifikasinya. Selain t-test ada beberapa teknik lain yang memperhitungkan taraf signifikasi ini. Kumpulan teknik-teknik ini kemudian dinamai post hoc test. Karena dilakukan setelah dilakukannya Anava. Post hoc test ini tidak hanya terkait dengan membandingkan mean dari dua kelompok, tapi juga membandingkan mean dari beberapa kelompok dengan konfigurasi tertentu.
Maksud saya begini. Anggaplah kita memiliki 3 kelompok, A, B dan C. Kelompok A dan B merupakan kelompok yang diberi treatmen sementara kelompok C adalah kelompok yang tidak diberi treatmen sama sekali. Dalam analisis ini kita bisa melihat apakah ada perbedaan yang diberi treatment dengan yang tidak, jadi seolah menggabung A dan B kemudian dibandingkan dengan C. Analisis ini dinamai Kontras (Contrast). Ini gambaran umumnya, lalu gimana melakukan perbuatan ini?

Analisis Kontras
Hmm…. Ini tidak ada kaitannya dengan masalah kekerasan dan HAM ya. Analisis kontras di sini dimaksudkan sebagai analisis antara dua mean yang di’kontras’kan atau dibandingkan. Analisis Kontras ini seringkali juga disebut sebagai Single df analysis (karena semua analisis kontras memiliki df sebesar 1 untuk pembilangnya). Analisis Kontras ini mencakup banyak teknik analisis. Daripada saya sebutkan, mendingan saya gambarkan saja seperti apa ya cakupan analisis kontras ini (lihat gambar 1.)




Huaduh…. Kok banyak banget? Hmm…. Ya memang banyak. Tapi tidak semua harus dilakukan dalam satu penelitian kok. Penelitian selama ini biasanya melibatkan variabel independen yang kategorik, maka biasanya kita hanya melakukan analisis kontras yang di sebelah kanan diagram. Nah tulisan ini berfokus pada bagian kanan dari diagram ini. Bagian kirinya nanti ya dalam postingan sendiri.

Analisis Kontras Sederhana (Simple Contrast Analysis) dan Perbandingan Pasangan Keseluruhan (Complete Pairwise Comparison).
Kedua teknik ini dijadikan satu karena mirip sekali. Keduanya sama-sama menganalisis perbedaan antara mean dari dua kelompok. Perbedaannya, perbandingan pasangan keseluruhan menganalisis semua perbandingan pasangan mean antar kelompok yang memungkinkan, sementara analisis kontras sederhana hanya membandingkan pasangan mean antar kelompok yang menjadi perhatian peneliti.
Contoh: penelitian membandingkan mean tingkat stress pada mahasiswa antara kelompok A, B, C dan D. Jika kita menggunakan perbandingan pasangan keseluruhan, maka kita akan melakukan sebanyak [k*(k-1)]/2 atau sama dengan 6 perbandingan. Sementara jika melakukan analisis kontras sederhana kita dapat memilih pasangan kelompok yang ingin dilihat saja. Misalnya kita hanya tertarik membandingkan A dengan B, A dengan C, dan A dengan D saja.

Hmm… apakah berbeda analisisnya? Bukankah menganalisis semua kemungkinan pasangan kelompok toh juga akan bisa dilihat perbandingan pasangan tertentu.
Ya tentu saja bisa. Permasalahannya terletak pada power dari analisisnya. Ketika melakukan 6 perbandingan, power dari analisis akan cenderung lebih kecil karena kita melakukan penyesuaian yang lebih ketat terhadap tipe error I. Kita akan menuntut perbedaan antar mean kelompok yang lebih besar dengan melakukan 6 perbandingan daripada jika hanya melakukan 3 perbandingan. Analisis yang dianjurkan (Keppel & Wickens, 2004) untuk kedua situasi itu juga berbeda. Untuk analisis kontras sederhana yang dianjurkan adalah teknik Sidak-Bonferroni atau Dunett’s Test. Sementara untuk perbandingan pasangan keseluruhan dianjurkan menggunakan Tukey’s HSD procedure atau REGW (Ryan-Einot-Gabriel-Welsch). Semua teknik ini ada dalam SPSS jadi kita tidak perlu menghitung secara manual karena untuk beberapa teknik akan sangat repot. Anjuran ini didasarkan pada pertimbangan keakuratan dalam mengestimasi nilai p dan juga usaha meningkatkan power dari analisisnya.

Analisis Kontras Kompleks (Complex contrast analysis)
Hmm…dari namanya sepertinya agak mengerikan…kompleks…. Nggak kok sebenernya dia orang baik…. Lo opo to iki?
Jika Analisis Kontras Sederhana membandingkan mean dari dua kelompok, Analisis Kontras Kompleks membandingkan mean dari lebih dari dua kelompok. Misalnya kita melakukan penelitian dengan tiga kelompok. Dua kelompok treatment dan satu kelompok kontrol. Kemudian kita hendak membandingkan dua kelompok treatmen jadi satu dengan kelompok kontrol. Ini misalnya karena kita tertarik untuk membandingkan apakah pemberian treatment secara umum memang memberikan dampak terhadap skor subjek dibandingkan kelompok kontrol.
Cara melakukan analisis ini mirip sekali dengan analisis kontrast sederhana oleh karena itu teknik mengontrol tipe error I yang dianjurkan juga sama dengan Analisis kontras sederhana yaitu Sidak-Bonferoni.

Analisis Kontras Eksploratori
Analisis ini jika dilihat secara sekilas mirip sekali dengan analisis-analisis sebelumnya. Perbedaannya: pada analisis yang disebutkan sebelumnya, rencana analisis sudah dibuat sebelum penelitian dilakukan. Jadi kita sudah merencanakan perbandingan mana yang akan kita lihat jika nilai F nya signifikan.
Nah pada analisis kontras eksploratori (Keppel & Wickens menyebutnya post hoc test, sementara Howell, menyebutnya posteriori test), kita tidak melakukan rencana apapun sebelumnya. Keputusan untuk melakukan perbandingan pasangan kelompok-kelompok tertentu didasarkan setelah melihat nilai F dan mean-mean kelompok. Kita ‘mencari’ dan kemudian menguji perbedaan mean setelah melihat hasil analisis, jadi kita seolah2 sudah melakukan analisis berulang2. Oleh karena itu, kita perlu melakukan kontrol error tipe I secara lebih ketat lagi (Keppel & Wickens, 2004).
Pengontrolan error tipe I yang dianjurkan oleh Keppel dan Wickens (2004) adalah Scheffe. Karena teknik ini berusaha mengendalikan error tipe I dengan sangat ketat, maka ia kehilangan kekuatan untuk mengidentifikasi perbedaan yang tidak terlalu besar.

OK sementara demikianlah analisis kontras dan perbandingan pasangan. Tentang bagaimana melakukannya di SPSS… kita lihat di postingan berikutnya…OK?
(OKEEEEEE…..)

Korelasi Antara A Dan B Positif Signifikan = Jika A Tinggi Maka B Juga Tinggi?

Kisah berikut ini kisah nyata yang sudah dimodifikasi karena keterbatasan ingatan saya. Data penelitian yang ditunjukkan di sini berasal dari penelitian sungguhan, dan telah mendapat ijin dari penelitinya. Nama dan identitas disamarkan, kecuali nama saya tentunya…

Saya sempat mendapat pertanyaan yang sangat bagus dari seorang teman mahasiswa. Penelitiannya menggunakan teknik analisis korelasi produk momen pearson. Hasil analisisnya menyatakan adanya korelasi yang positif dan signifikan.
Masalah muncul ketika ia melakukan kategorisasi subjek ketika menggunakan kriteria hipotetik(lihat catatan kaki no 1). Jumlah subjek dengan kategori rendah dan sangat rendah pada variabel A jauh lebih sedikit daripada subjek dengan kategori rendah dan sangat rendah di variabel B. Keadaannya bahkan lebih dramatis; tidak ada subjek yang berada pada kategori rendah dan sangat rendah di variabel A (lihat tabel 1.).

tabel 1.

Hal ini kemudian dipertanyakan oleh dosen-dosen pengujinya. Apakah hasil analisisnya sudah benar? Asumsinya mungkin begini: Korelasi yang positif signifikan berarti jika skor subjek pada variabel A tinggi, maka skor subjek pada variabel B juga tinggi. Dengan berpegang pada asumsi tersebut, maka jika jumlah subjek dengan skor rendah dan sangat rendah pada variabel B itu banyak, seharusnya di variabel A juga banyak subjek masuk kategori rendah dan sangat rendah. Logis bukan? hmm…

Permasalahan ini muncul karena dua asumsi yang keliru bahwa (1) Korelasi yang positif signifikan berarti jika skor subjek pada variabel A tinggi berdasarkan kriteria hipotetik, maka skor subjek pada variabel B juga tinggi pada kriteria hipotetik; dan (2) korelasi signifikan itu berarti hubungan linear sempurna.

Pertama: Interpretasi korelasi bukan seperti yang dituliskan di atas, melainkan semakin tinggi skor subjek pada variabel A, maka skor pada variabel B juga semakin tinggi. Apa bedanya? Artinya skor subjek tidak selalu harus tinggi, tapi jika skor si Budi di variabel A itu lebih tinggi daripada Wati, maka skor Budi di variabel B juga cenderung lebih tinggi daripada Wati. Pernyataan ini tidak berbicara mengenai posisi skor Budi berdasarkan kriteria hipotetik sama sekali. Korelasi berbicara mengenai konsistensi posisi seseorang dalam kelompok relatif terhadap mean empirik(lihat catatan kaki 2) pada variabel A dan variabel B.

Jika posisi subjek konsisten (cenderung tinggi pada variabel A dan juga variabel B relatif terhadap mean empirik) maka korelasi akan tinggi dan positif. Jika konsisten terbalik (cenderung tinggi pada variabel A tapi rendah pada variabel B atau sebaliknya, relatif terhadap mean empirik) maka korelasi akan tinggi dan negatif. Jika tidak konsisten korelasinya akan mendekati nol.

Sebagai bukti penjelasan saya ini saya sajikan dua grafik. Dalam grafik pertama, garis-garis tipis didasarkan pada kategorisasi hipotetik, sementara dalam grafik kedua, garis-garis tipis didasarkan pada kategorisasi empirik.

grafik 1. Kategori Hipotetik

grafik 2. Kategori Empirik

Dalam kedua grafik ini dapat dilihat bahwa ketika menggunakan kategori hipotetik, data penelitian terlihat seolah-olah tersebar tidak merata di tiap kategori khususnya ditinjau dari variabel A. Data mengumpul dalam dua kategori paling kanan. Sementara jika menggunakan kategori empirik, data penelitian terlihat cukup merata dalam tiap kategori ditinjau dari variabel A. Situasi ini dapat dibuktikan juga dengan membandingkan tabel 1 di atas yang menggunakan kriteria hipotetik dengan tabel 2 yang menggunakan kriteria empirik berikut ini:

tabel 2.

Dari sini dapat disimpulkan tidak ada yang salah dengan hasil analisisnya. Masalah muncul ketika interpretasi korelasi diterapkan pada kategorisasi hipotetik, sementara korelasi sendiri dihitung berdasarkan mean empirik.

Hmm… tapi bahkan ketika menggunakan kategori berdasarkan mean empirik sebaran antara kedua variabel tetap tidak sama. Coba lihat pada bagian sedang dan rendah. Pada Variabel B prosentase subjek dalam kategori Sedang 26.2% sementara pada Variabel A mencapai 40.47%. Situasi ini berbalik di kategori rendah, prosentase subjek dengan kategori rendah di Variabel B ada 40.47% sementara di Variabel A 26.19%. Mengapa demikian?

Kedua. Jawabannya terdapat pada kesalahan asumsi kedua: korelasi signifikan itu berarti hubungan linear sempurna. Kesan yang kita tangkap ketika membaca pernyataan “korelasi signifikan” itu seolah-olah sama dengan mengharapkan adanya hubungan linear yang sempurna atau paling tidak sangat tinggi. Kita akan mengharapkan pola sebaran subjek dalam tiap kategori (dalam kategori empirik) akan sama untuk variabel A dan B. Tentu saja tidak demikian. Konsistensi pola sebaran antara variabel A dan B tidak ada kaitannya dengan signifikasi, tetapi dengan nilai korelasi yang didapatkan. Dalam penelitian ini meskipun nilai korelasi yang didapatkan itu signifikan, tetapi nilai korelasinya sendiri hanya 0.34, jadi dapat dibilang tidak terlalu kuat. Lebih jauh lagi, ini berarti kita tidak dapat berharap banyak akan menjumpai pola sebaran yang sangat konsisten antara variabel A dan B. Pola sebaran seperti dalam tabel 2, menurut saya, memang pola yang dapat diharapkan dari angka korelasi sebesar 0.34.


Catatan Kaki
1 Kategori hipotetik yang dimaksud dalam tulisan ini adalah kategori yang dibuat berdasarkan mean hipotetik dan SD hipotetik. Pembuatan kategori hipotetik ini dapat dilihat dalam buku Penyusunan Skala Psikologi yang ditulis oleh Saiffuddin Azwar.
2 Mean empirik mengacu pada mean dari data sampel. Istilah ini digunakan untuk membedakannya dari mean hipotetik yang berasal dari nilai tengah skala di tiap item dikali jumlah item. Sumber bacaan mengenai mean empirik dan mean hipotetik/teoretik dapat dilihat dalam buku Penyusunan Skala Psikologi yang ditulis oleh Saiffuddin Azwar.