Prinsip Dasar Evaluasi Pasca Pelatihan

Konsep Dasar

Secara umum evaluasi adalah suatu proses sistematik untuk mengetahui tingkat keberhasilan dan efisiensi suatu program. Dalam konteks evaluasi di lingkungan diklat, terdapat tiga istilah yang memiliki arti berbeda karena tingkat penggunaan yang berbeda, yaitu istilah pengukuran (measurement), penilaian (evaluation) dan pengambilan keputusan (decision making). Ketiga istilah ini berkaitan erat dan merupakan suatu rangkaian aktivitas dalam evaluasi dalam dunia kediklatan.

Pengukuran adalah suatu prosedur untuk mendapatkan informasi atau data secara kuantitatif, dengan pemberian angka kepada suatu sifat atau karakteristik tertentu kepada seseorang berdasarkan aturan tertentu. Hasil pengukuran berupa data kuantitatif dalam bentuk angka-angka (skor). Oleh karena itu, dalam pengukuran dibutuhkan adanya alat ukur (instrumen) yang digunakan untuk mengumpulkan data. Sifat dari pengukuran adalah obyektif. Pengukuran tidak membuahkan nilai atau baik buruknya sesuatu, tetapi hasil pengukuran dapat dipakai untuk penilaian atau evaluasi.

Penilaian adalah kegiatan untuk mengetahui apakah suatu program telah berhasil dan efisien. Penilaian bersifat kualitatif untuk menentukan apakah sesuatu (seseorang) tergolong kategori baik atau kurang, tepat atau tidak tepat, dan kualitas lainnya. Penilaian pada dasarnya adalah pemberian pertimbangan (judgement) terhadap skor atau angka-angka yang diperoleh melalui pengukuran. Dengan demikian dalam pertimbangan memuat faktor-faktor yang bersifat subyektif dalam kadar tertentu (relatif).

Pengambilan keputusan (kebijakan) adalah tindakan yang diambil oleh seseorang atau lembaga berdasarkan data (informasi) yang telah diperoleh dengan memasukkan berbagai pertimbangan.

Dari pengertian tersebut, jelas terlihat adanya tingkatan yang berbeda. Pengukuran tidak membuahkan nilai atau baik buruknya sesuatu, tetapi hasil pengukuran dapat dipakai untuk membuat penilaian. Penilaian memerlukan data yang baik mutunya dan salah satu sumbernya adalah hasil pengukuran. Namun demikian, tidak menutup kemungkinan bahwa penilaian tetap dilakukan meskipun tanpa didahului oleh pengkuran. Demikian pula halnya dengan pengambilan keputusan. Keputusan yang baik memerlukan hasil penilaian yang baik.

Dalam perspektif critical event models, evaluasi merupakan bagian yang tak terpisahkan dari seluruh tahapan siklus diklat. Pada konteks ini evaluasi dilakukan terhadap setiap tahapan mulai dari analisis kebutuhan diklat, pelaksanaan diklat sampai dengan setelah selesai pelaksanaan atau pasca diklat.


Ruang Lingkup

Perkembangan konsep evaluasi yang ada pada saat ini menunjukkan arah yang lebih luas. Konsep tersebut pada umumnya berkisar pada pandangan sebagai berikut :

1. Evaluasi tidak hanya diarahkan kepada tujuan diklat yang ditetapkan, tetapi juga terhadap tujuan-tujuan yang tersembunyi, termasuk efek yang mungkin timbul

2. Evaluasi tidak hanya melalui pengukuran perilaku peserta diklat, tetapi juga melakukan pengkajian terhadap komponen-komponen diklat, baik masukkan – proses – keluaran

3. Evaluasi tidak hanya dimaksudkan untuk mengetahui tercapai tidaknya tujuan-tujuan yang telah ditetapkan, tetapi juga untuk mengetahui apakah tujuan-tujuan tersebut penting bagi peserta diklat dan bagaimana peserta mencapainya

4. Mengingat luasnya tujuan dan obyek evaluasi, maka alat yang digunakan dalam pengukuran sangat beraneka ragam, tidak hanya terbatas pada tes, tetapi juga yang bukan tes


Model Evaluasi

Secara normatif program pelatihan dan pengembangan (training and development) sebagai bagian integral dari proses pengembangan sumberdaya manusia (SDM) menjadi penting dan strategis dalam mendukung visi dan misi organisasi. Untuk menjamin kualitas penyelenggaraan program pelatihan, maka diperlukan suatu fungsi kontrol yang dikenal dengan evaluasi. Evaluasi pelatihan memiliki fungsi sebagai pengendali proses dan hasil program pelatihan sehingga akan dapat dijamin suatu program pelatihan yang sistematis, efektif dan efisien. Evaluasi pelatihan merupakan suatu proses untuk mengumpulkan data dan informasi yang diperlukan dalam program pelatihan. Evaluasi pelatihan lebih difokuskan pada peninjauan kembali proses pelatihan dan menilai hasil pelatihan serta dampak pelatihan yang dikaitkan dengan kinerja SDM.

1. Model CIPP

Model CIPP dikembangkan oleh Daniel Stufflebeam's merupakan model untuk menyediakan informasi bagi pembuat keputusan, jadi tujuan evaluasi ini adalah untuk membuat keputusan. Komponen model evaluasi ini adalah konteks, input, proses dan produk. Komponen dalam model evaluasi ini sebagai berikut :

Context (konteks) berfokus pada pendekatan sistem dan tujuan, kondisi aktual, masalah-masalah dan peluang yang melayani pembuatan keputusan dari perencanaan program yang sedang berjalan, berupa diagnostik yakni menemukan kesenjangan antara tujuan dengan dampak yang tercapai.

Input (masukkan) berfokus pada kemampuan sistem, strategi pencapaian tujuan, implementasi disain dan cost-benefit dari rancangan yang melayani pembuatan keputusan tentang perumusan tujuan-tujuan operasional.

Process (proses) memiliki fokus lain, yaitu menyediakan informasi untuk membuat keputusan day to day decision making untuk melaksanakan program, mambuat catatan atau “record”, atau merekam pelaksanaan program dan mendeteksi atau pun meramalkan pelaksanaan program.

Product (produk) berfokus pada mengukur pencapain tujuan selama proses dan pada akhir program.

2. Model Empat Level

Merupakan model evaluasi pelatihan yang dikembangkan pertama kali oleh Donald L. Kirkpatrick dengan menggunakan empat level dalam membuat kategori hasil pelatihan. Empat level tersebut adalah level reaksi (reactions), pembelajaran (learning), perilaku (behavior) dan hasil (results). Keempat level dapat dirinci sebagai berikut :

Level 1 : Reactions

Tahap evaluasi pertama yang dilakukan segera setelah pelatihan selesai diberikan. Umumnya ditujukan untuk mengukur tingkat kepuasan peserta terhadap pelaksanaan pelatihan. Paling sederhana dan mudah dilakukan dengan menggunakan check list. Beberapa hal yang penting untuk dievaluasi adalah :

· Isi pelatihan : seberapa jauh isi pelatihan sesuai dengan tujuan yang ditetapkan, baik dari segi keragaman maupun kedalaman topik yang dibahas.

· Kualitas materi : seberapa baik kualitas materi yang dibagikan, presentasi audio dan visual yang disajikan, dan peralatan lain yang digunakan selama pelatihan. Kualitas materi yang baik menimbulkan kesan bahwa peserta mengikuti pelatihan yang bergengsi dan bukan pelatihan “asal-asalan” saja.

· Metode pelatihan : seberapa sesuai metode pelatihan yang digunakan dengan topik yang dibahas. Contoh, pelatihan security untuk para satpam harusnya lebih banyak dilakukan dalam metode simulasi, role play, outbound dan games dibanding ceramah/kuliah.

· Logistik : seberapa layak akomodasi dan konsumsi yang diberikan serta fasilitas pelatihan lainnya. Walaupun kelihatan sepele, akomodasi dan konsumsi dapat mempengaruhi konsentrasi.

· Instruktur/fasilitator : seberapa fasih mereka memberikan pelatihan. Hal ini bergantung dari kedalaman pemahamannya terhadap materi pelatihan, kemampuan melakukan presentasi materi dan kemampuan mengelola situasi selama pelatihan.

Level 2 : Learning

Tahap evaluasi ini pun relatif mudah dilakukan. Biasanya pada jam terakhir pelatihan. Tujuannya mengukur tingkat pemahaman peserta atas materi pelatihan. Jika seorang peserta pelatihan tidak dapat memahami materi pelatihan, bagaimana mungkin ia dapat mengaplikasikan perubahan dalam kinerjanya? Beberapa metode di antaranya memberikan tes tertulis atau studi kasus pada peserta pelatihan. Simulasi pun dapat dilakukan, misalnya role play, in-basket atau teknik lainnya. Paling sederhana adalah meminta peserta melakukan refleksi atau presentasi berupa rangkuman atas apa yang telah dipelajarinya.

Level 3 : Behavior / Application

Tahap evaluasi ini ditujukan untuk mengukur implementasi peserta pelatihan di pekerjaan sehari-hari. Informasi yang dibutuhkan adalah :

· Tugas yang dikerjakan : proyek atau kegiatan rutin yang dilakukan sebagai bukti konkrit dari implementasi peningkatan kemampuan peserta setelah mengikuti pelatihan. Contohnya, peserta yang telah mengikuti pelatihan negosiasi dapat menyebutkan proyek tender yang berhasil dimenangkannya.

· Tim yang terlibat : pihak-pihak yang mendukung kesuksesan dari tugas tersebut. Informasi ini perlu diketahui untuk menilai seberapa besar peran peserta dalam kesuksesan tersebut.

· Waktu penerapan : kapan dan berapa lama implementasi tersebut dilakukan. Jika peserta terlibat dalam proyek, maka ada batasan waktu tertentu. Berbeda dengan pengerjaan tugas rutin.

Jika implementasi tidak sesuai dengan harapan, analisis lebih lanjut perlu dilakukan. Misalnya, adakah kesempatan bagi peserta untuk melakukan implementasi ? Faktor apa saja yang mendukung implementasi terjadi ? Lalu faktor apa yang menghambat dan perlu diatasi ? Faktor yang mendukung di antaranya adalah infrastruktur yang memadai, atasan yang terbuka, tim kerja yang solid, dll. Sementara faktor yang menghambat adalah waktu yang sempit, dana yang terbatas, resistensi terhadap perubahan, dll. Jangan sampai ditemukan kemalasan peserta sendiri sebagai faktor penghambat.


Level 4 : Results / Impact

Tahap ini ditujukan untuk mengukur dampak pelatihan terhadap kelompok kerja atau organisasi secara keseluruhan. Data historis (awal) harus tersedia untuk melakukan evaluasi tahap ini. Beberapa aspek yang diukur antara lain :

· Tangible, mencakup : (1) hasil kerja, seperti produktivitas, frekuensi, kecepatan, keuntungan, % penyelesaian, (2) kualitas seperti deviasi, kecelakaan, komplain, produk gagal, (3) biaya, seperti biaya operasional, pengeluaran mendadak, (4) waktu, seperti efisiensi, lembur.

· Intangible, mencakup : (1) kebiasaan kerja, seperti absensi, kelalaian, tepat waktu, (2) iklim kerja, seperti komitmen, pengunduran diri, kerja sama, (3) keterampilan, seperti pengetahuan, pemahaman, aplikasi, (4) kepuasan, seperti kepuasan kerja, kepuasan pelanggan, (5) inisiatif, seperti saran, penetapan tujuan, rencana strategis.


3. Model ROI (Return On Investment)

Model ROI yang dikembangkan oleh Jack Phillips merupakan level evaluasi terakhir untuk melihat cost-benefit setelah pelatihan dilaksanakan. Kegunaan model ini agar pihak manajemen melihat pelatihan bukan sesuatu yang mahal dan hanya merugikan pihak keuangan, akan tetapi pelatihan merupakan suatu investasi. Sehingga dapat dilihat dengan menggunakan hitungan yang akurat keuntungan yang dapat diperoleh setelah melaksanakan pelatihan. Hal ini tentunya dapat memberikan gambaran lebih luas, apabila ternyata dari hasil yang diperoleh ditemukan bahwa pelatihan tersebut tidak memberikan keuntungan baik bagi peserta maupun bagi lembaga.

Model evaluasi ini merupakan tambahan dari model evaluasi Kirkpatrick yaitu adanya level ROI (level 5), pada level ini ingin melihat keberhasilan dari suatu program pelatihan dengan melihat dari Cost-Benefit-nya, sehingga memerlukan data yang tidak sedikit dan harus akurat untuk menunjang hasil dari evaluasi pelatihan yang valid.

Tahap ROI paling sulit dilakukan. Tujuannya adalah untuk mengevaluasi nilai balik modal dari pelaksanaan pelatihan. Dibutuhkan waktu, biaya dan analisis data yang akurat untuk keberhasilan evaluasi ini. Salah satu cara adalah mengisolasi pengaruh pelatihan, ada tiga strategi yang dengan mudah diperhitungkan yaitu :

(1) Perbandingan antara kelompok peserta dan kelompok bukan peserta. Kinerja antara kelompok peserta pelatihan dapat diperbandingkan dengan kelompok lain yang setara dan belum mendapatkan pelatihan. Contohnya, cara menjawab telepon yang masuk dari kelompok resepsionis peserta pelatihan Sopan Santun Bertelepon dibandingkan dengan kelompok yang belum mendapatkan pelatihan. Secara kualitatif, cara menjawab yang lebih baik dapat disimpulkan disebabkan oleh pelatihan tersebut.

(2) Perbandingan antara sebelum dan sesudah pelatihan. Kinerja antara sebelum dan sesudah pelatihan dari kelompok yang sama diperbandingkan. Contohnya, penjualan retail sebelum pelatihan direct selling dibandingkan dengan penjualan setelah pelatihan. Tentu saja analisis yang dilakukan juga perlu memperhatikan tren kenaikan atau penurunan tanpa adanya pelatihan.

(3) Estimasi peserta terhadap presentase pengaruh pelatihan. Inilah perhitungan yang paling mudah dilakukan. Peserta pelatihan diminta untuk mengungkapkan berapa persentase pengaruh pelatihan terhadap perbaikan kinerjanya. Contohnya, peserta pelatihan Interconnecting Network Device melaporkan bahwa 70% keberhasilan mengerjakan proyek Wireless Connection disebabkan oleh aplikasi pelatihan. Sisanya, 30% lainnya oleh faktor-faktor lain, seperti proses belajar sendiri, umpan balik atasan, dll.


Tahapan Evaluasi

Langkah 1 : Persiapan Evaluasi

Pada langkah ini terdapat tiga kegiatan pokok yang berkaitan dengan pelaksanaan evaluasi yaitu : menentukan tujuan atau maksud evaluasi, merumuskan informasi yang akan dicari atau memfokuskan evaluasi dan menentukan cara pengumpulan data.

Beberapa kriteria yang digunakan dalam merumuskan tujuan evaluasi adalah : (1) kejelasan, (2) keterukuran, (3) kegunaan dan kemanfaatan, (4) relevansi dan kesesuaian atau compatibility. Jadi tujuan evaluasi harus jelas, terukur, berguna, relevan dan sesuai dengan kebutuhan pengembangan program diklat.

Dalam merumuskan informasi atau memfokuskan evaluasi harus berdasarkan kepada tujuan evaluasi. Terdapat beberapa metode dalam merumuskan pertanyaan evaluasi yaitu : (1) menganalisis objek, (2) menggunakan kerangka teoritis, (3) memanfaatkan keahlian dan pengalaman dari luar, (4) berinteraksi dengan audien kunci.

Menentukan cara pengumpulan data, misalnya survei atau yang lain, ditentukan pula pendekatan dalam pengumpulan data. Terdapat beberapa prosedur pengumpulan data dengan pendekatan kuantitatif, misalnya observasi, tes, survei atau lainnya.

Langkah 2 : Mengembangkan Instrumen

Setelah metode pengumpulan data ditentukan, selanjutnya ditentukan pula bentuk instrumen yang akan digunakan serta kepada siapa instrumen tersebut ditujukan (respondennya). Terdapat syarat-syarat yang harus dipenuhi oleh instrumen evaluasi sebagai berikut : (1) validitas adalah keabsahan instrumen dalam mengukur apa yang seharusnya diukur, (2) reliabilitas adalah ketetapan hasil yang diperoleh, misalnya bila melakukan pengukuran dengan orang yang sama dalam waktu yang berlainan atau orang yang lain dalam waktu yang sama, (3) objektivitas adalah upaya penerjemahan hasil pengukuran dalam bilangan atau pemberian skor tidak terpengaruh oleh siapa yang melakukan, (4) standarisasi untuk memastikan evaluator mempunyai persepsi yang sama dalam mengukur karena adanya petunjuk khusus pengisian data, (5) relevansi adalah kepatuhan untuk mengembangkan berbagai pertanyaan agar sesuai dengan maksud instrumen, (6) mudah digunakan.

Langkah 3 : Mengumpulkan Data

Dalam melakukan pengumpulan data ini dilakukan dengan berbeda-beda pada masing-masing level. Pada level reaksi data yangg dikumpulkan berupa data kuantitatif dengan menggunakan metode survei. Kemudian pada level pembelajaran data yang dikumpulkan berupa data kuantitatif dengan menggunakan tes. Selanjutnya pada level perilaku, data yang dikumpulkan melalui observasi atau dapat juga dengan rencana aksi (action plan), yaitu rencana tahapan tindakan yang akan dilakukan oleh peserta pelatihan dalam mengimplementasikan hasil pelatihan yang telah diikuti. Dalam hal ini para peserta harus mempunyai suatu sasaran peningkatan kinerja/kompetensi yang bersangkutan dalam unit kerja masing-masing yang kemudian diukur dengan mengunakan patokan kinerja/kompetensi yang bersangkutan. Kemudian yang terakhir, yaitu pada level hasil atau dampak, pada data yang dikumpulkan dapat melalui atasan, peserta pelatihan, bawahan atau rekan kerja (client).

Langkah 4 : Mengolah dan Menganalisis Data

Setelah data yang diperlukan sudah terkumpul, maka langkah berikutnya adalah mengolah dan menganalisis data. Dalam menganalisis data dan menafsirkannya (menginterpretasikan) harus berdasarkan hasil data yang telah berhasil didapatkan. Kemudian menyajikannya dalam bentuk yang mudah dipahami dan komunikatif.

Langkah 5 : Menyusun Laporan

Melaporkan merupakan langkah terakhir kegiatan evaluasi pelatihan. Laporan disusun dengan format yang telah disepakati oleh tim. Langkah terakhir evaluasi ini erat kaitannya dengan tujuan diadakannya evaluasi. Langkah-langkah tersebut dapat dengan digunakan untuk menjawab sejauh mana evaluasi pelatihan yang akan dilakukan dan bagaimana pelaksanaan proses pelatihan dari awal hingga akhir sehingga memberikan hasil untuk improvisasi pada pelatihan-pelatihan selanjutnya.


Penutup

Pelatihan sudah memang seharusnya tidak terlepas dari program peningkatan kinerja. Bahkan, organisasi berkelas seperti Microsoft, Virgin Group dan Sampoerna mampu mengkaitkan program pelatihan dengan banyak hal seperti diversifikasi produk, inovasi produk, perbaikan kualitas hingga supervisi. Maka dari itu untuk melihat sejauh mana program pelatihan itu mencapai tujuannya perlu diperhatikan dalam evaluasi program pelatihan.

Pertama, melakukan tinjauan pada pra pelatihan dengan melihat hasil analisis kebutuhan pelatihan. Semua organisasi dengan departmen HR sebagai kepanjangan tangannya tentu sudah meramalkan kebutuhan pelatihan untuk masa yang akan datang. Perlu digarisbawahi pada aktivitas ini adalah pemutakhiran data baik internal maupun eksternal. Data internal seperti urgensi kebutuhan peningkatan keahlian tertentu dari masing-masing departmen mutlak dibutuhkan, karena pada intinya departmen terkaitlah yang tahu kebutuhan ini. Data eksternal seperti keadaan persaingan, kemajuan iptek, tuntutan konsumen menuntut pelaku usaha (lembaga) untuk senantiasa meningkatkan keterampilan karyawannya juga menjadi penentu, apakah memang dibutuhkan pelatihan atau tidak. Kombinasi dari dua data ini diharapkan dapat memberikan gambaran prioritas, pelatihan seperti apa dan untuk departmen apa sebenarnya program itu dibutuhkan.

Kedua, pada proses pelatihan itu sendiri. Pada kegiatan pelatihan ini baik pihak pengirim dan penyelenggara pelatihan harus mampu mensinergikan tujuan pelatihan dari masing-masing pihak. Hal ini bertujuan untuk mensinkronkan kebutuhan pelatihan dengan proses learning yang nantinya akan menjadi bekal peserta pelatihan kelak jika kembali ke organisasinya. Dengan hal ini diharapkan tidak ada materi yang under dan over delivery. Artinya, demi menekan efesiensi biaya (baca: uang, waktu, tenaga), pihak pengirim pelatihan harus mendapatkan keyakinan dari training provider akan cakupan materi pelatihan serta relevansinya di dunia kerja. Form feedback yang diberikan oleh penyedia jasa pelatihan di akhir sesi pelatihan bukan satu-satunya tolok ukur akan tepat sasaranya program pelatihan tersebut, tapi justru pada mental dan willingness dari peserta dalam mengikuti program pelatihan itu sendiri. Baik itu targeting lesson learned dari training provider maupun learning requirement dari pengirim pelatihan harus bertemu pada satu titik. Lebih lanjut apakah pelatihan tersebut diberikan dalam konteks on the job training atau off the job training tidak menjadi masalah. Pada kegiatan pra-pelatihanlah sebenarnya keputusan ini diambil. Tidak ada salah satu dari dua metode tersebut yang paling baik maupun yang jelek, kembali kepada analisis kebutuhan serta ketepatan dari program tersebut.

Ketiga, pada pasca pelatihan. Seusai pelatihan, tentunya organisasi berharap individu dapat meningkatkan kinerjanya sehingga akan mendongkrak pula kinerja organisasi. Jika kita mengharapkan hal ini tentunya tidak tepat, jika faktor lingkungan organisasi tidak terpenuhi. Lingkungan organisasi internal juga menjadi penentu apakah nantinya individu dapat mengaktualisasikan hasil learning yang mereka terima di site pelatihan. Apakah kondisi supervisi serta sejawat kerja sepadan dengan fresh learning yang didapatkan oleh individu? Apakah memang tuntutan organisasi saat ini mengharuskan individu untuk segera mengaktualisasikan hasil learning-nya? Jika semua ini memang sudah diproyeksikan di awal pra pelatihan tentunya akan berimbas pada ROI yang dianggarakan sebelum mengikuti pelatihan. Jika tidak tentu akan menjadi bumerang bagi departemen yang bersangkutan, karena diperolehnya under atau over learning yang tidak sesuai dengan kebutuhan departemen. Efek buruk seperti ”usang”-nya hasil belajar yang tidak digunakan akan menjadi senjata makan tuan bagi organisasi (efek psikososial).


Daftar Pustaka

Badan Diklat Propinsi Jawa Timur.
Monitoring dan Evaluasi Pendidikan dan Pelatihan (Modul Management of Training). Badan Pendidikan dan Pelatihan Propinsi Jawa Timur, Surabaya, 2002.

Chung, KSD.
Jurus Jitu Evaluasi Pelatihan (http://www.portalhr.com/kolom/2id93.html), diakses 12 Desember 2008.

Irawanto, DW.
Paradigma Baru Evaluasi Efektivitas Pelatihan (http://www.portalhr.com/kolom/2id185.html), diakses 12 Desember 2008.

Kirkpatrick, DL.
Seven Keys to Unlock the Four Levels of Evaluations (http://www.scribd.com), diakses 12 Desember 2008.

Lembaga Administrasi Negara RI.
Metode Pengukuran dan Instrumen Penelitian (Bahan Ajar Diklat Kewidyaiswaraan Berjenjang Tingkat Madya). Lembaga Administrasi Negara RI, Jakarta, 2003.

McGivern, MH and Bernthal, P.
Measuring Training Impact (http://www.scribd.com), diakses 12 Desember 2008.

Witoyo, B.
Training Evaluation Model (http://www.scribd.com), diakses 12 Desember 2008.