Untuk menilai suatu kebijakan berhasil ataupun gagal, maka diperlukan tahapantahapan untuk mengevaluasi suatu kebijakan. Evaluasi merupakan proses yang rumit dan kompleks, karena memang dalam evaluasi melibatkan berbagai macam kepentingan individu-individu. Namun dalam proses evaluasi suatu kebijakan tentunya ada beberapa masalah-masalah yang dihadapi oleh peneliti. Menurut Anderson (dalam Winarno, 2012:240) teridentifikasi 6 (enam) masalah yang akan dihadapi dalam proses evaluasi kebijakan yaitu :
a) Ketidakpastian atas tujuan-tujuan kebijakan
Tujuan-tujuan yang disusun untuk menjalankan suatu kebijakan seharusnya tersusun jelas, bukan samar-samar atau tersebar. Seringkali timbul kesulitan untuk menentukan sejauh mana tujuan-tujuan tersebut telah tercapai. Ketidakjelasan tujuan biasanya disebabkan dari proses penetapan kebijakan. Suatu kebijakan biasanya butuh perhatian dari orang-orang dan kelompok yang memiliki kepentingan yang berbeda. Kondisi yang seperti inilah yang menyebabkan timbulnya ketidakpastian dari tujuan kebijakan karena harus merefleksikan banyaknya kepentingan maupun nilai-nilai dari aktor yang terlibat dalam perumusan kebijakan
b) Kausalitas
Variabel kausalitas haruslah mendapatkan perhatian. Evaluator menggunakan evaluasi sistematik terhadap program-program kebijakan maka ia harus memastikan bahwa perubahan-perubahan dalam kenyaaan harus disebabkan oleh tindakan-tindakan kebijakan.
c) Dampak kebijakan yang menyebar
Sebelumnya kita telah mengenal dengan apa yang dinamakan dampak yang melimpah (externalities or spillover effect), yaitu dimana dampak tersebut muncul oleh kebijakan pada keadaan atau kelompok-kelompok masyarakat yang menjadi sasaran kebijakan. d) Kesulitan dalam memperoleh dana Evaluator biasanya terhalang untuk melakukan evaluasi akibat kekurangan data statistik dan informasi-informasi yang relevan dalam proses mengevaluasi suatu kebijakan. Model-model ekonomerik yang biasa digunakan untuk meramalkan dampak dari pengurangan pajak pada kegiatan ekonomi dapat dilakukan, tetapi data yang cocok untuk menunjukan dampak yang sebenarnya pada ekonomi sulit untuk diperoleh.
e) Resistensi pejabat
Badan administrasi dan para pejabat yang terlibat dalam suatu program akan memberikan perhatian mereka terhadap kemungkinan konsekuensikonsekuensi politik yang mungkin timbul dari adanya kebijakan. Apabila hasil dari kebijakan tidak menunjkan benar menurut pandangan mereka maka program, pengaruh serta karir mereka akan terancam. Hal ini biasanya mengakibatkan para pejabat meremehkan studi evaluasi, menolak memberikan data, atau tidak menyediakan dokumen yang lengkap. f) Evaluasi yang mengurangi dampak Evaluasi yang telah rampung terkadang menuai kritik dan diabaikan karena dianggap tidak meyakinkan. Evaluasi dikritik dengan alasan bahwa evaluasi tersebut tidak direncanakan dengan baik, data yang tida memadai, atau 25 penemuan-penemuannya tidak didukung dengan bukti yang meyakinkan sehingga hal ini yang mendorong mengapa evaluasi kebijakan yang telah dilakukan tidak mendapatkan perhatian sebagaimana mestinya diharapkan, walaupun evaluasi tersebut sudah benar. Namun bagi mereka yang memiliki kepentingan ataupun merasa diuntungkan dengan adanya program tersebut tidak mungkin kehilangan semangat semata-mata karena studi evaluasi berkesimpulan biaya yang dikeluarkan lebih besar daripada keuntungan yang didapatkan.
Sementara Hogwood dan Gunn (dalam Winarno, 2012:245) mengidentifikasi beberapa masalah berat yang menjadi kendala dalam evaluasi kebijakan publik atau program. Masalah-masalah tersebut sebagai berikut:
a) Tujuan-tujuan kebijakan
Jika tujuan kebijakan tidak jelas atau dengan kata lain tujuan tersebut tidak dapat diukur dengan tidak adanya kriteria yang jelas untuk menentukan keberhasilan suatu kebijakan maka tujuan akan terlihat samar-samar. Kekaburan dalam tujuan kadangkala merupakan konsekuensi dari perbedaanperbedaan titik pandangan mengenai tujuan-tujuan kebijakan.
b) Membatasi kriteria untuk keberhasilan
Bahkan pada saat tujuan kebijakan secara jelas menyatakan ada masalah tentang bagaimana keberhasilan tujuan itu akan diukur. Maka tujuan tersebut akan berubah dari tujuan yang telah ditetapkan sebelumnya.
c) Efek samping
Dampak-dampak yang ditimbulkan oleh suatu kebijakan ataupun program seringkali mempengaruhi evaluasi kebijakan tersebut. Kesulitan yang biasanya muncul pada saat orang mencoba untuk mengidenifikasi dan mengukur efekefek/pengaruh sampingan dan memisahkan efek tersebut dari kebijakan atau program yang sedang dievaluasi. Terdapat masalah-masalah tentang faktorfaktor yang merugikan maupun faktor-faktor yang menguntungkan serta seberapa besar faktor ini dipertimbangkan secara relatif dengan tujuan-tujuan pokok kebijakan.
d) Masalah data
Informasi yang diperlukan untuk menilai dampak yang ditimbulkan dari suatu kebijakan atau program tidak tersedia atau mungkin saja tersedia namun dalam bentuk yang tidak cocok.
e) Masalah metodologi
Masalah yang seperti ini umum untuk masalah tunggal, atau suatu kelompok penduduk, menjadi target dari beberapa program dengan tujuan yang sama atau saling berkaitan.
f) Masalah politik
Evaluasi bisa menimbulkan ancaman bagi beberapa orang. Keberhasilan maupun kegagalan suatu kebijakan atau program di mana politisi atau para birokrat memiliki komitmen terhadap karier secara pribadi, dan dari mana kelompok-kelompok klien menerima keuntungan yang sedang dievaluasi. Pertimbangan-pertimbangan ini jelas akan memengaruhi bagaimana hasil evaluasi bisa dijalankan, sebagai bentuk kerjasama para pejabat publik dan klien.
g) Biaya
Ini bukan tidak umum untuk evaluasi suatu program terhadap biaya sebesar satu persen dari total biaya programbiaya seperi ini merupakan pengalihan dari pemberian kebijakan atau program. Evaluasi baik dilakukan untuk proses yang berkelanjutan bukan hanya sebatas memberikan penilaian dan berhenti disitu. Telah diuraikan pendapat beberapa ahli tentang masalah-masalah dalam evaluasi. Oleh karena itu sangatlah penting untuk kita mengetahui apa sajakah faktor-faktor yang menjadi penghalang bagi pencapaian tujuan-tujuan kebijakan.
Anderson (dalam Winarno, 2012:248) menyatakan setidaknya ada delapan faktor yang menyebabkan kebijakan-kebijakan tidak memperoleh dampak yang diinginkan, yakni:
a) Sumber-sumber yang tidak memadai
b) Cara yang digunakan untuk melaksanaan kebijakan-kebijakan
c) Masalah publik seringkali disebaban karena banyak faktor sementara kebijakan yang ada ditujukan hanya kepada penanggulangan atau beberapa masalah saja
d) Cara orang menanggapi atau menyesuaikan diri terhadap kebijakan-kebijakan publik yang justru meniadakan dampak kebijakan yang diinginkan
e) Tujuan kebijakan tidak sebanding dan bertentangan satu sama lain
f) Biaya yang dikeluarkan untuk menyelesaikan masalah membutuhkan biaya yang jauh lebih besar dibandingkan dengan masalah tersebut
g) Banyaknya masalah publik yang tidak mungkin dapat diselesaikan
h) Menyangkut sifat masalah yang akan dipecahkan oleh suatu tindakan kebijakan Jika kita mengetahui masalah-masalah yang seringkali menjadi penghalang para evaluator dalam mengevaluasi diharapkan proses evaluasi akan bisa berjalan dengan baik sebagaimana yang diharapkan.