Penelitian mengenai DIF menguji dua kelompok, yaitu kelompok Referensi (Reference Group) dan kelompok Fokal (Focal Group). Dan hal ini lebih umum dikenal dengan kelompok mayoritas dan kelompok minoritas. Dalam sebuah penelitian, seorang individu dapat termasuk ke dalam kelompok referensi, dan sebaliknya dapat pula termasuk dalam kelompok fokal untuk penelitian lain. Contohnya, wanita kulit putih mungkin termasuk kedalam kelompok Referensi untuk satu analisis dan masuk kedalam kelompok Fokal untuk hal yang lain (Camilli & Shepard, 1994). Dalam teori respon aitem (Item Response Theory), DIF terbagi atas dua kategori, yaitu Uniform atau Consistent DIF dan Nonuniform atau inconsistent DIF. Pembagian kelompok tersebut dilihat dari Item characteristic curves (ICCs), yaitu kurva yang menunjukkan hubungan antara kemungkinan jawaban benar terhadap suatu aitem dengan kemampuan individu (Camilli & Shepard, 1994):
1. Uniform atau Consistent DIF, terjadi ketika satu kelompok relatif diuntungkan untuk keseluruhan aitem skala kemampuan, sedangkan kelompok lain dirugikan. Hal ini dapat dilihat dari Item characteristic curves (ICCs) yang tidak berpotongan atau bersinggungan pada semua aitem skala kemampuan ya
2. Non-uniform atau inconsistent DIF: terjadi ketika satu kelompok relatif diuntungkan untuk beberapa aitem skala kemampuan, sedangkan kelompok lain dirugikan. Oleh karena itu, DIF dapat memberikan keseimbangan ataupun tidak pada masing-masing kelompok untuk ditingkat tertentu.
Kajian Psikometri menjelaskan bahwa DIF memiliki hubungan dengan validitas. Hal ini sejalan dengan yang dinyatakan dalam penelitian Salehi & Tayebi (2012) bahwa konsep mengenai proses validasi berhubungan secara umum dengan pembuatan tes dan juga dengan konsep keadilan tes dan bias tes, serta sumber-sumber lain yang berhubungan dengan hal tersebut (seperti gender, hasil penelitian, usia, kebangsaan, latar belakang pengetahuan/pendidikan, dan lainlain) dan umumnya dapat memberikan ancaman terhadap validitas tes (Salehi & Tayebi, 2012). Ketika membahas mengenai validitas dalam pengukuran, maka sangat penting untuk menilai secara utuh bahwa validitas merupakan sebuah konsep ilmiah dan merupakan hal yang penting dalam ilmu pengukuran.
Menurut American Educational Research Association, dkk (1999 dalam Osterlind, 2010), validitas merupakan hal yang menjadi pertimbangan utama ketika hendak mengembangkan dan mengevaluasi suatu tes (Osterlind, 2010).
Selain validitas, karakterisitk lain yang perlu diperhatikan dalam sebuah alat ukur adalah reliabilitas. Reliabilitas hasil pengukuran memiliki hubungan dengan kesalahan (error), yaitu random error, yaitu kesalahan yang terjadi karena adanya perbedaan antara skor yang sebenarnya (true score) dan skor yang diamati (observed score) pada individu yang dapat berpengaruh kepada hasil kelompok. Hubungan antara reliabilitas dengan DIF adalah bahwa DIF terjadi karena adanya kesalahan (error) dalam pengukuran, yaitu kesalahan sistematis (systematic error), yaitu kesalahan yang melibatkan respon kelompok yang dapat mempengaruhi hasil pengukuran. Oleh karena itu, munculnya kesalahan dalam pengukuran dapat menghasilkan reliabilitas yang rendah (Osterlind, 2010). Jadi, aitem yang mengandung DIF bisa dikatakan sebagai aitem yang memiliki kesalahan (error) karena bersifat tidak adil untuk dua kelompok yang berasal dari populasi yang berbeda dan dapat mengakibatkan pengukuran menjadi tidak reliabel.