Metode Pendugaan Parameter Principal Component Analysis (PCA) (skripsi dan tesis)

Secara sederhana, sebuah variabel akan mengelompok ke suatu faktor (yang
terdiri atas variabel-variabel yang lainnya pula) jika variabel tersebut berkorelasi dengan sejumlah variabel lain yang masuk dalam kelompok faktor tertentu. Ketika sebuah variabel berkorelasi dengan variabel lain, variabel tersebut berbagi varians dengan variabel lain tersebut, dengan jumlah varians yang dibagikan adalah besar korelasi pangkat dua (
2). Varians adalah akar dari standar deviasi, yakni jumlah penyimpangan data dari rata-ratanya (Santoso, 2012). Dengan demikian, varians total pada sebuah variabel dapat dibagi menjadi tiga bagian:
1. Common variance, yakni varians yang dibagi dengan varians lainnya atau
jumlah varians yang dapat diekstrak dengan proses factoring.
2. Specific variance, yakni varians yang berkaitan dengan variabel tertentu saja. Jenis varians ini tidak dapat dijelaskan dengan korelasi hingga menjadi bagiandari variabel lain. Namun varians ini masih berkaitan secara unik dengan satu  variabel.
3. Error variance, yakni varians yang tidak dapat dijelaskan lewat korelasi. Jenis
ini muncul karena proses pengambilan data yang salah, pengukuran variabel
yang tidak tepat dan sebagainya. Dari penjelasan tersebut di atas, dapat dikatakan jika sebuat variabel berkorelasi dengan variabel lain, maka common variance (disebut juga communality) akan meningkat. Proses common analysis hanya berhubungan denngan common variance, sedangkan proses component analysis akan mengaitkan semua varians tersebut. Pada umumnya, component analysis akan digunakan jika tujuan utama
analisis faktor adalah data reduction, dan beranggapan bahwa sejumlah specific variance dan error variance berjumlah kecil.
Principal component analysis menggunakan total varians dalam analisisnya.
Metode ini menghasilkan faktor yang memiliki specific variance dan error variance yang lebih kecil. Kalau ada beberapa faktor yang dihasilkan, faktor yang duluan dihasilkan adalah yang memiliki common variance terbesar, sekaligus specific dan error variance terkecil (Simamora, 2004).