Metode Estimasi Parameter

Dalam estimasi dikenal istilah penduga atau estimator atau fungsi keputusan. Fungsi keputusan atau estimator ini digunakan untuk mendapatkan taksiran untuk parameter.
Syarat penduga yang baik:
1. Unbiased
Suatu penduga atau estimator θ ̂dikatakan unbiased jika memenuhi syarat berikut:
E (θ ̂) = θ;
Dengan θ adalah parameter dan θ ̂ adalah estimator parameter.
2. Minimum varian
Suatu estimator θ ̂ dikatakan minimum varian apabila memenuhi kriterian berikut:
Menurut Cramer Rao
v(θ ̂)≥1/nE[((d ln〖f(x,θ)〗)/dθ)^2 ]
Apabila θ ̂ adalah unbiased estimator dari θ dan
v(θ ̂ )=1/nE[((d ln〖f(x,θ)〗)/dθ)^2 ]
Maka θ ̂ adalah minimum variance unbiased estimator dari θ.
3. Konsisten
Suatu penduga atau estimator θ ̂ dikatakan konsisten jika memenuhi syarat:
Semakin besar sampel maka nilai varian semakin kecil atau nilai sampel semakin mendekati populasi.
4. Relative efisiensi
Suatu penduga atau estimator θ ̂ dikatakan efisien jika memiliki varian terkecil diantara banyak estimator θ ̂ unbiased lainnya.
5. Sufficiency
Suatu penduga atau estimator θ ̂ dikatakan sufficient jika tiap nilai parameter θ, distribusi bersyarat (conditional distribution) dari random variable ( X1,X2,....,Xn given θ ̂=θ ̂_0) adalah independent dari θ.

Berikut beberapa metode estimasi yang sering digunakan dalam statistic untuk menduga atau mengestimasi parameter:
a. KLASIK
Metode estimasi parameter dengan metode klasik, merupakan metode estimasi parameter yang banyak digunakan dan mudah untuk diaplikasikan, selain itu metode ini juga relative sederhana dibandingkan metode lainnya.
Mengasumsikan parameter populasi tetap (konstan) walaupun nilainya tidak diketahui
Estimasi dari populasi dapat berupa estimasi titik dan estimasi selang (interval).
Estimasi Titik
Estimasi yang nilai dugaannya berupa satu nilai atau titik.
Contoh:
Penduga dari rata-rata populasi μ adalah x ̅, dimana x ̅ merupakan suatu nilai tertentu.

Estimasi Selang
Estimasi yang nilai dugaannya berupa suatu selang atau interval kepercayaan. Selang kepercayaan (confidence interval) adalah sebuah interval antara dua angka, dimana dalam tingkat kepercayaan tertentu nilai parameter sebuah populasi terletak di dalam interval tersebut.
Dimana selang kepercayaan tersebut dapat dituliskan secara matematis:
P(θ ̂_1<θ ̂_2 )=1-α
Dengan 0<α<1
Maka dengan peluang 1-α sampel yang diambil akan menghasilkan selang (interval) yang mengandung θ. Selang (interval) θ ̂_1<θ<θ ̂_2 yang diambil berdasarkan random sampel adalah selang kepercayaan (1-α)100%.
Dimana:
1-α disebut koefisien kepercayaan atau taraf kepercayaan atau tingkat signifikansi.
θ ̂_1 dan θ ̂_2 masing-masing adalah batas bawah dan batas atas.

b. BAYES
Menurut Bayes, parameter populasi berasal dari suatu distribusi, sehingga nilainya tidaklah tunggal (merupakan variabel random), sedangkan menurut metode klasik parameter populasi diasumsikan tetap (konstan) walaupun nilainya tidak diketahui.
Bayes menggunakan interpretasi probabilitas secara subyektif di dalam analisa statistika formal. Pendekatan Bayes terhadap metode estimasi statistik menggabungkan informasi yang dikandung dalam sampel dengan informasi lain yang telah tersedia sebelumnya.

c. OLS
Prinsip kerjanya ialah meminimumkan jumlah kuadrat penyimpangan atau error nilai-nilai observasi terhadap rata-ratanya:
Y_i=β_0+β_1 X_i+ε_i
ε_i=Y_i-(β_0+β_1 X_i)
E(ε_i )=0 asumsi linearitas.
E(y_i )=E(β_0+β_1 X_i+ε_i )=β_0+β_1 X_i
Prinsip: minimum ∑_(i=1)^n▒ε_i^2 = minimum∑_(i=1)^n▒〖(y_i-E(y_i))〗^2

Memiliki 5 asumsi yang harus dipenuh oleh penyimpangan atau errornya:
Normalitas ε_i~ N(0,σ^2)
Error mengikuti distribusi normal dangan rata-rata= 0 dan varian= σ2
Linieritas: E (εi) = 0.
Linearitas menunjukkan rata-rata sama dengan 0 atau tidak ada korelasi antara variabel bebas dengan error.
Homoskedastisitas: Var (εi) = σ2
Homoskedastisitas menunjukkan varian dari distribusi errornya besifat konstan atau mendekati konstan.
Non-multikolinieritas
Multikolineritas menunjukkan adanya hubungan linear diantara beberapa atau semua variable bebas yang menyusun model regresi.
Non-autokorelasi: Cov (εi, εj) = 0 , i ≠ j
Non autokorelasi menunjukkan tidak adanya hubungan atau korelasi antara error satu dengan error lainnya.

d. GLS
Prinsip dasarnya sama dengan OLS, yaitu meminimumkan jumlah kuadrat penyimpangan atau error nilai-nilai observasi terhadap rata-ratanya .
Metode GLS (Generalized Least Squares) memiliki nilai lebih dibandingkan OLS dalam mengestimasi parameter regresi. metode OLS yang umum tidak mengasumsikan bahwa varians erroe adalah homoskeda,Pada kenyataannya variasi data pada data khususnya data time series cenderung heterogen (heteroskedas). Metode GLS sudah memperhitungkan heterogenitas yang terdapat pada variabel independen secara eksplisit.

e. MME
Prinsip: Momen Sampel= Momen Parameter
Misalkan suatu populasi dengan fungsi densitas f(x ; θ1,…, θk), maka momen populasi ke-k didefinisikan sebagai μk =E(Xk ).
Jika X1,X2,....,Xn adalah sampel random dari populasi dengan fungsi densitas f(x;θ1,…,θk), maka momen sampel ke-k didefinisikan dengan
m_k^'=(∑ Xi^k )/n
Misal X1, X2, ...., Xn adalah sampel random dari populasi dengan fungsi densitas f(x;θ1,…, θk), estimator metode momen didapatkan dengan menyamakan k momen sampel dengan k momen populasi, dan menyelesaikan sistem persamaan simultan yang dihasilkan.
Caranya:
Buat persamaan m_k^'=μ_k^'
Misal untuk k=1
μ_k^'=E(X^k)
μ_1^'=E(X^1 )=μ
m_k^'=(∑Xi^k )/n
m_1^'=(∑Xi^1 )/n=X ̅
Sehingga: m_1^'=μ_1^' menjadi X ̅=μ

f. MLE
Prinsip kerjanya maksimum likelihood dengan syarat distribusi error diketahui atau diasumsikan mengikuti distribusi tertentu.
L(θ)=f(x_1,x_2,… ,x_n;θ) dimana f(x_1,x_2,… ,x_n;θ) adalah joint probabilita distribusi dari random variable x_1,x_2,… ,x_n.
Max L(θ) diperoleh dengan cara:
dL(θ)/dθ=0 atau (dLog L(θ))/dθ=0
Apabila lebih dari satu parameter:
L(θ_1,θ_2,…,θ_n )=∏〖f(x_i;θ_1,θ_2,…,θ_n)〗
dL(θ_1,θ_2,…,θ_n θ)/(dθ_1 )=0

dL(θ_1,θ_2,…,θ_n θ)/(dθ_2 )=0 dst.