Bài giảng Phân tích dữ liệu - Đặc trưng mẫu và ước lượng tham số quần thể (Bản hay)

PhânPhân tt ííchch dd lili uu -- cc trtr ưưngng mm uu && ưư cc llưưngng thamtham ss ququ nn thth Dàn bài
Gi ới thi ệu
Một s ố đặc tr ưng c ủa t ập m ẫu ◦ Trung bình m ẫu ◦ Ph ươ ng sai m ẫu ◦ Moment m ẫu
Một s ố phương ph áp ước l ượng tham s ố qu ần th ể ◦ Maximum Likelihood ◦ Ph ươ ng pháp moments Gi i thi u
Các công c ụ tr ực quan giúp có được cái nhìn tổng th ể để ước đoán mô hình phân b ố ho ặc quan sát s ự phân tách các t ập d ữ li ệu
không áp d ụng được cho quá trình tính toán
Cần ph ải xác định các đặc tr ưng (s ố) c ủa t ập d ữ li ệu
Cần ph ải ước l ượng các đặc tr ưng đó sao cho ‘tốt nh ất’ Gi i thi u (tt)
Về mặt th ống kê, các đặc tr ưng c ần quan tâm liên quan đến mô hình phân b ố xác su ất của qu ần th ể ◦ Trung bình ◦ Ph ươ ng sai ◦ Các moment ◦ Các tham s ố đầu vào c ủa mô hình phân b ố ◦ Dàn bài
Gi ới thi ệu
Một s ố đặc tr ưng c ủa t ập m ẫu ◦ Trung bình m ẫu ◦ Ph ươ ng sai m ẫu ◦ Moment m ẫu
Một s ố phương ph áp ước l ượng tham s ố qu ần th ể ◦ Maximum Likelihood ◦ Ph ươ ng pháp moments Mt s c tr ng m u
Cho t ập m ẫu { X1,,Xn}
Các Xi là bi ến ng ẫu nhiên có cùng phân b ố là phân b ố của t ập qu ần th ể
Gi ả sử các Xi độc l ập xác su ất t ừng đôi m ột p(XX1 ,...,n )= p ( X 1 )... p ( X n )
Định lý Monte Carlo n 1 n→∞ ∑ f()xi → Ef [()] X = ∫ fpd ()() xxx n i=1 với xi là th ể hi ện c ủa Xi Trung bình m u
Trung bình m ẫu được cho b ởi 1 n X= ∑ X i n i=1 là một bi ến ng ẫu nhiên có phân b ố ‘gần’ chu ẩn v ới E[]X= E [] X var[X ] var[X ] = n (theo định lý h ội t ụ trung tâm) Trung bình m u (tt)
Từ định lý Monte Carlo n 1 n→∞ x=∑ xi → E[ X ] n i=1 (chú ý: xi là th ể hi ện c ủa Xi) Ph ơ ng sai m u
Ph ươ ng sai m ẫu được cho b ởi 1 n S =∑(Xi − XX )( i − X )' n −1 i=1
Từ định lý Monte Carlo n 1 n→∞ ∑(xxxxi− )( i − )' → cov( X ) n −1 i=1 Moment m u
Ở đây chỉ xét đến 1 chi ều
Moment m ẫu b ậc r được cho b ởi n 1 r Mr= ∑ X i n i=1
Từ định lý Monte Carlo n 1 rn→∞ r ∑ xi → E[ X ] n i=1 Dàn bài
Gi ới thi ệu
Một s ố đặc tr ưng c ủa t ập m ẫu ◦ Trung bình m ẫu ◦ Ph ươ ng sai m ẫu ◦ Moment m ẫu
Một s ố phương ph áp ước l ượng tham s ố qu ần th ể ◦ Maximum Likelihood ◦ Ph ươ ng pháp moments c l ng tham s qu n th
Các đặc tr ưng ở trên có tính ch ất mô t ả tập m ẫu.
Để mô t ả cả một qu ần th ể, thông th ường ng ười ta đi tìm m ột mô hình nào đó cho qu ần th ể.
Mỗi mô hình nh ư v ậy c ần có tham s ố
cần ph ải ước l ượng nh ững tham s ố đ ó
Vấn đề: tìm ước l ượng tham s ố ‘tốt nh ất’ từ tập mẫu h ữu h ạn c l ng tham s (tt)
Một ước l ượng là một hàm t ừ không gian d ữ li ệu vào không gian tham s ố T = t( X1,,Xn) chú ý r ằng T là một bi ến ng ẫu nhiên.
Để đ ánh giá một ước l ượng có tốt hay không, thông th ường có 3 v ấn đề cần quan tâm ◦ Lệch (bias) ◦ Trung bình bình ph ươ ng m ẫu (mean squared error) ◦ Standard error Bias
Gọi θ là giá tr ị đ úng c ủa tham s ố cần ước l ượng
Bias được định ngh ĩa b ởi Bias(T) = E[T] - θ
Nếu Bias(T) = 0 thì ta nói đó là ước l ượng không l ệch (unbias) Standard error
Standard error c ủa m ột ước l ượng được cho b ởi SE(T) = sqrt(var(T)) Mean squared error
Mean squared error được định ngh ĩa b ởi MSE(T) = E[ (T - θ)2 ]
MSE(T) càng nh ỏ càng cho th ấy ước l ượng T càng hi ệu qu ả, điều đó có ngh ĩa là nếu MSE(T 1) < MSE(T 2) thì ước l ượng T 1 hi ệu qu ả hơn T 2
Cực ti ểu hóa MSE là một tiêu chí ph ổ bi ến MSE (tt)
Một điều l ưu ý MSE(T) = SE(T) 2 + Bias(T) 2
Nếu ước l ượng là không l ệch thì cực ti ểu hóa MSE t ươ ng đươ ng v ới c ực ti ểu hóa SE Maximum Likelihood Estimator (MLE)
Gi ả sử θθθ = [ θ1,, θm] là vector tham s ố cần ước lượng
Ý t ưởng c ủa MLE là sẽ tìm ˆ θMLE= arg maxp (x1 ,..., x n |θ ) θ
Hướng gi ải t ổng quát là đi t ìm nghi ệm dp (x ,..., x |θ ) 1 n = 0 dθ MLE (tt)
Ví dụ: ◦ X ~ N( µ,σ2) v ới µ chưa biết, σ đã biết ◦ Tập m ẫu (X 1,,X n) th ỏa các X i đôi một độc l ập xác su ất ◦ Tìm µ.
Ta có n 1  n/2  1 n  pxx(,...,|)µ= px (|) µ = exp −− ( x µ ) 2 1 n∏ i 2  ∑ i  i=1 2πσ   2 i=1  MLE (tt)
Cực đại hóa v ế trái t ươ ng đươ ng v ới c ực đại hóa ln(p(x 1,,x n|µ) n 1 2 lnpxx (1 ,...,n |µ )∝ −∑ ( x i − µ ) 2 i=1 dln px ( ,..., x |µ ) 1 n = 0 dµ n ⇔∑(xi −µ ) = 0 i=1 1 n ⇔µ = ∑ xi n i=1 MLE (tt)
Ng ười ta ch ứng minh được r ằng, khi n
vô cùng thì ◦ Ước l ượng MLE là không l ệch ◦ Ước l ượng MLE cho MSE nh ỏ nh ất Ph ơ ng pháp moment
Đôi khi, vi ệc gi ải ph ươ ng trình dp/d θ=0 là rất khó
không th ể áp d ụng MLE
Ý t ưởng c ủa ph ươ ng pháp moment là đưa tham số về dạng bi ểu di ễn c ủa các moment, r ồi ước lượng nh ững moment đó dựa trên moment m ẫu Ph ơ ng pháp moment (tt)
Ví dụ λe−λx( λ x ) t − 1 px()= ,0,0 xandt >λ > Γ(k ) ◦ Ước l ượng t và λ
Rất khó để dùng MLE gi ải quy ết v ấn đề này. Ph ơ ng pháp moment (tt)
Nh ận th ấy t t EX[ ]= , v ar( X ) = λ λ 2 EX[ ] ( EX [ ]) 2 ⇒ λ =, t = EX[2 ]([])− EX 2 EX [ 2 ]([]) − EX 2
Thay trung bình m ẫu và moment m ẫu b ậc 2 ta được 2 ˆ Xˆ X λ =n, t = n 122 1 22 ∑XXi− ∑ XX i − ni=1 n i = 1