Lí thuyết xác suất và thống kê toán học - Phương pháp văn bản và ứng dụng

. . . . 47 2.4.2 Mô hình hồi quy Logistic Bayes . . . . . . . . . . . . . . . . . . . . . . . 52 3 Ứng dụng 59 3.1 Phân phối hậu nghiệm không thuộc họ phân phối nào đã biết . . . . . . . . 59 3.1.1 Bài toán . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 3.1.2 Thuật toán . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 3.1.3 Code chạy phầnmềmmathlab . . . . . . . . . . . . . . . . . . . . . . . 63 3.1.4 Kết quả . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 3.2 Phân phối hậu nghiệm thuộc họ phân phối đã biết . . . . . . . . . . . . . . . 67 3.2.1 Bài toán . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 3.2.2 Thuật toán . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 3.2.3 Code chạy phầnmềmmathlab . . . . . . . . . . . . . . . . . . . . . . . 71 3.2.4 Kết quả . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 Kết luận 75 1 Lờimở đầu Hiện nay, thống kê có hai trường phái: Thống kê tần suất và thống kê Bayes. Thống kê tần suất ra đời trước và là phương pháp phổ biến hiện nay. Nó dựa trên những kết quả quan sát mẫu của hiện tại mà không cần đến những thông tin, dữ liệu đã biết trước. Thống kê Bayes dựa trên những thông tin dữ liệu đã biết trước và kết quả quan sát mẫu của hiện tại để suy luận cho những thống kê hiện tại. Thống kê Bayes hay còn gọi là suy luận Bayes ra đời trên cơ sở định lý Bayes. Đó là kiểu suy luận thống kê mà trong đó, các nhà thống kê sử dụng phân phối tiên nghiệm (thông tin đã biết trước) về vấn đề đang xét và thông tin mẫu (các quan sát hay bằng chứng), áp dụng công thức trong định lý Bayes để tìm ra phân phối hậu nghiệm (xác suất xảy ra ở hiện tại), từ đó dùng phân phối hậu nghiệm để suy luận cho thống kê hiện tại. Ví dụ: Xét bài toánước lượng cho thamsố θ của biếnngẫunhiên X vớimẫu X1,X2, ...,Xn. • Theo thống kê tần suất, tham số θ của biến ngẫu nhiên nhận một giá trị nào đó. Ta tìm được tham số của mẫu θ∗ theo công thức tính dựa theo giá trị quan sát mẫu. Ta có E [θ∗] = θ. Do đó, ta dùng θ∗ để ước lượng cho tham số θ. Chẳng hạn, ước lượng cho giá trị trung bình µ của biến ngẫu nhiên: ta tính trung bình mẫu X = 1 n n∑ i=1 Xi , sau đó dùng giá trị trung bình mẫu để ước lượng cho µ. • Theo thống kê Bayes, tham số θ cũng là một biến ngẫu nhiên liên tục. Trước hết, ta biết phân phối tiên nghiệm của θ là p (θ). Sau đó, áp dụng định lý Bayes ta tính đượcmật độ hậu nghiệm p (θ|X1,X2, ...,Xn). Khi đó tham số của mẫu dùng để ước lượng được xác 2 Lời mở đầu định như sau: θ∗ = E [θ]= ∫ θp (θ|X1,X2, ...,Xn)dθ Để ước lượng cho các tham số của các thống kê hiện tại, các nhà thống kê Bayes cần dùng phân phối hậu nghiệm để ước lượng. Như vây ta có thể nói rằng phân phối hậu nghiệm là một yếu tố đặc biệt quan trọng trong quá trình suy luận Bayes. Tuy nhiên, việc tính toán để tìm ra phân phối hậu nghiệm đôi khi rất phức tạp hoặc có thể không tính được. Để giải quyết vấn đề này, người ta tìm cách xấp xỉ phân phối hậu nghiệm. Do đó, phương pháp VB (Variational Bayesian) ra đời để tìm giá trị gần đúng nhất của phân phối hậu nghiệm. Trong luận văn này, tác giả trình bày về một phương pháp trong suy luận Bayes là phương pháp VB và một số ứng dụng của phương pháp này. Luận văn của tác giả được chia làm 3 chương: Chương 1. Thống kê Bayes Trong chươngnày, tác giả giới thiệu chung về thống kê Bayes;một số phânphối thông thường; một số mô hình suy luận Bayes: Suy luận Bayes cho tham số của phân phối nhị thức, kỳ vọng của phân phối Gaussian một chiều, tham số của mô hình hồi quy tuyến tính Bayes đơn. Từ đó làm cơ sở để nghiên cứu các phần tiếp theo. Chương 2. Phương pháp VB Trong chương này, tác giả trình bày kiến thức về phương pháp VB bao gồm: Nguồn gốc toán học; xấp xỉ phân phối hậu nghiệm; áp dụng phương pháp VB cho phân phối Gaussian, áp dụng phương pháp VB chomô hình hồi quy Bayes. Chương 3. Ứng dụng Trong chương này, tác giả giới thiệu ứng dụng phương pháp VB cho hai trường hợp: Phân phối hậu nghiệm không thuộc họ phân phối nào đã biết; phân phối hậu nghiệm thuộc họ phân phối đã biết. Để nghiên cứu về đề tài "Phương pháp VB và ứng dụng", tác giả đã tham khảomột số tài liệu trong và ngoài nước về thống kê tần suất, thống kê Bayes, phần mềm Mathlab. Trong đó 3 Lời mở đầu ◦Nội dung chính chương 1 của luận văn tham khảo tài liệu [5] và [8]; ◦Nội dung chính chương 2 của luận văn tham khảo tài liệu [5] và [6]; ◦Nội dung chính chương 3 của luận văn tham khảo tài liệu [5]; ◦ Ở phần ứng dụng phương pháp VB, tác giả áp dụng phương pháp VB để tính toán. Từ đó, viết thuật toán và dùng phầnmềmMathlab để thực hiện ra kết quả. 4 Chương 1 Thống kê Bayes Thống kê Bayes có sự khác biệt so với thống kê tần suất ở cách thức tiếp cận vấn đề: Thống kê tần suất quan niệm tham số của biến ngẫu nhiên là một giá trị nào đó, còn thống kê Bayes quan niệm tham số của biến ngẫu nhiên cũng là một biến ngẫu nhiên. Suy luận Bayes thực hiện theo trình tự: từ phân phối tiên nghiệm mà ta tin tưởng, áp dụng định lý Bayes tìm phân phối hậu nghiệm, sau đó dùng phân phối hậu nghiệm để ước lượng, kiểm định giả thiết thống kê, phân tích hồi quy tuyến tính. 1.1 Giới thiệu Suy luận Bayes xuất phát từ định lý Bayes điều chỉnh các xác suất khi có thông tin mới theo cách sau đây: P (Z |X )= P (X |Z ) .P (Z ) P (X ) Trong đó Z đại diện cho một giả thiết, giả thiết này được suy luận trước khi có thông tin mới. P (Z ) được gọi là xác suất tiên nghiệm của Z . P (X |Z ) là xác suất xảy ra X nếu biết giả thiết Z là đúng. Đại lượng này còn được gọi là hàm hợp lý (likelihood) biểu diễn dưới dạng một hàm của X khi cho trước Z và là thông tin mới. 5 Giới thiệu Thống kê Bayes P (X ) được gọi là xác suất biên duyên của X . P (Z |X ) được gọi là xác suất hậu nghiệm của Z nếu biết X . Theo định lý này thì xác suất hậu nghiệm tỉ lệ với tích của xác suất tiên nghiệm và hàm hợp lý, kí hiệu là P (Z |X ) ∝ P (Z )×P (X |Z ). Tức là tiên nghiệm nhân với hằng số bất kỳ cũng không ảnh hưởng đến kết quả của hậu nghiệm. Hệ số Bayes B = P (X |Z ) P (X ) đại diện cho ảnh hưởng của thông tin mới thu được đối với xác xuất xảy ra Z nếu biết X . Nếu hệ số này sẽ có giá trị lớn, khi nhân xác suất tiên nghiệm với hệ số này, ta được một xác suất hậu nghiệm lớn. Nhờ đó, trong suy luận Bayes, định lý Bayes đo đượcmức độmà thông tinmới sẽ làm thay đổi mức độ tin tưởng vàomột giả thiết. Khi có thông tinmới vềmột biến ngẫu nhiên, suy luận Bayes cho biến ngẫu nhiên đó thực hiện theo các bước sau: • Xác định phân phối tiên nghiệm Phân phối tiên nghiệm (prior distribution) của biến ngẫu nhiên Z là phân phối mà ta tin tưởng, có được từ kinh nghiệm tích lũy, kí hiệu là p (Z ). • Áp dụng định lý Bayes để tìm phân phối hậu nghiệm. Phân phối hậu nghiệm (posterior distribution) của biến Z nếu biết X là phân phối có được bằng tính toán theo định lý Bayes, sau khi có thông tin mới p (X |Z ). Kí hiệu là p (Z |X ). • Dùng phân phối hậu nghiệm để suy luận cho thống kê hiện tại: Ước lượng, kiểm định giả thiết thống kê, phân tích hồi quy tuyến tính. Trong luận văn này, phân phối tiên nghiệm để suy luận cho biến ngẫu nhiên là phân phối tiên nghiệm liên hợp. Phân phối tiên nghiệm liên hợp (conjugate prior) là phân phối tiên nghiệmmà phân phối hậu nghiệm tìm được cùng họ với phân phối tiên nghiệm. Các nhà thống kê Bayes lập luận rằng ngay cả khi người ta có các xác suất chủ quan tiên nghiệm rất khác nhau thì với thông tin mới từ các quan sát lặp đi lặp lại sẽ có xu hướng đưa các xác suất hậu nghiệm của họ lại gần nhau hơn. 6 1.2. MỘT SỐ PHÂN PHỐI THƯỜNGDÙNG Thống kê Bayes 1.2 Một số phân phối thường dùng Phân phối Bernoulli Phân phối Bernoulli với tham số pi là phân phối của biến ngẫu nhiên X nhận hai giá trị 0,1 với P (X = 1)=pi;P (X = 0)= 1−pi có hàmmật độ xác định như sau: Bern (X |pi)=pix(1−pi)1−x Các tham số đặc trưng của biến ngẫu nhiên X : E [X ]=pi var[X ]=pi (1−pi) Phân phối này là trường hợp đặc biệt của phân phối nhị thức chỉ có một quan sát. Phân phối tiên nghiệm liên hợp cho tham số pi là phân phối Beta. Phân phối Beta Phân phối Beta với hai tham số a và b(a > 0,b > 0) là phân phối của biến ngẫu nhiên liên tục Π nhận giá trị trên [0,1] có hàmmật độ xác định như sau: Beta (Π|a,b)= Γ (a+b) Γ (a)Γ (b) pia−1(1−pi)b−1 trong đó Γ (x)= ∞∫ 0 ux−1e−udu. Các tham số đặc trưng của biến ngẫu nhiên Π E [Π]= a a+b var[Π]= ab (a+b)2 (a+b+1) Phân phối Beta là phân phối tiên nghiệm liên hợp cho phân phối Bernoulli. Khi a = b = 1 thì phân phối Beta trở thành phân phối đều. Phân phối Beta là trường hợp đặc biệt của phân phối Dirichlet K chiều với K = 2. Phân phối nhị thức 7 Một số phân phối thường dùng Thống kê Bayes Phép thử ngẫu nhiên thực hiện n lần với xác suất thành công các lần thử đều bằng nhau và bằng pi. Trong n lần thực hiện cóm lần thành công. Phân phối nhị thức với tham số n (số lần thử) và tham số pi ∈ [0,1](xác suất thành công của các lần thử) của biến ngẫu nhiênM (số lần thành công) nhận giá trị 1,2, . . . ,n có hàm mật độ xác định như sau: B (M |n,pi)=  n m pim(1−pi)N−m Các tham số đặc trưng của biến ngẫu nhiênM : E [M ]= npi var[M ]= npi (1−pi) Khi n = 1 thì phân phối nhị thức chính là phân phối Bernoulli và khi n rất lớn thì phân phối nhị thức xấp xỉ phân phối Gaussian. Phân phối tiên nghiệm liên hợp cho pi là phân phối Beta. Phân phối Dirichlet Phân phối Dirichlet với tham số α = (α1, . . . ,αK )T ,αk > 0,k = 1,K là một phân phối đa thức của biến ngẫu nhiên K chiều Π= (Π1, . . . ,ΠK )T sao cho  0≤pik ≤ 1,k = 1,K K∑ k=1 pik = 1 có hàmmật độ xác định như sau: Dir (Π|α)=C (α) K∏ k=1 pi αk−1 k 8 Một số phân phối thường dùng Thống kê Bayes Trong đó C (α)= Γ (α̂) Γ (α1) . . .Γ (αK ) α̂= K∑ k=1 αk Các đặc trưng của biến ngẫu nhiên Π: E [Πk ]= αk α̂ var[Πk ]= αk (α̂−αk) α̂2 (α̂+1) cov [ Π jΠk ]=− α jαk α̂2 (α̂+1) E [lnpik ]=ψ (αk)−ψ (α̂) Trong đó ψ (a)≡ d da lnΓ (a) Phân phối Dirichlet là phân phối tiên nghiệm liên hợp cho phân phối đa thức và là dạng tổng quát của phân phối Beta. Phân phối Gamma Phân phối Gamma với hai tham số a và b(a > 0,b > 0) là phân phối xác suất của biến ngẫu nhiên dương τ> 0 có hàmmật độ xác định như sau: Gam (τ|a,b)= 1 Γ (a) baτa−1e−bτ Các đặc trưng của biến ngẫu nhiên τ: E [τ]= a b var[τ]= a b2 E [lnτ]=ψ (a)− lnb 9 Một số phân phối thường dùng Thống kê Bayes Phân phối Gamma là phân phối tiên nghiệm liên hợp cho độ chính xác của biến ngẫu nhiên tuân theo quy luật phân phối Gaussian. Nói cách khác, phân phối Gama ngược là phân phối tiên nghiệm liên hợp của phương sai của biến ngẫu nhiên tuân theo quy luật phân phối Gaussian. Đặc biệt khi a = 1 phân phối Gamma chính là phân phối mũ. Phân phối Gaussian - Phân phối Chuẩn Phân phối Gaussian là phân phối biến ngẫu nhiên liên tục và là phân phối phổ biến nhất của biến ngẫu nhiên. Trường hợp biến ngẫu nhiên một chiều: Phân phối Gaussian với tham số kỳ vọng µ và tham số phương sai σ2 > 0 là phân phối của biến ngẫu nhiên liên tục X nhận giá trị trên R, kí hiệu làN ( X |µ,σ2) có hàm mật độ xác định như sau: p ( X |µ,σ2)= 1( 2piσ2 )1/2 exp { − 1 2σ2 ( x−µ)2} Các đặc trưng của biến ngẫu nhiên X : E [X ]=µ var[X ]=σ2 Nghịch đảo của phương sai τ= 1 σ2 được gọi là độ chính xác, căn bậc hai của phương sai σ2 được gọi là độ lệch chuẩn. Phân phối tiên nghiệm liên hợp của µ là phân phối Gaussian và phân phối tiên nghiệm liên hợp của τ là phân phối Gamma. Nếu cả µ và τ đều chưa biết thì phân phối tiên nghiệm của phân phối đồng thời là phân phối Gaussian - Gamma. Trường hợp biến ngẫu nhiên X là vecto D-chiều: Phân phối Gaussian với tham số là vecto kỳ vọng µ D-chiều và ma trận phương sai ∑ là phân phối của biến ngẫu nhiên X ∈ RD , kí hiệu là N (X |µ,Σ) có hàm mật độ xác định như sau: p ( X |µ,Σ2)= 1 (2pi)D/2 1 |Σ|1/2 exp { −1 2 ( x−µ)TΣ−1 (x−µ)} 10 Một số phân phối thường dùng Thống kê Bayes Các đặc trưng của biến ngẫu nhiên X E [X ]=µ var[X ]=Σ Nghịch đảo của ma trận phương sai Λ= Σ−1 là ma trận độ chính xác. Phân phối tiên nghiệm liên hợp của µ là phân phối Gaussian và phân phối tiên nghiệm liên hợp của Λ là phân phối Wishart. Nếu cả µ và Λ đều chưa biết thì phân phối tiên nghiệm của phân phối đồng thời là phân phối Gaussian - Wishart. Phân phối Gaussian - Gamma Phân phối Gaussian - Gamma với tham số µ0,β,a,b là phân phối của biến ngẫu nhiên( µ,λ ) (kỳ vọng, phương sai của biến ngẫu nhiênmột chiều tuân theo quy luật phân phối Gaussian)có hàmmật độ xác định như sau: p ( µ,λ|µ0,β,a,b )=N (µ|µ0,(βλ)−1)Gam (λ|a,b) Phân phối Gaussian - Gamma là phân phối tiên nghiệm của phân phối Gaussian N ( X |µ,λ−1) trong đó cả kỳ vọng và phương sai đều chưa biết. Phân phối Gaussian -Wishart Phân phối Gaussian -Wishart với tham số µ0,β,W,v là phân phối của biến ngẫu nhiên( µ,Λ ) (vectơ kỳ vọng vàma trận độ chính xác của biến ngẫu nhiên nhiều chiều tuân theo quy luật phân phối Gaussian) có hàmmật độ xác định như sau: p ( µ,Λ|µ0,β,W,v )=N (µ|µ0,(βΛ)−1)W (Λ|W,v) Phân phối Gaussian -Wishart là phân phối tiên nghiệm của phân phối đa thức Gaus- sianN ( X |µ,Λ−1) trong đó cả kỳ vọng và ma trận phương sai đều chưa biết. Phân phối đa thức Biến ngẫu nhiên K -chiều X = (X1, . . . ,XK ) trong đó Xk nhận 2 giá trị 0 và 1 với k = 1,K thỏa mãn K∑ k=1 xk = 1 và P (Xk = 1)=pik , K∑ k=1 pik = 1 11 Một số phân phối thường dùng Thống kê Bayes Khi đó, ta có hàmmật độ của biến ngẫu nhiên X p (X )= K∏ k=1 pi xk k Các đặc trưng của biến ngẫu nhiên thành phần: E [Xk ]=pik var[Xk ]=pik (1−pik) cov [ X jXk ]= I j kpik Phân phối đa thức với hai tham số n quan sát và pi= (pi1, . . .piK ) là phân phối của biến ngẫu nhiên rời rạc K -chiều với các thành phần là biến đếm Mk có hàmmật độ xác định như sau: Mul t (M1,M2, . . . ,MK |pi,n)=  n m1m2 . . .mK  K∏ k=1 pi mk k Đặc trưng của các thành phần: E [Mk ]= npik var[Mk ]= npik (1−pik) cov [ M jMk ]=−npi jpik Phân phối tiên nghiệm liên hợp cho các tham số Πk là phân phối Dirichlet. Phân phối Student Trường hợp biến một chiều: Phân phối Student với các tham số µ,λ,v của biến ngẫu nhiên liên tục X nhận giá trị 12 Một số phân phối thường dùng Thống kê Bayes trên R có hàmmật độ và các đặc trưng xác định như sau: St ( X |µ,λ,v)= Γ (v/2+1/2) Γ (v/2) ( λ piv )1/2[ 1+ λ ( x−µ)2 v ]−v/2−1/2 E [X ]=µ,v > 1 var[X ]= 1 λ v v −2,v > 2 Trong đó v > 0 là hệ số tự do của phân phối. Trường hợp biến D-chiều: Phân phối Student với tham số µ,Λ,v của biến ngẫu nhiên X ∈ RD có hàmmật độ và các đặc trưng xác định như sau: St ( X |µ,Λ,v)= Γ (v/2+D/2) Γ (v/2) |Λ|1/2 (vpi)D/2 [ 1+ ∆ 2 v ]−v/2−1/2 E [X ]=µ,v > 1 cov[X ]= v v −2Λ −1,v > 2 Trong đó ∆2 = (x−µ)TΛ(x−µ) Khi v→∞ phân phối Student trở thành phân phối Gaussian với kỳ vọng µ vàma trận độ chính xác Λ. Phân phối Wishart Phân phối Wishart với tham số W,v của biến ngẫu nhiên ma trận Λ có hàm mật độ 13 1.3. SUY LUẬN BAYES CHO THAM SỐ TỈ LỆ PHÂN PHỐI NHỊ THỨC Thống kê Bayes và các đặc trưng xác định như sau: W (Λ|W,v)=B (W,v) |Λ|(v−D−1)/2exp ( −1 2 Tr ( W−1Λ )) B (W,v)= |W|−v/2 ( 2vD/2piD(D−1)/4 D∏ i=1 Γ ( v +1− i 2 ))−1 E [Λ]= vW E [ln |Λ|]= D∑ i=1 ψ ( v +1− i 2 ) +D ln2+ ln |W| Trong đóW là ma trận xác định dương cỡ D×D, tham số v là hệ số tự do và v >D−1. Phân phối Wishart là phân phối tiên nghiệm liên hợp của ma trận độ chính xác của biến nhiều chiều tuân theo quy luật phân phối Gaussian. Trong trường hợp một chiều thì phân phối Wishart chính là phân phốiGam (λ|a,b) với tham số a = v/2 và b = 1/2W . 1.3 Suy luận Bayes cho tham số tỉ lệ phân phối nhị thức 1.3.1 Tiên nghiệm Họ liên hợp các phân phối tiên nghiệm của tham số tỷ lệ Π của phân phối nhị thức là họ phân phối Beta (Π|a,b) có dạng. g (Π|a,b)= Γ (a+b) Γ (a)Γ (b) pia−1(1−pi)b−1 (1.1) Trong đó tham số a,b được xác định như sau: Dựa theo kinh nghiệm và cái mà người ta tin tưởng, phân phối tiên nghiệm có kỳ vọng pi0 và phương sai σ20. Theo công thức tính kỳ vọng và phương sai của phân phối Beta ta có: pi0 = a a+b σ20 = ab (a+b)2 (a+b+1) = pi0 (1−pi0) (a+b+1) Giải hệ trên ta sẽ tìm được a,b. Từ đó có phân phối nghiệm của tham số Π. 14 Suy luận Bayes cho tham số tỉ lệ Thống kê Bayes Theo công thức tính đặc trưng của phân phối nhị thức, ta cần chọnmẫu quan sát để thu thập thông tin có kích thước là n = a+b+1 và kết quả số lần thành công làM . Khi đó ta có hàm hợp lý: f (M |n,pi)=  n m pim(1−pi)n−m ,0≤pi≤ 1. (1.2) 1.3.2 Hậu nghiệm Theo định lý Bayes và công thức (1.1), (1.2) ta có phân phối hậu nghiệm của tham số Π được xác định như sau: g (Π|M =m)= g (Π)× f (M |n,pi) 1∫ 0 g (Π)× f (M |n,pi)dpi = pi a+m−1(1−pi)n−m+b−1 1∫ 0 pia+m−1(1−pi)n−m+b−1dpi = Γ (n+a+b) Γ (m+a)Γ (n−m+b)pi a+m−1(1−pi)n−m+b−1 (1.3) Như vậy, phân phối hậu nghiệm của tham số Π là phân phối Beta ( Π|a′,b′) với a′ = a+m và b′ = b+n−m 1.3.3 Ước lượng •Ước lượng điểm cho tham số Π là p̂i= m n •Ước lượng khoảng cho tham số Π: Phân phối hậu nghiệm xấp xỉ phân phối chuẩnN ( m′, ( s′ )2) Kỳ vọng của phân phối hậu nghiệm làm′ = a ′ a′+b′ Phương sai của phân phối hậu nghiệm là ( s′ )2 = a′b′ (a′+b′)2 (a′+b′+1) Với độ tin cậy (1−α)×100%, khoảng tin cậy của pi xấp xỉ khoảng xác định như sau: ( m′− z α 2 × s′;m′+ z α 2 × s′ ) (1.4) 15 Suy luận Bayes cho tham số tỉ lệ Thống kê Bayes Trong đó z α 2 là phân vị trên mức α/2 của phân phối chuẩn tắc, ví dụ với độ tin cậy 95% thì z α 2 = 1.96. Xấp xỉ hiệu quả nếu ta có cả a′ ≥ 10 và b′ ≥ 10. 1.3.4 Kiểm định giả thiết Kiểm địnhmột phía Bài toán kiểm định với mức ý nghĩa α H0 :pi≤pi0 H1 :pi>pi0 Ta tính xác suất để giả thiết đúng bằng tích phân của mật độ hậu nghiệm (1.3) trên miền giả thiết P (H0 :pi≤pi0|m)= pi0∫ 0 g (Π|m)dpi Ta bác bỏ giả thiết nếu xác suất hậu nghiệm nhỏ hơnmức ý nghĩa α. Kiểm định hai phía Bài toán kiểm định với mức ý nghĩa α H0 :pi=pi0 H1 :pi 6=pi0 Ta không tính xác suất hậu nghiệm mà tìm khoảng tin cậy của pi với mức ý nghĩa α. Nếu giá trị quan sát được không thuộc khoảng tin cậy (1.4) thì ta bác bỏ giả thiết; nếu giá trị quan sát được thuộc khoảng tin cậy thì ta không thể bác bỏ giả thiết. 16 1.4. SUY LUẬN BAYES CHO KỲ VỌNG PHÂN PHỐI GAUSSIAN Thống kê Bayes 1.4 Suy luận Bayes cho kỳ vọng phân phối Gaussian 1.4.1 Tiên nghiệm Xét biến quan sát Y tuân theo quy luật phân phối chuẩn có kỳ vọng bằng µ và phương sai bằng σ2 đã biết. Giả sử phân phối tiên nghiệm là phân phối chuẩn với kỳ vọngm và phương sai s2. Khi đó hàmmật độ tiên nghiệm của µ có dạng: g ( µ )∝ e− 12s2 (µ−m)2 (1.5) Ở đây, ta bỏ qua phần không phụ thuộc µ vì tiên nghiệm nhân với hằng số bất kỳ sẽ không ảnh hưởng đến kết quả hậu nghiệm. Hàm hợp lý có dạng: f ( Y |µ)∝ e− 12σ2 (y−µ)2 (1.6) Ở đây, ta bỏ qua phần không phụ thuộc µ vì tiên nghiệm nhân với hằng số bất kỳ sẽ không ảnh hưởng đến kết quả hậu nghiệm. 1.4.2 Hậu nghiệm Theo định lý Bayes hậu nghiệm tỷ lệ với tích tiên nghiệm và hàm hợp lý g ( µ|y) ∝ g (µ) × f (Y |µ) Do đó, theo (1.5) và (1.6) ta có: g ( µ|y) ∝ exp{−12 [ (µ−m)2s2 + (y−µ)2σ2 ]} ∝ exp { − 1 2σ2s2/(σ2+s2) [ µ− (σ2m+s2y) σ2+s2 ]2} Như vậy phân phối hậu nghiệm của tham số µ là phân phối chuẩn với kỳ vọng và 17 Suy luận Bayes cho kỳ vọng Thống kê Bayes phương sai xác định như sau: m′ = ( σ2m+ s2y) σ2+ s2( s′ )2 = σ2s2 σ2+ s2[( s′ )2]−1 = 1 σ2 + 1 s2 Công thức tính kỳ vọng có thể biến đổi sang dạng: m′ = ( σ2m+ s2y) σ2+ s2 = σ 2 σ2+ s2m+ s2 σ2+ s2 y = 1/s 2 1/σ2+1/s2m+ 1/σ2 1/σ2+1/s2 y Một cách khác, với mẫu ngẫu nhiên y1, . . . yn phân phối chuẩn kỳ vọng µ và phương sai σ2 đã biết, ta dùng hàm hợp lý của trung bình mẫu y . Trong đó y tuân theo quy luật phân phối chuẩn với kỳ vọng µ và phương sai σ2 n . Phân phối hậu nghiệm xác định với kỳ vọng và phương sai theo biểu thức sau: m′ = 1/s 2 n/σ2+1/s2 ×m+ n/σ2 n/σ2+1/s2 × y (1.7) 1 (s′)2 = 1 s2 + n σ2 (1.8) 1.4.3 Ước lượng Phương sai đã biết Phân phối hậu nghiệm xấp xỉ phân phối chuẩnN ( m′, ( s′ )2) Kỳ vọng của phân phối hậu nghiệmm′ được xác định theo công thức (1.7), thực hiện theo 3 bước: 1. Độ chính xác bằng nghịch đảo của phương sai: 1 s2 2. Độ chính xác của hậu nghiệm bằng tổng độ chính xác của tiên nghiệm và độ chính xác của trung bình mẫu: 1 s2 + n σ2 3. Kỳ vọng hậu nghiệm bằng tổng có trọng số giữa kỳ vọng tiên nghiệm và trung bình 18 Suy luận Bayes cho kỳ vọng Thống kê Bayes mẫu, trọng số bằng tỷ lệ của độ chính xác với độ chính xác của hậu nghiệm: 1/s2 n/σ2+1/s2 ×m+ n/σ2 n/σ2+1/s2 × y Phương sai s′ xác đinh theo công thức (1.8). Từ đó, với độ tin cậy (1−α)×100%, khoảng tin cậy của pi xấp xỉ khoảng xác định như sau: ( m′− z α 2 × s′;m′+ z α 2 × s′ ) (1.9) Trong đó z α 2 là phân vị trên mức α/2 của phân phối chuẩn tắc. Phương sai chưa biết Tìm phương sai mẫu: σ̂2 = 1 n−1 n∑ i=1 ( yi − y )2 Từ đó tìmm′ và s′ theo công thức (1.7), (1.8) trong đó dùng σ̂2 xác định như trên thay cho phương sai σ2 chưa biết. Khi đó, phân phối hậu nghiệm xấp xỉ phân phối Student. Với độ tin cậy (1−α)×100%, khoảng tin cậy của µ xấp xỉ khoảng xác định như sau: ( m′− t α 2 × s′;m′+ t α 2 × s′ ) (1.10) Trong đó t α 2 là phân vị trên mức α/2 của phân phối Student với hệ số tự do n−1. 1.4.4 Kiểm định giả thiết Kiểm địnhmột phía Bài toán kiểm định với mức ý nghĩa α H0 :µ≤µ0 H1 :µ>µ0 19 1.5. HỒI QUY BAYES Thống kê Bayes Ta tính xác suất giả thiết đúng bằng tích phân của mật độ hậu nghiệm trên miền giả thiết P ( H0 :µ≤µ0|y1, y2, . . . yn )= µ0∫ −∞ g ( µ|y1, y2, . . . yn ) dµ = P ( µ−m′ s′ ≤ µ0−m ′ s′ ) = P ( Z ≤ µ0−m ′ s′ ) Ta bác bỏ giả thiết nếu xác suất hậu nghiệm nhỏ hơn mức ý nghĩa α. Nếu dùng ước lượng cho phương sai mẫu thì Z tuân theo quy luật phân phối Student với hệ số tự do bằng n−1. Kiểm định hai phía Bài toán kiểm định với mức ý nghĩa α H0 :µ=µ0 H1 :µ 6=µ0 Ta không tính xác suất hậu nghiệm mà tìm khoảng tin cậy của µ với mức ý nghĩa α theo (1.9) hoặc (1.10). Nếu giá trị quan sát được không thuộc khoảng tin cậy thì ta bác bỏ giả thiết; nếu giá trị quan sát được thuộc khoảng tin cậy thì ta không thể bác bỏ giả thiết. 1.5 Hồi quy Bayes Mô hình hồi quy tuyến tính biểu biễn mối liên hệ giữa hai biến X và Y quan sát được. Với niềm tin rằng giá trị Y phụ thuộc vào giá trị của X , 20 Hồi quy Bayes Thống kê Bayes 1.5.1 Suy luận Bayes chomô hình hồi quy tuyến tính Bayes đơn Mô hình hồi quy đơn giữa hai biến X và Y y =βx+α Trước hết, ta thu thập thông tin n cặp giá trị ( xi , yi ) , i = 1,2, . . . ,n. Từ đó tìm hai tham số β và α sao cho tổng bình phương sai số của các điểm quan sát được là nhỏ nhất. SS = n∑ i=1 [ yi − ( βxi +α )]2 Theo định lý Bayes hậu nghiệm tỉ lệ với tích tiên nghiệm và hàm hợp lý. Hàmhợp lý Các quan sát là độc lập, với mỗi quan sát thứ i ta có yi =αx +β ( xi −x )+εi Trong đó αx là giá trị trung bình của y khi x = x, β là hệ số góc và các εi độc lập với nhau, tuân theo quy luật phân phối chuẩn với kỳ vọng bằng 0 và phương sai σ2. Do đó các yi |xi độc lập với nhau và tuân theo quy luật phân phối chuẩn với kỳ vọng bằng αx +β ( xi −x ) và phương sai σ2 Ta có hàm hợp lý của quan sát thứ i fi ( αx ,β )∝ e− 12σ2 [yi − (αx +β(xi −x))]2 Ở đây, ta bỏ qua phần không chứa tham số, αx . Các quan sát là độc lập nên ta có hàm 21 Hồi quy Bayes Thống kê Bayes hợp lý của hai tham số αx ,β là f ( αx ,β )∝ n∏ i=1 e− 1 2σ2 [yi−(αx+β(xi−x))]2 ∝ e− 1 2σ2 n∑ i=1 [yi−(αx+β(xi−x))]2 ∝ e− 12σ2 [SSy−2βSSxy+β2SSx]×e− 1 2σ2 [ n(αx−y)2 ] ∝ e− 1 2σ2/SSx [ β− SSxySSx ]2 ×e− 1 2σ2/n [ (αx−y)2 ] ∝ e− 1 2σ2/SSx [β−B]2 ×e− 1 2σ2/n [ (αx−Ax)2 ] ∝ f (αx)× f (β) Trong đó SSx = n∑ i=1 ( xi −x )2 (1.11) SSy = n∑ i=1 ( yi − y )2 (1.12) SSxy = n∑ i=1 ( xi −x )( yi − y ) (1.13) B = SSxy SSx ;Ax = y (1.14) Tiên nghiệm Phân phối tiên nghiệm đồng thời cho αx ,β là g ( αx ,β )= g (αx)× g (β) Trong đó αx ,β tuân theo phân phối chuẩn: g ( αx )=N (mαx , s2αx ) g ( β )=N (mβ, s2β) Hậu nghiệm 22 Hồi quy Bayes Thống kê Bayes Phân phối tiên nghiệm đồng thời cho αx ,β là g ( αx ,β|data )∝ g (αx ,β) × f (αx ,β) ∝ g (αx |data)× g (β|data) g ( αx |data )=N (m ′ αx , ( s ′ αx )2) g ( β|data)=N (m ′ β , ( s ′ β )2) Theo (1.11) ÷ (1.14), kỳ vọng và phương sai của αx ,β được xác định như sau: 1( s ′ αx )2 = 1s2αx + n σ2 m ′ αx = 1/s2αx 1/ ( s ′ αx )2 ×m ′αx + n/σ21/(s ′αx )2 × Ax 1( s ′ β )2 = 1s2 β + SSx σ2 (1.15) m ′ β = 1/s2 β 1/ ( s ′ β )2 ×m ′β + SSx/σ2 1/ ( s ′ β )2 ×B (1.16) Ước lượng cho hệ số góc Trường hợp phương sai đã biết Theo (1.15), (1.16), với độ tin cậy (1−α)×100% ta có khoảng tin cậy của hệ số góc β là ( m ′ β − z α 2 × √(