Luận văn Ước lượng và kiểm định trong thống kê nhiều chiều

    n n n n n 0 1 2 kt it it 1t it 2t it kt it t 1 t 1 t 1 t 1 t 1 ................................................................................................. Y X X X .X X .X ... X .X ............................. = = = = = = β +β +β + +β∑ ∑ ∑ ∑ ∑    n n n n n 2 0 1 2 kt kt it 1t kt 2t kt kt t 1 t 1 t 1 t 1 t 1 ........................................................................... Y X X X .X X .X ... X = = = = = = β +β +β + +β∑ ∑ ∑ ∑ ∑    * Chứng minh Để tối thiểu ESS với , chúng ta xét đạo hàm T0 1 2 k( , , ,..., )β= β β β β     ESS∂∂β riêng theo từng biến 0 1 2 i ESS ESS ESS ESS ESS; ; ; ; ;∂ ∂ ∂ ∂ ∂∂β ∂β ∂β ∂β ∂β" "    k tk của hàm mục tiêu l ( )n n 22t 0 1 2 kt t1 t2 t 1 t 1 ESS U Y X X X = = = = −β −β −β − −β∑ ∑    … . Ta có: ( ) ( )n 20 1 2 i kt t1 t2 ti tk t 10 n n n n n n 0 1 2 i kt t1 t2 ti t 1 t 1 t 1 t 1 t 1 t 1 ESS 2 Y X X X X . 1 2 Y X X X X = = = = = = = ∂ = −β −β −β − −β − −β −∂β ⎛ ⎞⎟⎜=− − β −β −β − −β − −β ⎟⎜ ⎟⎜ ⎟⎝ ⎠ ∑ ∑ ∑ ∑ ∑ ∑ ∑     … …     … … tk ( ) ( )n 20 1 2 i kt t1 t2 ti tk t 11 n n n n 2 0 1 2t t1 t1 t1 t2 t1 t 1 t 1 t 1 t 1 n n i kit 1t tk t1 t 1 t 1 ESS 2 Y X X X X . X Y .X X X X .X 2 X .X X .X = = = = = = = ∂ = −β −β −β − −β − −β −∂β ⎛ ⎞⎟⎜ −β −β −β −⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜=− ⎟⎜ ⎟⎜ ⎟⎟⎜ −β − −β ⎟⎜ ⎟⎜ ⎟⎝ ⎠ ∑ ∑ ∑ ∑ ∑ ∑ ∑     … …     … … t1 __________________________________________________________________ 64 Chương 2 ( ) ( )n 20 1 2 i kt t1 t 2 ti tk t 12 n n n n 2 0 1 2t t 2 t1 t1 t2 t 2 t 1 t 1 t 1 t 1 n n i kti t 2 tk t2 t 1 t 1 ESS 2 Y X X X X . X Y .X X X .X X 2 X .X X .X = = = = = = = ∂ = −β −β −β − −β − −β −∂β ⎛ ⎞⎟⎜ −β −β −β − ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜=− ⎟⎜ ⎟⎜ ⎟⎟⎜−β − −β ⎟⎜ ⎟⎜ ⎟⎝ ⎠ ∑ ∑ ∑ ∑ ∑ ∑ ∑     … …    …  … t 2 ……………………………………………………………………………………… ( ) ( )n 20 1 2 i kt t1 t 2 ti tk t 1i n n n n 0 1 2t ti ti t1 ti t 2 ti t 1 t 1 t 1 t 1 n n 2 i kti tk ti t 1 t 1 ESS 2 Y X X X X . X Y .X X X .X X .X 2 X X .X = = = = = = = ∂ = −β −β −β − −β − −β −∂β ⎛ ⎞⎟⎜ −β −β −β − ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜=− ⎟⎜ ⎟⎜ ⎟⎟⎜−β − −β ⎟⎜ ⎟⎜ ⎟⎝ ⎠ ∑ ∑ ∑ ∑ ∑ ∑ ∑     … …    …  … ti ……………………………………………………………………………………… ( ) ( )n 20 1 2 i kt t1 t2 ti tk t 1k ESS 2 Y X X X X . X = ∂ = −β −β −β − −β − −β −∂β ∑     … … tk n n n n 0 1 2t tk tk t1 tk t 2 tk t 1 t 1 t 1 t 1 n n 2 i kti tk tk t 1 t 1 Y .X X X .X X .X 2 X .X X = = = = = = ⎛ ⎞⎟⎜ −β −β −β − ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜=− ⎟⎜ ⎟⎜ ⎟⎟⎜−β − −β ⎟⎜ ⎟⎜ ⎟⎝ ⎠ ∑ ∑ ∑ ∑ ∑ ∑    …  … Hàm mục tiêu đạt cực trị khi các đạo hàm riêng = 0 ESS 0∂⇔ =∂β ( ) T T 1 k 0 1 2 i k 1 k ESS ESS ESS ESS ESS; ; ; ; ; ; 0;0;0; ;0; ;0 × × ⎛ ⎞∂ ∂ ∂ ∂ ∂ ⎟⎜ ⎟⇔ =⎜ ⎟⎜ ⎟⎜ ∂β ∂β ∂β ∂β ∂β⎝ ⎠" " " "     Hiệp nhất các thành phần, ta có : 0 1 2 i k ESS ESS ESS ESS ESS0; 0; 0; ; 0; ; 0∂ ∂ ∂ ∂ ∂⇒ = = = = =∂β ∂β ∂β ∂β ∂β" "     __________________________________________________________________ 65 Chương 2 n n n n 0 1 2t t1 t2 t 1 t 1 t 1 t 1 n n i kti tk t 1 t 1 t Y X X 2 0 X X .............................................................................................. Y .X 2 = = = = = = ⎛ ⎞⎟⎜ − β −β −β −⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟− =⎜ ⎟⎜ ⎟⎟⎜ ⎟−β − −β⎜ ⎟⎜ ⎟⎜⎝ ⎠ − ⇔ ∑ ∑ ∑ ∑ ∑ ∑     … … n n n n 2 0 1 2t1 t1 t1 t2 t1 t 1 t 1 t 1 t 1 n n i kti t1 tk t1 t 1 t 1 X X X .X 0 X .X X .X ....................................................................................... = = = = = = ⎛ ⎞⎟⎜ −β −β −β −⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟=⎜ ⎟⎜ ⎟⎟⎜ ⎟−β − −β⎜ ⎟⎜ ⎟⎜⎝ ⎠ ∑ ∑ ∑ ∑ ∑ ∑     … … n n n n 2 0 1 2t t2 t1 t1 t2 t2 t 1 t 1 t 1 t 1 n n i kti t2 tk t2 t 1 t 1 ................ Y .X X X .X X 2 0 X .X X .X ................................................................. = = = = = = ⎛ ⎞⎟⎜ −β −β −β −⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟− =⎜ ⎟⎜ ⎟⎟⎜ ⎟−β − −β⎜ ⎟⎜ ⎟⎜⎝ ⎠ ∑ ∑ ∑ ∑ ∑ ∑     … … n n n n 0 1 2t ti ti t1 ti t 2 ti t 1 t 1 t 1 t 1 n n 2 i kti tk ti t 1 t 1 ......................................... Y .X X X .X X .X 2 0 X X .X ........................................ = = = = = = ⎛ ⎞⎟⎜ −β −β −β −⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟− =⎜ ⎟⎜ ⎟⎟⎜ ⎟−β − −β⎜ ⎟⎜ ⎟⎜⎝ ⎠ ∑ ∑ ∑ ∑ ∑ ∑     … … n n n n 0 1 2t tk tk t1 tk t2 tk t 1 t 1 t 1 t 1 n n 2 i kti tk tk t 1 t 1 .................................................................. Y .X X X .X X .X 2 0 X .X X = = = = = = ⎧⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪ ⎨ ⎛ ⎞⎟⎜ −β −β −β −⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟− =⎜ ⎟⎜ ⎟⎟⎜ ⎟−β − −β⎜ ⎟⎜ ⎟⎜⎝ ⎠ ∑ ∑ ∑ ∑ ∑ ∑     … … ⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪ ⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎩ __________________________________________________________________ 66 Chương 2 n n n n n n 0 1 2 i kt t1 t2 ti t 1 t 1 t 1 t 1 t 1 t 1 t t1 t Y X X X X .......................................................................................................................... Y .X = = = = = = − β −β −β − −β − −β = ⇔ ∑ ∑ ∑ ∑ ∑ ∑    … … n n n n 2 0 1 2t1 t1 t2 t1 1 t 1 t 1 t 1 n n i kti t1 tk t1 t 1 t 1 n n 0 1t t2 t1 t 1 t 1 X X X .X X .X X .X 0 .......................................................................................... Y .X X = = = = = = = = −β −β −β − −β − −β = −β −β ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑     … …   n n 2 2t1 t2 t2 t 1 t 1 n n i kti t2 tk t2 t 1 t 1 n n n n 0 1 2t ti ti t1 ti t2 ti t 1 t 1 t 1 t 1 n n 2 i kti tk ti t 1 t 1 X .X X X .X X .X 0 Y .X X X .X X .X X X .X 0 = = = = = = = = = = −β − −β − −β = −β −β −β − −β − −β = ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑   … … """"""""""""""""""""""""     … … """"""""""""""""""""""" n n n n 0 1 2t tk tk t1 tk t2 tk t 1 t 1 t 1 t 1 n n 2 i kti tk tk t 1 t 1 Y .X X X .X X .X X .X X 0 = = = = = = ⎧⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪ −β −β −β −⎪⎪⎪⎪⎪⎪⎪ −β − −β =⎪⎪⎪⎪⎪⎪⎩ ∑ ∑ ∑ ∑ ∑ ∑ "     … … tk 0 __________________________________________________________________ 67 Chương 2 n n n n 0 1 2 i kt t1 t2 ti t 1 t 1 t 1 t 1 t 1 n n n n 2 0 1 2t t1 t1 t1 t2 t1 t 1 t 1 t 1 t 1 n n i kti t1 tk t1 t 1 t 1 n n n 2 0 1 2t t2 t1 t1 t2 t2 t 1 t 1 t 1 Y n X X X X Y .X X X X .X X .X X .X Y .X X X .X X = = = = = = = = = = = = = = β +β +β + +β + +β =β +β +β + +β + +β =β +β +β ⇔ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑     … …     … …    n t 1 n n i kti t 2 tk t2 t 1 t 1 n n n n 0 1 2t ti ti t1 ti t2 ti t 1 t 1 t 1 t 1 n n 2 i kti tk ti t 1 t 1 n 0t tk t 1 X .X X .X Y .X X X .X X .X X X .X Y .X = = = = = = = = = = + +β + +β =β +β +β + +β + +β =β ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑  … … """"""""""""""""""""""""""""     … … """"""""""""""""""""""""""""  n n n 1 2tk t1 tk t2 tk t 1 t 1 t 1 n n 2 i kti tk tk t 1 t 1 X X .X X .X X .X X = = = = = ⎧⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪ +β +β +⎪⎪⎪⎪⎪⎪⎪ +β + +β⎪⎪⎪⎪⎪⎪⎪⎩ ∑ ∑ ∑ ∑ ∑    … … n tk = ∑ ,Y ⎛ ⎞ =⎜ ⎟ ⎝ ⎠ Ta có hệ phương trình chuẩn cần chứng minh 2. 5. 3. 3 Nghiệm hệ phương trình chuẩn Trong chương 2, chúng ta có: 011 12 1k 1 21 22 2k 21 n1 n2 nk nn k n 1k k 1 1 X X X Y 1 X X X Y X , 1 X X X Y× ×× ⎛ ⎞β⎛ ⎞ ⎟⎜⎟ ⎟⎟⎜ ⎜⎜⎟ ⎟⎟⎜ ⎜⎜⎟ ⎟⎟⎜ ⎜⎜⎟ ⎟⎟β⎜ ⎜⎜⎟ ⎟⎟⎜ ⎜⎜⎟ ⎟⎟= β=⎜ ⎜⎟ ⎟⎜ ⎟⎜ ⎟ ⎟⎜⎟ ⎟⎟⎜ ⎜⎜⎟ ⎟⎟⎜ ⎜⎜⎟ ⎟⎟⎜ ⎜⎜⎟ ⎟⎜ ⎜⎟⎝ ⎠ ⎜ ⎟β⎝ ⎠ " "  # # # % # ## "  __________________________________________________________________ 68 Chương 2 11 21 n1 T 12 22 n2 1k 2k nk k n 1 1 1 X X X X X X X X X X × ⎛ ⎞⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⇒ = ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎟⎜⎝ ⎠ " " " # # % # " 11 12 1k 11 21 n1 21 22 2kT 12 22 n2 n1 n2 nk n k 1k 2k nk k n 1 1 1 1 X X X X X X 1 X X X X X X X X 1 X X X X X X ×× ⎛ ⎞⎟⎜ ⎛ ⎞⎟⎜ ⎟ ⎟⎜⎜ ⎟ ⎟⎜⎜ ⎟ ⎟⎜⎜ ⎟ ⎟⎜⎜ ⎟ ⎟⎜⎜ ⎟ ⎟⇒ × = ×⎜⎟ ⎟⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎟⎜⎜ ⎟ ⎟⎜⎜ ⎟ ⎟⎜⎜ ⎟⎜⎟ ⎝ ⎠⎜ ⎟⎟⎜⎝ ⎠ " "" "" # # # % ## # % # "" n n n t1 t 2 tk t 1 t 1 t 1 n n n n 2 t1 t1 t1 t 2 t1 tk t 1 t 1 t 1 t 1 n n n n 2 t 2 t 2 t1 t 2 t2 tk t 1 t 1 t 1 t 1 n n n n 2 tk tk t1 tk t2 tk t 1 t 1 t 1 t 1 n X X X X X X .X X .X X X .X X X .X X X .X X .X X = = = = = = = = = = = = = = = ⎛ ⎞⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎟⎜ ⎟⎜⎜⎜⎜⎜⎜=⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎝ ⎠ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ " " " # # # % # " k k× ⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟ và n t t 1 n 1 t t1 t 111 21 n1 2T n 12 22 n2 t t2 t 1 n n 1 1k 2k nk k n n t tk t 1 Y 1 1 1 Y Y .X X X X Y X Y X X X Y .X Y X X X Y .X = = = × × = ⎛ ⎞⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎛ ⎞ ⎜ ⎟⎟ ⎜⎜ ⎛ ⎞⎟ ⎜⎜ ⎟ ⎟⎜ ⎜⎜ ⎟ ⎟⎜ ⎜⎜ ⎟ ⎟⎜ ⎜⎜ ⎟ ⎟⎜ ⎜⎜ ⎟ ⎟⎜ ⎜⎜ ⎟ ⎟× = × =⎜⎟ ⎟ ⎜⎜ ⎟ ⎜ ⎟ ⎜⎜ ⎟ ⎟⎜ ⎜⎜ ⎟ ⎟⎜ ⎜⎜ ⎟ ⎟⎜ ⎜⎜ ⎟⎜⎟ ⎝ ⎠ ⎜⎜ ⎟⎟ ⎜⎜⎝ ⎠ ⎜⎜⎜⎜⎜⎜⎜⎝ ⎠ ∑ ∑ ∑ ∑ " " " ## # % # #" k 1× ⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟ Do đó, ta suy ra dạng ma trận của __________________________________________________________________ 69 Chương 2 T T T 0 1 2 i k ESS ESS ESS ESS ESS ESS; ; ; ; ; 2X .Y 2X .X. ⎛ ⎞∂ ∂ ∂ ∂ ∂ ∂ ⎟⎜ ⎟= =⎜ ⎟⎜ ⎟⎜∂β ∂β ∂β ∂β ∂β ∂β⎝ ⎠ " "      − + β : Hàm mục tiêu đạt cực trị khi các đạo hàm riêng bằng = 0 ESS 0∂⇔ =∂β T T T2X .Y 2X .X. 0 X .X. X .Y⇔− + β= ⇔ β=  T ⎟ ( ) 1T TX .X .X .Y−⇔ β= Vì là bộ n giá trị của (k + 1) biến độc lập 11 12 1k 21 22 2k n1 n2 nk n k 1 X X X 1 X X X X 1 X X X × ⎛ ⎞⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟=⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜⎝ ⎠ " " # # # % # " Ù rankX = (k + 1) Ù ( là khả nghịch ) 1TX .X − Vậy ước lượng ( ) 1T TX .X .X .Y−β= 2. 5. 3. 4 Điều kiện đủ Ước lượng là ước lượng cực tiểu của hàm mục tiêu ESS ( ) 1TX .X .X .Y−β= T * Chứng minh Ta tính đạo hàm cấp hai ESS . ∂ ∂β∂β  của hàm mục tiêu ESS Từ T TESS 2X .Y 2X .X.∂ =− + β∂β  suy ra TESS 2X .X . ∂ =∂β∂β  Gọi vectơ thực khác ( ) 1 2 T 1 2 k 1 k k k 1 c c 0,c c c c c c × × ⎛ ⎞⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟= ⇒ =⎜ ⎟⎜ ⎟⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜⎝ ⎠ G "# Xét dạng toàn phương: __________________________________________________________________ 70 Chương 2 ( ) ( ) T T (1 k) (k n) (n k) (k 1) T 1 n n 1 W c .X .X .c X.c . X.c × × × × × = = × Đặt vectơ Æ 1 2 (n k) (k 1) n n 1 v v v X .c v × × × ⎛ ⎞⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟= =⎜ ⎟⎜ ⎟⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜⎝ ⎠ # n T 2 t t 1 W v .v v 0 = = = ≥∑ Nếu vectơ v 0 X.c 0= ⇔ =G G Æ tồn tại tổ hợp tuyến tính giữa các cột trong ma trận X bằng 0 Æ mâu thuẫn rankX = (k + 1) Æ Æ W là xác định dương Æ n T 2 t t 1 W v .v v 0 = = = >∑ ESS. ∂ ∂β∂β  là xác định dương Æ Ước lượng cực trị ( ) 1T TX .X .X .Y−β= là ước lượng cực tiểu của hàm mục tiêu ESS. Ví dụ 2.3: Từ số liệu của một mẫu gồm 8 quan sát, người ta tính được các tổng sau : 2 2 2 1 2 1 256; 48; 24; 420; 300; 80i i i i i iY X X Y X X∑ = ∑ = ∑ = ∑ = ∑ = ∑ = 1 2 1 2135; 354; 154i i i i i iX X X Y X Y∑ = ∑ = ∑ = Trong đó : là lượng hàng bán được của một loại hàng , đơn vị tính là tấn/tháng Y : là thu nhập của người tiêu dùng , đơn vị tính là triệu đồng/tháng 1X : là giá bán của mặt hàng này , đơn vị tính là ngàn đồng/kg 2X Ta sẽ tìm hàm hồi quy mẫu : l l l l10 1 21 2i iY X Xβ β β i U= + + + và cho biết ý nghĩa của hệ số hồi quy l1β và l 2β . Từ số liệu đã cho ta có được các ma trận cơ bản như sau : 1 2 2 1 1 1 2 2 2 1 2 2 8 48 24 48 300 135 24 135 80 TX X= i i i i i i i i i i n X X X X X X X X X X ∑⎡ ⎤ ⎡ ⎤⎢ ⎥ ⎢ ⎥∑ ∑ ∑ =⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥∑ ∑ ∑ ⎣ ⎦⎣ ⎦ , __________________________________________________________________ 71 Chương 2 1 2 56 354 154 TX Y= i i i i i Y X Y X Y ∑⎡ ⎤ ⎡ ⎤⎢ ⎥ ⎢ ⎥∑ =⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥∑ ⎣ ⎦⎣ ⎦ Ta có ma trận nghịch đảo ( ) 1TX X − là : ( ) 1 5775 600 7201 600 64 72120 720 72 96 TX X = − − −⎡ ⎤⎢ ⎥−⎢ ⎥⎢ ⎥−⎣ ⎦ Áp dụng công thức ước lượng được xây dựng ta có : ( ) 1 5775 600 720 561 600 64 72 354120 720 72 96 154 T TX X X Y= − − −⎡ ⎤ ⎡ ⎤⎢ ⎥ ⎢ ⎥−⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥−⎣ ⎦ ⎣ ⎦ l l 1 2 11 2 120 1 1 1.2 0.41 144 1.2 : 120 1 1.2 0.448 0.4 i i i i i i Y X X SRF Y X X ⎡ ⎤ ⎡ ⎤ ⎧ = + −⎪⎢ ⎥ ⎢ ⎥= = → ⎨⎢ ⎥ ⎢ ⎥ U= + − +⎪⎩⎢ ⎥ ⎢ ⎥− −⎣ ⎦ ⎣ ⎦ Ý nghĩa của các hệ số hồi quy : l 1 1.2β = : Phản ánh tác động của đối với Y , tức là tác động của thu nhập đối với lượng hàng hóa bán được theo nghĩa , nếu thu nhập của người tiêu dùng tăng (hoặc giảm) 1 triệu đồng/tháng , thì lượng hàng bán được trung bình có xu hướng tăng (hay giảm) tương ứng xấp xỉ là 1.2 tấn/tháng với điều kiện giá bán của mặt hàng đó và các yếu tố khác là không đổi. 1X l 2 0.4β = − : Phản ánh tác động của đối với Y , tức là tác động của giá đối với lượng hàng bán được theo nghĩa, nếu giá bán của mặt hàng này tăng (hoặc giảm) 1 ngàn đồng/kg, thì lượng hàng bán được trung bình có xu hướng giảm (hay tăng) tương ứng xấp xỉ là 0.4 tấn/tháng , với điều kiện thu nhập của người tiêu dùng và các yếu tố khác là không đổi. 2X __________________________________________________________________ 72 Chương 2 2. 6 Xây dựng thuật toán hồi quy cho lập trình trên máy tính : 2. 6. 1 Bài toán xây dựng phương trình siêu phẳng hồi qui. Ta muốn tìm một hàm tuyến tính của ( )1m − biến còn lại 2 , , mX X… 2 2 3 3 m ma X a X a X+ + +… Để xấp xỉ 1X tốt nhất theo nghĩa cực tiểu sai số bình phương trung bình tức là: ( ){ }21 2 2 3 3 m mA E X a X a X a X C= − + + + +… đạt cực tiểu Câu trả lời cho bài toán đặt ra là: ( )*11 1* 2 11 m k k k k X X EX EX = Λ= − − +Λ∑ trong đó ma trận covarian ( )ij m mλ ×Λ = ; ( ) ( ){ }ij i i j jE X EX X EXλ = − − *1kΛ là phần phụ đại số của 1kλ trong ma trận Sai số bình phương trung bình mắc phải khi tính bởi biểu thức ở vế phải được gọi là phương sai phần dư. Nó được tính bởi: 21.23... * 11 det mσ Λ= Λ Hệ số tương quan bội (hệ số tương quan tập hợp) đo mức độ phụ thuộc tuyến tính giữa và tổ hợp tuyến tính ở vế phải của công thức tính là: 1X 2 * 1.23... 1.23... * 2 11 11 1 det1 1 mm σρ λ σ Λ= − = −Λ 2. 6. 2 Bài toán tính hệ số tương quan riêng : Ta tìm số đo mức độ phụ thuộc tuyến tính giữa hai biến 1X và 2X sau khi đã loại trừ ảnh hưởng tuyến tính của 3, , mX X… đối với chúng. Ta gọi đại lượng này là hệ số tương quan riêng và ký hiệu là 12.34...mρ 1212.34... 22 11 det det .detm ρ Λ= Λ Λ __________________________________________________________________ 73 Chương 2 trong đó là ma trận nhận được từ ma trận ijΛ bằng cách bỏ đi hàng i cột j, hoặc: ( ) ( )12.34... 1 1 .34... 1 2 .34... 112.34... 2 21 .34... 1 2 .34... 1 . 1 . 1 m m m m m m m m m m ρ ρ ρρ ρ ρ − − − − − −= − − Như vậy theo công thức trên từ các hệ số tương quan toàn phần ijρ ta tính được các hệ số tương quan riêng .ij kρ , rồi sau đó tính .ij klρ và vân vân… Công thức về phương sai phần dư có thể biểu diễn dưới dạng: ( ) ( ) ( )2 2 2 21.23... 1 1.2 13.2 1 .23... 11 . 1 ... 1m mDXσ σ σ σ −= − − − m 2. 6. 3 Bài toán hồi quy từng bước : Ta muốn xác định xem những biến nào trong các biến X2, …, Xm có ảnh hưởng nhiều đến X1. Nói khác đi tập các biến độc lập dùng để dự báo tuyến tính X1 cho toàn bộ các biến đang xét hay chỉ cần một tập con nào đó của tập đã cho. Để giải quyết bài toán này ta sẽ dùng phương pháp hồi qui từng bước. Ý cơ bản của phương pháp này dựa vào công thức phương sai phần dư như sau: Dựa vào công thức phương sai phần dư ở trên ta thực hiện các bước sau: Tính các hệ số tương quan toàn phần 1iρ , i = 2…m Chẳng hạn 12 12 ax ii mmρ ρ≤ ≤= , ta chọn biến đầu tiên là biến X2 Đó là một trong các biến chính có tác động chính đến sự biến thiên của X1 Tính các hệ số tương quan riêng 1 .2iρ , i = 3…m Chẳng hạn 13.2 1 .23 ax ii mmρ ρ≤ ≤= , ta chọn biến tiếp theo là biến X3 và vân vân. Sau mỗi lần chọn thêm biến ta tính phương sai phần dư . So sánh với phương sai phần dư ở bước trước 2 1.23...kσ 2 1.23... 1kσ − . Nếu giảm không đáng kể so với thì ta dừng lại và chọn tập biến độc lập là X 2 1.23...kσ 2 1.23... 1kσ − 2,…, Xk – 1. Đó là tập các biến có tác động chính đến biến X1 (Theo công thức phương sai phần dư thì thực chất của __________________________________________________________________ 74 Chương 2 việc so sánh và 21.23...kσ 21.23... 1kσ − là việc đánh giá xem thừa số có gần 1 hay không hay tương đương với điều đó là xem ( 21 .34... 11 k kρ −− ) 2 1 .23... 1k kρ − có gần 0 hay không) 2. 6. 4 ij Mô tả phương pháp tính toán : 2. 6. 4. 1 Các ký hiệu sử dụng m : Số biến ngẫu nhiên (vec tơ m chiều) n : Cỡ mẫu ngẫu nhiên xi : Biến thứ i xik : Giá trị thứ k của biến thứ i xiTB : Giá trị trung bình mẫu của biến thứ i Aij : Giá trị trung bình mẫu của tích 2 biến … và … bk : Hệ số hồi qui của biến thứ i theo biến thứ k L_Da : Ma trận Covarian mẫu L_Da[i, j] : Phần tử hàng i cột j của ma trận covarian mẫu L_Da L_Daij : Ma trận được nhận từ ma trận L_Da bằng cách bỏ đi hàng i cột j *_L Da : Phần phụ đại số của phần tử L_Da[i, j] trong ma trận covarian mẫu L_Da S2 : Phương sai phần dư mẫu r : Hệ số tương quan mẫu i1,…, im : Biến lấy được sau mỗi bước trong bài tóan hồi qui 2. 6. 4. 2 Phương pháp tính toán : Như trên ta thấy, để xây dựng được siêu phẳng hồi qui, tính được phương sai phần dư, hệ số tương quan bội, hệ số tương quan riêng…, ta cần tính được ma trận covarian mẫu L_Da. Nhưng trên thực tế khi nghiên cứu m biến ngẫu nhiên chúng ta chỉ có thông tin duy nhất là n kết quả quan sát độc lập về vectơ m chiều này. Giả sử có mẫu ngẫu nhiên cỡ n về m biến ngẫu nhiên X1,…, Xm: (x1k ,…, xmk), k=1…n. __________________________________________________________________ 75 Chương 2 Để giải quyết được các bài toán đặt ra việc đầu tiên là phải ước lượng được ma trận covarian mẫu L_Da. Ma trận covarian mẫu được sử dụng trong tất cả các bài toán phân tích thống kê biến ngẫu nhiên nhiều chiều, vì vậy nó cần được xây dựng xuất phát từ mẫu đã cho và chúng ta phải sử dụng nhiều lần đến nó. Trong thủ tục tính ma trận covarian mẫu ta cần phải tính: − Giá trị trung bình mẫu của biến thứ i 1 1 n TB ik k Xi x n = = ∑ i = 1...m − Giá trị trung bình mẫu của tích hai biến Xi và Xj 1 1 . n ij ik jk k A x x n = = ∑ i, j = 1...m Như vậy giá trị của các phần L_Da[i,j] mẫu là: [ ]_ , .ij TB TBL Da i j A Xi Xj= − i, j = 1...m Nhìn vào công thức tính toán ở trên ta dễ dàng nhận thấy được ma trận covarian mẫu L_Da là một ma trận đối xứng (L_Da[i,j] = L_Da[j,i]). Như vậy ta đã tính xong ma trận covarian mẫu L_Da. Sau đây là một số thuật toán liên quan đến bài toán đang xét: 2. 6. 5 Xây dựng hàm tính định thức của ma trận (sau đó sử dụng hàm này để tính định thức của ma trận covarian L_Da) 2. 6. 5. 1 Phần 1: Đưa ma trạn về dạng tam giác trên (khử các phần tử dưới đường chéo) [ ]: ,k a k i= Trong trường hợp phần tử trên đường chéo =0 thì trên cột chứa phần tử đó ta hoán đổi phần tử max với phần tử đường chéo. __________________________________________________________________ 76 Chương 2 Tức là nếu a[k, k] = 0 thì: : 0x = : 1...i k m= + Nếu abs( a[i, k] > x)thì: ⋅ [ ]: ,x a i k= ⋅ Đánh dấu hàng cần đổi: :r i= Nếu tất cả các phần tử trên cột bằng 0 thì định thức bằng 0 Sau mỗi lần hoán đổi thì định thức lại đổi dấu vì vậy ta sẽ dùng một biến shv để đánh dấu số lần đổi dấu: : 1shv shv= + Hoán đổi hàng có phần tử trên đường chéo =0 với hàng có phần tử trên cột đó nhận giá trị lớn nhất. [ ]: ,x a k i= [ ] [ ], : ,a k i a r i= [ ], :a r i x= : 1...i k m= + [ ] [ ]: , ,x a k i a k k= : 1...j m= [ ] [ ] [ ], : , ,a i j a j i x a j k= − ∗ 2. 6. 5. 2 Phần 2: Tính định thức bằng cách nhân các phần tử trên đường chéo: Định thức = 11 22 ... mma a a× × × : 1DT = : 1...i m= [ ]: ,DT DT a i i= ∗ Trong trường hợp (shv mod 2=0) thì định thức : DT= __________________________________________________________________ 77 Chương 2 Còn ngược lại thì định thức : DT= − Như vậy đã tính xong định thức của một ma trận. 2. 6. 5. 3 Xây dựng hàm tính định thức của ma trận khi bỏ đi 1 hàng 1 cột : Giả sử tính định thức của ma trận L_Da bỏ đi hàng i cột j Gán lại ma trận như sau: : 1...k m= : 1...r m= Nếu hàng k = hàng i, cột r = cột j thì gán TG[k, r] = 1 Nếu (hàng k = hàng i và cột r cột j) hoặc (hàng k hàng i và cột r = cột j) thì gán TG[k, r] = 0 Còn lại thì gán TG[k, r] = L_Da[k, r] Sau đó gọi hàm tính định thức cho ma trận TG, ma trận TG này có cỡ bằng cỡ với ma trận L_Da trên. Tương tự với cách tính định thức ma trận L_Da bỏ đi hàng i cột j bất kỳ ta sẽ dễ dàng tính được phần phụ đại số của một phần tử bất kỳ. Tiếp theo ta sẽ xây dựng phương trình siêu phẳng hồi quy. Như ta đã biết ở phần trên, để nhận được phương trình siêu phẳng hồi quy của X1 ta phải tính được: − Các hệ số hồi qui * 1 1 * 11 _ _ k k L Dab L Da −= k = 2…m − Tính hằng số C 1 2 1 . m TB k TB k C X b Xk = = −∑ __________________________________________________________________ 78 Chương 2 Như vậy sau khi tính được các hệ số hồi quy b1k và hằng số C ta sẽ viết được phương trình siêu phẳng hồi qui có dạng như sau: 1 12 2 13 3 1... m mX b X b X b X= + + + +C Sau đó ta tính phương sai phần dư và hệ số tương quan bội như sau: − Phương sai phần dư: 2 1.234... * 11 det _ _m L DaS L Da = − Hệ số tương quan bội [ ] 2 1.23... 12.34... 1 _ 1,1 m m Sr L Da = − Như vậy đã tính xong bài toán về siêu phẳng hồi qui. 2. 6. 6 Bài toán về tương quan riêng : Hệ số tương quan riêng được tính bằng công thức: 12 12.34... 11 22 det _ det _ .det _m L Dar L Da L Da = 2. 6. 7 Bài toán về hồi quy từng bước : Theo như phần trên ta thấy, ở bước 1 chúng ta phải tính các hệ số tương quan toàn phần r1i , i = 2…m. Nhưng thực chất ở đây ta phải tính tất cả rij, i, j = 1…m với i < j Theo định nghĩa ta có : [ ] [ ] [ ] _ , _ , . _ , ij L Da i j r L Da i i L Da j j = Sang các bước sau, ta sẽ sử dụng công thức: ( ) ( )1 2 1 1 2 1 1 2 11 2 1 2 1 1 2 1 1, . , ,..., 1, . , ,..., , . , ,..., 1, . , ,..., 2 2 1, . , ,..., , . , ,..., . 1 . 1 k k k k k k k k k k i i i i i i i i i i i i i i i i i i i i i i i i i i r r r r r r − − − − −−= − − __________________________________________________________________ 79 Chương 2 Sau bước 1 ta chọn được r1,i1 đạt giá trị lớn nhất trong các rij. Biến được chọn là Xi1 Sử dụng công thức truy hồi trên, bước 2 ta sẽ phải tính các r1,i.i1, với 1i i≠ và . Sau đó lại chọn được r1i ≠ 1,i2.i1 đạt giá trị lớn nhất. Biến được chọn tiếp là Xi2 Cứ tiếp tục như vậy cho tới bước thứ k ta sẽ tính được với i khác1, i 11 . 1, 2,..., ki i i i r − 1, i2, …ik – 1. Song song với các bước trên, mỗi khi chọn được is, s = 1…k ta phải tính phương sai phần dư. Ở bước 2, phương sai phần dư sẽ là: [ ] ( )2 21, 1 1, 1_ 1,1 . 1i iS L Da r= − và như vậy cho tới bước thứ k ta sẽ có: ( )1 12 2 21, 1, 2,..., 1, 1, 2,..., 1, . 1, 2,...,. 1k k ki i i i i i i i i iS S r− −= − k 2. 6. 8 Điều đáng quan tâm của bài toán hồi quy từng bước này là việc phải xây dựng được hàm tính hệ số tương quan (ở bước 1 đó chính là tương quan toàn phần, ở các bước khác đó chính là tương quan riêng) giữa 2 biến bất kỳ. Hàm này sẽ được sử dụng sau mỗi khi ta lấy được một biến ứng với giá trị tương quan lớn nhất sau đó mới tính tiếp các giá trị phương sai phần dư của mỗi bước. Lưu đồ thuật toán của ba bài toán nêu trên (trang bên) : __________________________________________________________________ 80 Chương 2 __________________________________________________________________ 81 Chương 2 __________________________________________________________________ 82 Chương 3 CHƯƠNG 3 : KIỂM ĐỊNH GIẢ THIẾT TRÊN VECTƠ KỲ VỌNG 3. 1 Mâu thuẫn giữa kiểm định nhiều chiều và một chiều : Kiểm định giả thiết trong trường hợp đa chiều thường phức tạp hơn trong mô hình đơn chiều. Số lượng các biến số sẽ dẫn đến sự chênh lệch. Ví dụ như cho một phân phối chuẩn với p biến, sẽ có p trung binh, p phương sai và 2 p⎛ ⎞⎜ ⎟⎝ ⎠ hiệp phương sai, ở đây 2 p⎛ ⎞⎜ ⎟⎝ ⎠ biểu diễn số cặp biến tương quan trong p biến. Tổng số các biến số được quan tâm sẽ là : ( )1 3 2 2 p p p p p⎛ ⎞+ + = +⎜ ⎟⎝ ⎠ . Ví dụ khi cho p = 10 thì tổng số biến số sẽ là 65. Với mỗi một biến số , một giả thiết có thể được đề ra. Ngoài ra, ta có thể quan tâm trong kiểm tra giả thiết về nhóm con các biến số hoặc về các hàm của chúng. Trong một số trường hợp, ta có thể có hai giả định trong sự mâu thuẫn giữa các kiểm định thống kê. Ta bàn về quá trình đầu trong kiểm định p biến nhiều chiều thay vì ( hoặc thêm vào ) một biến đơn chiều.Ví dụ như giả thiết về 1 2, , ..., pμ μ μ trong μ . Ta có bốn luận cứ trong cách tiếp cận nhiều chiều để kiểm định giả thiết : 1. Sử dụng p đơn biến kiểm tra độ tăng tỉ lệ lỗi trong sai lầm I , α , bởi vì kiểm định mô hình nhiều chiều phải bảo đảm độ tin cậy α . Nếu ta cho p = 10 đơn biến riêng biệt và kiểm định ở độ tin cậy 0.05, xác suất có ít nhất một sai lầm được từ chối là lớn hơn 0.05. Nếu các biến là độc lập ( ít xảy ra ), chúng ta sẽ có (với giả thiết 0H ). P( ít nhất một từ chối) = 1−P( tất cả 10 kiểm định chấp nhận 0H ) ( )101 0 95 0 40. .= − = 2. Kết quả tổng cộng α của 0.40 là một tỉ lệ lỗi không chấp nhận được. Thông thường khi 10 biến