Bài giảng môn Thông Tin Số

m cơ sở trực chuẩn: 1. Xác định hàm cơ sở thứ nhất (từ tín hiệu thứ nhất): 2. Tính tích nội: Hàm cơ sở thứ hai : 2. Biểu diễn hình học của tín hiệu  Mii ts 1)(   Njj t 1)(  (t)s(t)s )(,)(/)(/)()( 1111 111111111     EstststsEtst 54/3/2013 )()()((t)dt(t)ss 12122 T 0 1221 tststd        2 2121212 2 212 T 0 2 22222 sE(t)]/s(t)s[ sEdt(t)d(t)d,(t)d(t)/d(t)   Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số Quy trình trực giao hóa Gram - Schmidt : 3. Tương tự tiếp tục quy trình, tổng quát ta có : Lúc này xác định tập hàm cơ sở : (di(t) ≠0 ) Khi si(t) là tập M tín hiệu độc lập tuyến tính (không có tín hiệu nào là tổ hợp tuyến tính của các tín hiệu còn lại) -> M=N 2. Biểu diễn hình học của tín hiệu  t(t),s 11,...ij,(t)s(t)s(t)d(t)dt(t)ss ji 1i 1j jijii T 0 iij        j    1i 1j jjii (t)(t)(t),s(t)s  64/3/2013 1,2,...Ni,dt(t)d(t)/d(t)d(t)/d(t) T 0 2 iiiii   Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số 2. Biểu diễn hình học của tín hiệu • Ví dụ 1: Tìm hàm cơ sở từ hai tín hiệu • Sử dụng quy trình Gram-Schmidt : T t )(1 ts T t )(2 ts T A T A 0 0 74/3/2013 )()( )()( )()( 2111 12 11 AA tAts tAts    ss   )(1 t -A A0 11s21s T t )(1 t T 1 0 0)()()()( )()()(),()( /)(/)()( )( 122 0 121221 1111 110 22 11       tAtstd Adtttsttsts AtsEtst AsAdttsE T T    1 2 Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số 3. TÁCH TÍN HiỆU CHO KÊNH TRUYỀN AWGN Nhiệm vụ : Cho vectơ tín hiệu ngẫu nhiên quan sát z=(z1, .zN) tại ngõ ra bộ giải điều chế. Thực hiện một phép ánh xạ z -> là ước lượng của sao cho việc quyết định có xác suất trung bình lỗi là nhỏ nhất. mˆ im 84/3/2013 Modulator Decision rule mˆim zis n Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số 3. TÁCH TÍN HiỆU CHO KÊNH CÓ NHIỄU AWGN Quy tắc quyết định tối ưu (cực đại xác suất hậu nghiệm- maximum a posteriori probability- MAP) : Dùng công thức Bayes, quy tắc MAP phát biểu lại: .,...,1where allfor,)|sentPr()|sentPr( ifˆSet Mk ikzmzm mm ki i    94/3/2013 ik zf mzfp mm z kz k i   allformaximumis,)( )|( ifˆSet Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số 3. TÁCH TÍN HiỆU CHO KÊNH CÓ NHIỄU AWGN Quy tắc quyết định tối ưu (cực đại xác suất hậu nghiệm- maximum a posteriori probability- MAP) : Phân chia không gian tín hiệu thành M vùng quyết định, Z1 ,..ZM sao cho: i k k i mm ikf mfp Z   ˆ meansThat .allformaximumis],)( )|(ln[ ifregioninsideliesVector z z z z z 104/3/2013 Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số 3. TÁCH TÍN HiỆU CHO KÊNH CÓ NHIỄU AWGN Quy tắc quyết định cực đại khả năng (maximum likelihood - ML): Trong trường hợp mẫu số là độc lập với tín hiệu phát xác suất trước (xác suất tiền nghiệm) là như nhau quy tắc MAP được đơn giản thành: hay tương đương: ikmf mm k i   allformaximumis),|( ifˆSet zz 114/3/2013 ikmf mm k i   allformaximumis)],|(ln[ ifˆSet zz Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số 3. TÁCH TÍN HiỆU CHO KÊNH CÓ NHIỄU AWGN Quy tắc quyết định ML: Phân chia không gian tín hiệu thành M vùng quyết định, Z1 ,..ZM , luật quyết định ML được phát biểu lại: i k i mm ikmf Z   ˆ meansThat allformaximumis)],|(ln[ ifregioninsideliesVector z z z 124/3/2013 Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số 3. TÁCH TÍN HiỆU CHO KÊNH CÓ NHIỄU AWGN Quy tắc quyết định ML: Luật quyết định ML tiếp tục được đơn giản: ik Z k i  allforminimumis, ifregioninsideliesVector sz z 134/3/2013 Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số 3. TÁCH TÍN HiỆU CHO KÊNH CÓ NHIỄU AWGN Quy tắc quyết định ML: Phân chia không gian tín hiệu thành M vùng quyết định, Z1 ,..ZM , luật quyết định ML được phát biểu lại: ).(ofenergy theiswhere allformaximumis, 2 1 ifregioninsideliesVector 1 tsE ikEsz Z kk k N j kjj i   r 144/3/2013 Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số 4. BỘ THU TƯƠNG QUAN Sự tương đương bộ thu tương quan và bộ thu phối hợp: • So sánh (a) và (b) – Từ (a) 154/3/2013  T dttstrtz 0 )()()(  TTt dsrTztz 0 )()()()(  Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số 4. BỘ THU TƯƠNG QUAN • Từ (b) trong đó • Lấy mẫu tại t = T, ta có • Kết quả trên giống (a) • Vì vậy 0 '( ) ( )* ( ) ( ) ( ) ( ) ( )tz t r t h t r h t d r h t d           )()]([)()()( tTstTsthtTsth     t dtTsrtz 0 )()()('  Sự tương đương bộ thu tương quan và lọc phối hợp: 164/3/2013 0 0 '( ) '( ) ( ) ( ) ( ) ( )T T t T z t z T r s T T d r s d            )(')( TzTz   T dsrTz 0 )()()('  Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số 5. XÁC SUẤT LỖI sent)insidelienotdoessent)Pr(Pr()ˆPr( iiii mZmmm z sent)andˆPr()( iiie mmmmP  Quyết định sai: Không gian quan sát chia thành M vùng Zi ứng với vectơ tín hiệu mi . Quyết định sai khi vectơ quan sát z không nằm trong vùng Zi . Xác suất quyết định sai: 174/3/2013 sent)insideliessent)Pr(Pr()ˆPr( iiii mZmmm z  iZ iiiic dmfmZmP zzz z )|(sent)insideliesPr()( )(1)( icie mPmP  Xác suất quyết định đúng: Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số 5. XÁC SUẤT LỖI Xác suất lỗi trung bình: trường hợp các ký hiệu có xác suất bằng nhau: 1 ˆ( ) Pr( )P(m ) M E i i i P M m m    184/3/2013 )|(11 )(11)(1)( 1 11       M i Z i M i ic M i ieE i dmf M mP M mP M MP zzz Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số 5. XÁC SUẤT LỖI Biên hợp của xác suất lỗi (Union bound): Gọi Aik (i = k = 1,.M) là sự kiện vectơ quan sát z gần vectơ tín hiệu sk hơn si khi si được gửi. Xác suất có điều kiện của lỗi khi m được gửi bằng xác suất xảy ra hợp các sự kiện: Ai1 ,.AiM : , chỉ phụ thuộc vào si và sk 194/3/2013 ),()Pr( 2 ikki PA ss    M ik k ikie PmP 1 2 ),()( ss     M i M ik k ikE PM MP 1 1 2 ),( 1)( ss Theo lý thuyết xác suất: xác suất để có hợp các sự kiện đồng thời không lớn hơn tổng các xác suất riêng rẽ: Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số 5. XÁC SUẤT LỖI Minh họa biên hợp của xác suất lỗi: 1 1s 4s 2s 3s 1Z 4Z3Z 2Z r 2     432 )|()( 11 ZZZ e dmfmP rrr    4 2 121 ),()( k ke PmP ss BIÊN HỢP: 20 1 1s 4s 2s 3s 2A r 1 1s 4s 2s 3s 3A r 1 1s 4s 2s 3s 4A r2 2 2  2 )|(),( 1122 A dmfP rrss r  3 )|(),( 1132 A dmfP rrss r  4 )|(),( 1142 A dmfP rrss r Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số 5. XÁC SUẤT LỖI Biên hợp của xác suất lỗi (Union bound):       2/2/)exp(1 sent)is when, thancloser toisPr(),( 00 2 0 2 N dQdu N u N P ik d iikik ik  ssszss 21 ik ki ki dd   , min min        2/ 2/)1(),(1)( 0 min 1 1 2 N dQMP M MP M i M ik k ikE ss kiikd ss  Khoảng cách tối thiểu trong không gian tínhiệu : Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số 5. XÁC SUẤT LỖI Biên hợp của xác suất lỗi (Union bound): )(2 t 2s 2,1d3,2d sE Ví dụ: 4,...,1,  iEE siis 22 )(1 t1 s3s 4s 4,3d 4,1d sEsE sE s ski Ed ki Ed 2 2 min ,    Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số Bài 5 ĐIỀU CHẾ & GỈAI ĐiỀU CHẾ Nội dung: 1. Giới thiệu 2. Tách sóng cho kênh AWGN 3. Điều chế & tách sóng đồng bộ 4. Điều chế & tách sóng không đồng bộ 5. Đánh giá chất lượng 1 Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số Điều chế băng thông dải (bandpass modulation) 1. GiỚI THIỆU • Định nghĩa • Tín hiệu Bandpass : là xung băng cơ sở(baseband pulse shape), có năng lượng Eg • Giả định: – giả sử có dạng xung chữ nhật, năng lượng đơn vị. – Mã Gray chuyển đổi bits -> ký hiệu. – là năng lượng trung bình ký hiệu:   Ttttit T E tgts iciTi  0)()1(cos2)()(  24/3/2013 )(tgT )(tgT sE   Mi is EME 11 Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số Phân loại tách sóng: 1. GiỚI THIỆU • Tách sóng đồng bộ/nhất quán/kết hợp (Coherent detection) – Dùng pha của sóng mang (carrier’s phase) để tách tín hiệu + dùng ước lượng pha (phase estimation) ở đầu thu. • Tách sóng không đồng bộ (Non-coherent detection) – Không dùng pha của tín hiệu nên không cần ước lượng pha (phase estimation) ở đầu thu. – Ưu điểm: giảm độ phức tạp so với tách sóng đồng bộ – Khuyết: Xác suất lỗi lớn hơn tách sóng đồng bộ. 34/3/2013 Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số Bộ thu tương quan loại 1 2. Tách sóng cho kênh AWGN 44/3/2013 Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số Bộ thu tương quan loại 2 2. Tách sóng cho kênh AWGN 54/3/2013 Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số Trường hợp tách sóng nhị phân: Cấu hình theo 2 kiểu: kiểu đơn và kiểu kép 2. Tách sóng cho kênh AWGN 6 Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số Điều chế khóa dịch biên ASK (Amplitude Shift Keying) 3. Điều chế và tách sóng đồng bộ (Coherent)   Tt t T E ts c i i   0 cos 2)(   cos2)( ,,1)()( 1 1 ii c ii Ea t T t Mitats       74/3/2013 )(1 t1 s2s 0 1E “0” “1” On-off keying-OOK (M=2): Biên độ có M giá trị rời rạc Pha là hằng số tùy ý Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số Điều chế khóa dịch pha nhị phân BPSK:       02cos22cos2)( 0,12cos2)( 2 1 bittf T E tf T E ts Ttbittf T E ts c b b c b b bc b b     3. Điều chế và tách sóng đồng bộ 84/3/2013   -)()(s)()(s 0,1)(,cos2)( )()()(,)()()( bb b T 0 221 T 0 111 T 0 2 212111 bb bc b bb EdtttaEdttta Ttdttt T t tEtatstEtats         Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số Tách sóng BPSK: Sơ đồ không gian tín hiệu (1 chiều, N=1): để quyết định, chia không gian thành hai vùng quyết định: 3. Điều chế và tách sóng đồng bộ z)(tr )()(r bT 0  dtttz  94/3/2013 )(t 0nguong Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số Điều chế khóa dịch pha M-PSK (M-ary Phase Shift Keying) Tt M i t T E ts c s i     0,2cos2)(  Pha có M giá trị rời rạc 3. Điều chế và tách sóng đồng bộ 104/3/2013     2 21 21 2211 2 sin2cos sin2)(cos2)( ,,1)()()( iis sisi cc iii EE M iEa M iEa t T tt T t Mitatats s            Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số Tách sóng M-PSK: 3. Điều chế và tách sóng đồng bộ 114/3/2013 Mi MiTt tntt T E tr i ii /2 ,.....,1,0 )()sinsincos(cos2)( 00      Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số Tách sóng M-PSK: Minh họa cách tính góc pha thu được bằng cách tính arctan(Y/X), trong đó X là thành phần cùng pha (inphase) – tín hiệu I, Y là thành phần vuông pha (quadrature) - tín hiệu Q trong tín hiệu r(t). 3. Điều chế và tách sóng đồng bộ 124/3/2013 Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số  icii tT E ts   cos2)(     3 )1(2 andsymbolsPAMareandwhere sin2)(cos2)( ,,1)()()( 21 21 2211    MEaa t T tt T t Mitatats sii cc iii    Điều chế biên độ cầu phương M-QAM (M-ary Quadrature Amplitude Mod.) 3. Điều chế và tách sóng đồng bộ 134/3/2013                 )1,1()1,3()1,1( )3,1()3,3()3,1( )1,1()1,3()1,1( , 21 MMMMMM MMMMMM MMMMMM aa ii     Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số Tách sóng M-QAM (Quadrature Amplitude Mod.) T0 )(1 t ML detector1z s) threshold1 with(Compare M 3. Điều chế và tách sóng đồng bộ 144/3/2013 T0 )(2 t ML detector )(tr 2z mˆParallel-to-serial converter s) threshold1 with(Compare M Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số Điều chế khóa dịch tần M-FSK (M-ary Frequency Shift Keying)   MiTt t T E ts ii ,...1,0 cos 2)(      2 0 1 0 cos 2)cos(2 1,...Nj,Tt0,cos2)( ,,1)()( iis s ji T ij jj M j jiji EE ji jiEdtt T t T E a t T t Mitats s              3s )(3 t sE 3. Điều chế và tách sóng đồng bộ 154/3/2013 )(1 t 2s 1s )(2 t sE sE jiEssssd jiji  ,2||||),( Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số         Mz z  1T0 )(1 t 1z ML detector: Choose the largest element in the observed vector Tách sóng M-FSK: 3. Điều chế và tách sóng đồng bộ 164/3/2013 z T0 )(tM )(tr Mz z mˆ Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số 4. Điều chế và tách sóng không đồng bộ (Non-coherent Detection) Đặc điểm tách sóng không đồng bộ: - Không cần xác định pha của tín hiệu thu - Hệ thống sẽ đơn giản so với tách sóng đồng bộ - Chất lượng kém, xác suất lỗi tăng 174/3/2013 Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số Mã hóa DPSK (Differential PSK): Dạng sóng tín hiệu phát: Tín hiệu thu: α là hằng số tùy ý, như một biến ngẫu nhiên phân bố đồng nhất trong khoảng [0, 2π]. MiTttt T E ts ii ,.....,1,0)],(cos[ 2)( 0   4. Điều chế và tách sóng không đồng bộ 184/3/2013 )(])(cos[2)( 0 tnttT E tr i   Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số Mã hóa DPSK (Differential PSK): Giả sử α thay đổi chậm trong khoảng 2T thì sự khác biệt về pha giữa 2 ký hiệu kế tiếp nhau là độc lập: )()()(])([])([ 21212 TTTTT ijkjk   Pha sóng mang của tín hiệu trong khoảng liền trước được sử dụng làm pha tham chiếu cho việc giải điều chế 4. Điều chế và tách sóng không đồng bộ 194/3/2013 Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số Mã hóa DPSK nhị phân - DBPSK: mã hóa vi sai + PSK Mã hóa vi sai chuỗi nhị phân b(k): Chỉ số mẫu k: 0 1 2 3 4 5 6 7 8 9 10 Chuỗi bản tin, b(k): 1 1 0 1 0 1 1 0 0 1 Chuỗi bản tin trước đó, d(k-1): 1 1 1 0 0 1 1 1 0 1 Chuỗi bit được mã hóa vi sai, d(k): 1 1 1 0 0 1 1 1 0 1 1 Chuỗi dịch pha tương ứng, θ(k): π π π 0 0 π π π 0 π π )()1()( kbkdkd  4. Điều chế và tách sóng không đồng bộ 204/3/2013 Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số Tách sóng không đồng bộ DPSK nhị phân - DBPSK : Mạch tách sóng DPSK nhị phân: kết hợp ký hiệu thu được với ký hiệu trước đó để đánh giá sự tương quan giữa chúng trong thời gian một ký hiệu. 4. Điều chế và tách sóng không đồng bộ 21 Chỉ số mẫu k: 0 1 2 3 4 5 6 7 8 9 10 Chuỗi bit được mã hóa vi sai, d(k): 1 1 1 0 0 1 1 1 0 1 1 Chuỗi dịch pha tương ứng, θ(k): π π π 0 0 π π π 0 π π Ngõ ra mạch lấy mẫu: + + - + - + + - - + Chuỗi bit bản tin tách sóng được: 1 1 0 1 0 1 1 0 0 1 Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số Tách sóng không đồng bộ BFSK : 4. Điều chế và tách sóng không đồng bộ 224/3/2013 Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số Tách sóng đồng bộ BPSK & BFSK: 5. Đánh giá chất lượng “0” “1” )(2 t )(1 t 2/ 2/ 0 21      N QPB ss   )2(2)( 2 ) 2 ( 2 1 uQuerfcvu v erfcvQ   234/3/2013 )(1 t 2s1s bEbE bE221  ss 2s 1s )(2 t bE bE bE221  ss“0” “1” BPSK BFSK )( 2 12 00 N E erfc N EQP bbB     ) 2 ( 2 1 00 N E erfc N EQP bbB     Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số Tách sóng đồng bộ M-PAM: Biến quyết định: 5. Đánh giá chất lượng )(1 t2 s1s 0gE3 “00” “01” 4s3s “11” “10” gE gE gE3 4-PAM 1rz  244/3/2013 T0 )(1 t ML detector (Compare with M-1 thresholds) )(tr 1 r mˆ       0 2 2 1 log6)1(2)( N E M MQ M MMP bE Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số Tách sóng đồng bộ M-PSK: thực hiện so sánh pha của vectơ quan sát với M-1 ngưỡng. 5. Đánh giá chất lượng 3s “110” )(1 t 4s 2s sE “000” )(2 t 1s 5s “001” “011”“010” 8-PSK          MN EMQMP bE  sinlog22)( 0 2 254/3/2013 Compute Choose smallest2 1arctan r r ˆ |ˆ|  i T0 )(1 t T0 )(2 t )(tr 1r 2r mˆ 7s 6s 8s “101” “111” “100” Biến quyết định r ˆz Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số Tách sóng đồng bộ M-QAM: 5. Đánh giá chất lượng )(1 t )(2 t 2s1s 3s 4s “0000” “0001” “0011” “0010” 6s5s 7s 8s “1000” “1001” “1011” “1010” 16-QAM         0 2 1 log3114)( N E M MQ M MP bE 264/3/2013 T0 )(1 t ML detector1r T0 )(2 t ML detector )(tr 2r mˆParallel-to-serial converter s) threshold1 with(Compare M s) threshold1 with(Compare M 10s9s 11s 12s 14s13s 15s 16s “1100” “1101” “1111” “1110” “0100” “0101” “0111” “0110” Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số Tách sóng đồng bộ M-FSK: 5. Đánh giá chất lượng )(1 t         0 2 0 )(log)1(1)( N EMQM N EQMMP bsE 274/3/2013         Mr r  1 r T0 T0 )(tM )(tr 1r Mr r ML detector: Choose the largest element in the observed vector mˆ Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số Xác suất lỗi bit PB và xác suất lỗi ký hiệu PE: Số bit/ký tự: Đối với tín hiệu M-FSK: Đối với M-PSK, M-PAM, M-QAM: 5. Đánh giá chất lượng 2 1lim 1 2/ 12 2 1     E B k k k E B P P M M P P Mk 2log 284/3/2013 1for  EEB Pk PP Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số Xác suất lỗi ký tự cho điều chế nhị phân: 5. Đánh giá chất lượng Note! “The same average symbol energy for different sizes of signal space” 294/3/2013 BP dB/ 0NEb Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số Xác suất lỗi ký tự cho điều chế M-PSK: 5. Đánh giá chất lượng Note! “The same average symbol energy for different sizes of signal space” Mk 2log 304/3/2013 EP dB/ 0NEb Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số Xác suất lỗi ký tự cho điều chế M-FSK: 5. Đánh giá chất lượng Note! • “The same average symbol energy for different sizes of signal space” Mk 2log 314/3/2013 EP dB/ 0NEb Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số Xác suất lỗi ký tự cho điều chế M-PAM: 5. Đánh giá chất lượng 324/3/2013 EP dB/ 0NEb Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số Xác suất lỗi ký tự cho điều chế M-QAM: 5. Đánh giá chất lượng 334/3/2013 EP dB/ 0NEb Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số Minh họa giản đồ chòm sao: 5. Đánh giá chất lượng 344/3/2013 Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số Bài 6: MÃ HÓA NGUỒN Nội dung: 1. Tin tức 2. Lý thuyết mã hóa 3. Mã thống kê tối ưu 4. Mã Shannon 5. Mã Fano 6. Mã Huffman 1 1. TIN TỨC • Mô hình hóa nguồn tin Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số Nguồn tin rời rạc: Nguồn tin tạo ra các bản tin một cách ngẫu nhiên. Với nguồn rời rạc (Discrete source), ngõ ra là chuỗi các biến ngẫu nhiên rời rạc.  Mô hình cho nguồn rời rạc: Giả sử nguồn rời rạc XM gồm N ký hiệu :{x1, x2,, xM}, với xác suất tương ứng là {p1,p2,,pM}. Lúc đó: Ví dụ: Nguồn rời rạc nhị phân X sẽ gồm hai ký hiệu: {0,1} và P(X=0)+ P(X=1)=1.  Nguồn rời rạc không nhớ DMS (Discrete Memoryless Source): phát ra chuỗi ký hiệu là độc lập thống kê, nghĩa là: 2 1 ( ); 1, 1, ..., M i i i i P P X x p i M      1 2( | , , ...) ( )n n n nP x x x P x   • Lượng tin (1) Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số  Tin tức liên quan đến sự ngạc nhiên (độ bất ngờ) mà chúng ta cảm nhận khi nhận được bản tin. Thộng tin càng có ý nghĩa khi nó càng hiếm gặp. Từ đó, người ta đưa ra khái niệm lượng tin.  Lượng tin:  lượng tin riêng có được khi xuất hiện bản tin xi (xảy ra sự kiện X= xi ) • Đơn vị của lượng tin: Tùy vào cơ số hàm logarit (cơ số 2: đơn vị là bit, cơ số e: đơn vị là nat, cơ số 10: Hartley) • Tính chất: - - 1. TIN TỨC 3 1( ) log log ( )( )i ii I x P x P x       ( ) 0, 0 1i iI x p   ( ) ( ),i j i jI x I x p p  • Lượng tin (2) Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số  Lượng tin có điều kiện:  lượng tin còn lại của sự kiện X = xi sau khi đã nhận được sự kiện Y = yj .  Lượng tin tương hỗ:  lượng tin có được về sự kiện X =xi từ việc xảy ra sự kiện Y=yi.  Nhận xét: i/ Khi X, Y độc lập thống kê: I(xi,yj) = 0 ii/ I(xi,yj) = I(yj,xi)  lượng tin về sự kiện X = xi có được từ việc xảy ra sự kiện Y = yj giống với lượng tin về sự kiện Y = yj có được từ việc xảy ra sự kiện X = xi. Lượng tin của cặp (xi yj): ( | ) lo g ( | )i j i jI x y P x y  1. TIN TỨC 4 ( | )( , ) ( ) ( | ) log ( ) i j i j i i j i P x y I x y I x I x y P x    ( ) ( ) ( ) ( , )i j i j i jI x y I x I y I x y   • Lượng tin trung bình (1) Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số  lượng tin trung bình chứa trong một ký hiệu bất kỳ của nguồn  Nhận xét: lượng tintrung bình phản ánh được giá trị tin tức của cả nguồn tin. 1 ( ) ( ) lo g ( ) M i i i I X P x P x    1. TIN TỨC 5 • Lượng tin trung bình (2) Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số  Lượng tin riêng trung bình có điều kiện của một tin bất kỳ của Y khi đã biết một tin bất kỳ của X: Lượng tin tương hỗ trung bình: 1. TIN TỨC 1 1 ( / ) ( , ) ( , ) ( , ) log[ ( / )] ( / ) M N i j i j i j XY I Y X P x y I x y p x y p y x bit sym bol        6 1 1 ( , ) ( , ) ( , ) ( , ) log[ ( / ) / ( )] ( / ) M N i j i j i j XY I X Y P x y I x y p x y p x y p x bit sym bol       • Entropy Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số  Giả sử nguồn rời rạc X gồm M ký hiệu {x1, x2,, xM}, Entropy của nguồn X được định nghĩa là:  1 1 ( ) ( ) lo g ( ) ( ) ( ) M M i i i i i i H X P x P x P x I x       1. TIN TỨC 7 • Thông lượng kênh thông tin (1) - Tốc độ lập tin của nguồn tin: n0 : là số ký hiệu được lập trong một đơn vị thời gian Nhận xét: - Thông lượng kênh C : là lượng tin tối đa mà kênh cho đi qua trong một đơn vị thời gian mà không gây lỗi, đơn vị: bps thông thường: R << C Để R tiến tới gần C, ta dùng phương pháp mã hóa thống kê tối ưu để tăng Entropy. Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số 0 ( ) ( )R n H X bps 1. TIN TỨC 8 • Thông lượng kênh thông tin (2) - Thông lượng kênh rời rạc không nhiễu: - Độ dư của nguồn: - Độ dư tương đối: Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số max 0 max( ) ( )C R n H X bps  max( ) ( ) ( )r H X H X bps  1. TIN TỨC 9 max max max( ( ) ( ) ) / ( ) 1 ( ( ) / ( ) )r H X H X H X H X H X    • Thông lượng kênh thông tin (3) - Thông lượng kênh rời rạc có nhiễu: - Theo Shannon: - Nếu R<C: có thể mã hóa để tin được truyền trong kênh có xác suất lỗi nhỏ tùy ý. - Nếu R>C: thì không thể truyền tin mà không bị lỗi. Phương pháp mã hóa giảm xác suất lỗi -> mã hóa kiểm soát lỗi. - Theo định lý Hartley-Shannon, thông lượng kênh tổng quát: Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số 0 0( ; ) [ ( ) ( / )]R n I X Y n H X H X Y   1. TIN TỨC 10 2log (1 / ) ( )C B S N bps  2. LÝ THUYẾT MÃ HÓA • Định nghĩa (1): - Cho nguồn tin rời rạc X sinh ra N tin hay ký tự độc lập: X=(x1 ,,xN) N: cỡ nguồn tin - Xét một bộ mã M có q phần tử ký hiệu mã hữu han: M=(m1 ,,mq) q: cơ số mã * Mã hóa (Encoding) nguồn tin X bằng bộ mã M: xi -> mi1 mi2mik..mil n: chiều dài từ mã , mik : từ mã (code word) * Giải mã (Decoding) là phép biến đổi ngược lại: mi1mi2mil -> xi Trường Đại học Khoa Học Tự Nhiên Khoa Điện tử - viễn thông Thông Tin Số 11 2. LÝ THUYẾT MÃ HÓA • Định nghĩa (2): Điều kiện mã hóa - giải mã: - Một tổ hợp là từ mã của tối đa một tin, và một tin chỉ có duy nhất một từ mã trong bộ mã -> mã hóa là một phép biến đổi ánh xạ 1-1 giữa một tin của nguồn và một từ mã của bộ mã. Trong một s