Luận văn Ứng dụng mạng Noron

k=1..n y(t) : Đầu ra nơron Wk : trọng số liên kết các đầu vào ngoài b: Ngưỡng, xác định ngưỡng kích thích hay ức chế + Phần phi tuyến: Quan hệ phi tuyến y(t)=g(u(t)) cho đầu ra y(t) với đầu vào u(t). Có nhiều hàm phi tuyến có thể sử dụng trong mạng nơron nhân tạo. Các hàm phi tuyến thông thường được mô phỏng theo các hàm ánh xạ của nơron sinh vật. Tuy nhiên có một số dạng hàm mũ, lôgarít được sử dụng nhưng cơ sở sinh vật của các hàm này chưa được giải quyết. Bảng 2.1:Một số hàm phi tuyến thường dùng trong các mô hình nơron Tên hàm Công thức g u 1 0 Đặc tính Hàm bước nhảy đơn vị (hard limit) g(u)= 1 nếu u³ 0 g 0 nếu u< 0 Hàm bước nhảy lưỡng cực g(u)= 1 nếu u³ 0 0 1 -1 u -1 nếu u< 0 Hàm tuyến tính g(u)=u u g 0 Hàm tuyến tính bão hòa g(u)= 1 nếu u>1 g -1 1 1 -1 u u 1 1 0 u nếu 0£u£1 0 nếu 0<u Hàm tuyến tính bão hòa đối xứng g(u)= 1 nếu u>1 u g 0 u nếu -1£u£1 -1 nếu 0<u Hàm tuyến tính dương g(u)= u nếu u ³0 0 nếu u <0 Hàm sigmoid đơn cực Hàm sigmoid lưỡng cực Hàm cạnh tranh g(u)= 1 nơron gần tâm nhất 0 nơron khác 2.3 Mạng nơron nhân tạo 2.3.1 Cấu trúc mạng nơron Mạng nơron hai lớp: Mạng nơron hai lớp gồm một lớp đầu vào và một lớp đầu ra riêng biệt. Mạng nơron nhiều lớp: Mạng nơron nhiều lớp gồm một lớp đầu vào và một lớp đầu ra riêng biệt. Các lớp nằm giữa lớp đầu vào và lớp đầu ra gọi là các lớp ẩn (Hidden layers). Mạng nơron truyền thẳng: Mạng nơron truyền thẳng là mạng hai hay nhiều lớp mà tín hiệu truyền theo một hướng từ đầu vào đến đầu ra. Mạng nơron phản hồi: Mạng nơron phản hồi là mạng mà trong đó một hoặc nhiều đầu ra của các phần tử lớp sau truyền tín hiệu ngược lại tới đầu vào của lớp trước. 2.3.2 Phân loại mạng nơron Có nhiều cách để phân loại mạng nơron. - Dựa vào số lớp có trong mạng nơron ta có thể phân loại thành : mạng nơron một lớp; mạng nơron nhiều lớp. - Dựa vào đường truyền tín hiệu trong mạng nơron ta phân loại thành: Mạng nơron truyền thẳng; mạng nơron phản hồi; mạng nơron tự tổ chức. Một kiểu phân loại điển hình được biểu diễn như hình 2.8. Truyền thẳng Phản hồi Tự tổ chức Một lớp Nhiều lớp BackPropagation Perceptron Adaline Brain State-in Box Hop-field Máy Boltz-Man BAM Mc Culloch Pitts Cohen Grossberg RBF Ánh xạ đặc trưng ART Mạng nơron nhân tạo Hình2.8: Phân loại mạng nơron nhân tạo 2.3.3 Một số mạng nơron nhân tạo 2.3.3.1 Mạng nơron truyền thẳng + Mạng truyền thẳng một lớp Mạng nơron truyền thẳng một lớp là mạng mà các nơron tạo thành một lớp và tín hiệu truyền theo một hướng từ đầu vào đến đầu ra. g(.) u1(t) y1 b1 p1 w11 g(.) u2(t) y2 b2 p2 w22 g(.) un(t) yn bn pm wnm Hình 2.9: Mô hình mạng nơron truyền thẳng một lớp Trường hợp H(s)=1, ta có phương trình mô tả mạng: ui(t)= yi(t)=g(ui(t)) Trong đó ui(t) là tổng tất cả các đầu vào thứ i, i=1,..n. pk(t) : đầu vào ngoài thứ k, k=1,...m, tại thời điểm t. wik : trọng liên kết từ đầu vào thứ k đến nơron thứ i. yi(t) : đầu ra của nơron thứ i. bi : ngưỡng của nơron thứ i. n : số phần tử nơron. m : số tín hiệu đầu vào. Có thể mô tả bằng phương trình dạng ma trận như sau: U(t)= W.P(t)+B Y(t)=g(U(t)) Trong đó: P(t)= [p1(t), p2(t),... pm(t) ]T U(t)= [u1(t), u2(t),...un(t) ]T Y(t)= [y1(t), y2(t),.... ym(t) ]T W= [wik] B=[b1, b2,...bn]T + Mạng nơron truyền thẳng nhiều lớp Mạng nơron truyền thẳng hai lớp gồm lớp sigmoid và lớp tuyến tính có thể xấp xỉ hầu hết các hàm tùy ý, mạng một lớp không làm được điều này. g1 g1 g1 gq gq gq gQ gQ gQ p1 p2 pm Lớp vào Lớp ra Lớp ẩn Hình 2.10: Mạng nơron truyền thẳng nhiều lớp Phương trình mô tả mạng : Trong đó : : đầu ra của nơron thứ i ở lớp thứ q, i=1..., q=1,...Q : số nơron ở lớp thứ q. Q: Số lớp nơron của mạng. : ngưỡng của nơron thứ i ở lớp thứ q. : trọng liên kết giữa đầu ra thứ j của lớp thứ q-1 đến nơron thứ i của lớp thứ q, j=1... Đầu vào mạng y0=p. Đầu ra mạng y=yQ Hàm năng lượng của mạng có thể tính theo biểu thức: Trong đó di là đầu ra mong muốn của nơron thứ i ở lớp ra. Hầu hết các mạng nơron thực tế chỉ có 2 hoặc 3 lớp, rất hiếm mạng có từ 4 lớp trở lên. Các đặc điểm của tín hiệu đầu ra sẽ quyết định hàm truyền của mạng ở lớp ra. + Một số mạng nơron truyền thẳng W b 1 n x 1 n x m p m x1 m y n x1 n x1 u y=hardlim(Wp+b) Hard limit Layer Input p1 p2 pm - Mạng Perceptron (PE) Hình 2.11: Mạng perceptron một lớp với hàm truyền hardlimit Trong đó : m: số đầu vào n: Số nơron Ma trận trọng số: Ma trận đầu vào p= [p1,p2,....pm ]T b= [b1, b2,....bn ]T Phương trình tác động : Trong đó là đầu ra mong muốn của nơron thứ i ở bước lặp thứ k. Mạng sử dụng luật học Perceptron: Wnew = Wold+e.pT bnew = bold +e Trong đó e =d-y là sai số Perceptron. Mạng Perceptron thích hợp cho bài toán nhận dạng và phân loại mẫu. -Mạng Adaline Năm 1960, Windrow và Marcian Hoff đã giới thiệu mạng Adaline và một luật học gọi là LMS (Least Mean Square). Mạng Adaline tương tự như perceptron ngoại trừ hàm truyền là hàm tuyến tính thay cho hardlimit. Cả Adaline và Perceptron đều có cùng hạn chế: chúng chỉ có thể giải quyết được bài toán phân lớp tuyến tính (khả tách tuyến tính). Tuy vậy thuật học LMS mạnh hơn luật học perceptron. Luật học perceptron được đảm bảo hội tụ đến một lời giải cho phép phân nhóm đúng đắn các mẫu huấn luyện, mạng thu được có thể nhạy với nhiễu vì các mẫu thường nằm ở gần các biên quyết định. Thuật học LMS cực tiểu hóa sai số bình phương trung bình do đó cố gắng dịch chuyển các biên quyết định ra xa các mẫu huấn luyện nhất có thể tránh được ảnh hưởng của nhiễu. Thuật học LMS có nhiều ý nghĩa sử dụng thực tế hơn luật học perceptron, điều này đặc biệt đúng trong lĩnh vực xử lý tín hiệu số. Chẳng hạn, các hệ thống điện thoại đường dài có thể sử dụng các mạng Adaline để khử nhiễu lặp. Mạng Adaline cũng được ứng dụng để lọc thích nghi. p1 p2 pm W b 1 n x 1 n x m p m x1 m y n x1 n x1 u y=pureline(Wp +b) Lớp nơron tuyến tính Đầu vào Hình 2.12: Mạng Adaline Trong đó : m: số đầu vào n: số nơron Ma trận trọng số: Ma trận đầu vào p= [p1,p2,....pm ]T b= [b1, b2,....bn ]T Phương trình tác động Thuật toán sai số bình phương nhỏ nhất hay còn gọi là luật học delta hoặc thuật học Windrow-Hoff. Tại bước lặp thứ k+1 ta có: Trong đó: và a là hệ số học Mạng nơron truyền thẳng nhiều lớp sử dụng thuật học lan truyền ngược W1 b1 1 n1x 1 n1xm p m x1 m y1 n1x1 n1x1 u1 y1=tansig(W1p +b1) Lớp nơron Sigmoid Đầu vào W2 b2 n2x1 n2x1 n2x1 u2 y2=pureline(W2y1 +b2) Lớp nơron tuyến tính 1 y2 n2xn1 Hình 2.13: Ví dụ mạng hai lớp sử dụng thuật học BP Mạng lan truyền ngược thường có một hoặc nhiều lớp ẩn với các nơron dạng sigmoid và lớp ra là các nơron với hàm truyền tuyến tính. Mạng nhiều lớp sử dụng thuật học lan truyền ngược đang được sử dụng rộng rãi nhất trong lĩnh vực nơron. Luật học lan truyền ngược được phát triển từ luật học delta. Cũng như luật học delta, luật học lan truyền ngược (BP) là xấp xỉ của thuật toán giảm dốc nhất, trong đó hàm chất lượng là sai số bình phương trung bình. Sự khác nhau giữa luật học delta và luật học lan truyền ngược chỉ là cách thức lấy đạo hàm. Đối với mạng đa lớp ta có phương trình với q=0,1,..Q-1. Trong đó Q là số lớp của mạng. Các nơron ở lớp đầu tiên nhận đầu vào từ ngoài: y0=p làm điểm khởi đầu. Các đầu ra của các nơron trong lớp cuối cùng được xem là đầu ra của mạng y=yQ. Mạng được cung cấp các tập mẫu học: {p1,d1},{p2,d2},...{pk,dk}, trong đó pi là một đầu vào mạng và di là đầu ra đích tương ứng. Khi mỗi đầu vào được áp lên mạng, luật học sẽ điều chỉnh các tham biến mạng để cực tiểu hóa sai số bình phương trung bình: với x là véc tơ chứa các trọng số và ngưỡng của mạng: x= Thuật toán giảm dốc nhất cho xấp xỉ sai số bình phương trung bình là: Trong đó a là hệ số học. Với định nghĩa là độ nhạy của theo thay đổi của net input tại lớp q. Thuật toán xấp xỉ giảm dốc nhất trở thành : Và dạng ma trận: Trong đó: Ký hiệu Ta có: Ta sẽ truyền lùi các độ nhạy thông qua mạng từ lớp cuối cùng cho đến lớp đầu tiên. sQ sQ-1 ..... s2 s1 Tóm lại giải thuật BP được mô tả như sau: Bước truyền thẳng: truyền đầu vào xuôi theo mạng: y0 = p với q=0,1,...,Q-1. y = yQ Bước truyền lùi: truyền lùi các độ nhạy: ; với q = Q-1,...,2,1. Các trọng số và ngưỡng được cập nhật theo luật xấp xỉ giảm dốc nhất: Tuy nhiên thuật toán BP cơ bản ở trên vẫn còn quá chậm cho các ứng dụng. Việc nghiên cứu các thuật toán nhanh hơn được chia thành hai nhóm. Nhóm thứ nhất phát triển các kỹ thuật mang tính kinh nghiệm (heuristic), nay sinh khi nghiên cứu về chất lượng đặc trưng của thuật toán BP. Các kỹ thuật heuristic này đưa ra các ý tưởng như hệ số học biến đổi, sử dụng momentum và các biến co giãn. Nhóm thứ hai phát triển theo hướng kỹ thuật tối ưu hóa số. Một số kỹ thuật về tối ưu hóa số đã áp dụng thành công cho mạng nơron nhiều lớp là : thuật toán gradient liên hợp và thuật toán Levenberg-Marquardt (LM- một phiên bản khác của phương pháp Newton)... [TL5] 2.3.3.2 Mạng nơron phản hồi p1 p2 pm y1 y2 yn b1 b2 bn Mạng nơron phản hồi có một số đầu ra kết nối đến các đầu vào của mạng. Hình 2.14: Mạng nơron phản hồi một lớp Trong trường hợp tổng quát, mô hình mạng nơron phản hồi được mô tả bằng hàm: U(t)=F(Y(t), P(t), b) Y(t)=G(U(t)) Trong đó: U(t) là trạng thái P(t) là các đầu vào ngoài b là tham số ngưỡng F(.) là hàm mô tả cấu trúc G(.) là hàm mô tả quan hệ giữa biến trạng thái và đầu ra Ta xét một số mạng nơron phản hồi sau: + Mạng Hopfield liên tục Hình 2.15: Mô hình Hopfield r r r Mô hình Hopfield thể hiện ở dạng mạch điện. Mỗi nơron thể hiện bằng một khuếch đại và các điện trở/tụ điện. Có 2 tập đầu vào nơron. Tập thứ nhất thể hiện bởi các dòng điện I1,I2,... là các đầu vào từ bên ngoài không đổi. Tập còn lại là gồm các kết nối phản hồi từ các khuếch đại thao tác khác. Phương trình thao tác cho mô hình Hopfield, sử dụng định luật Kirchoff là: Trong đó ni là điện áp đầu vào của bộ khuếch đại thứ i, ai là điện áp đầu ra của bộ khuếch đại thứ i, C là điện dung đầu vào và Ii là cường độ dòng điện đầu vào và cố định cho bộ khuếch đại thứ i. Và . Giả thiết là mạch điện là đối xứng do đó Ti,j = Tj,i. Ta biến đổi phương trình thao tác thành dạng: hay ở dạng véctơ : và Kết quả ta có mạng Hopfield cho ở hình 2.16 Hình 2.16: Mạng Hopfield n(0)=f-1(p), (a(0)=p), edn/dt = -n+Wf(n)+b 1/e Đầu vào Lớp phản hồi Hopfield đã chọn hàm Lyapunov hay hàm năng lượng (áp dụng trong định lý bất biến LaShalle) sau: và chứng minh được £ 0 nghĩa là là bán xác định âm và V chính là một hàm Lyapunov. Áp dụng định lý bất biến LaShalle cho phép xác định các điểm cân bằng của mạng Hopfield. Đầu tiên ta xác định tập Z: Z = {a: là bao đóng của G } Tập này chứa tất cả các điểm mà tại đó đạo hàm của hàm Lyapunov bằng 0. Đạo hàm của hàm Lyapunov bằng 0 một khi các đạo hàm của đầu ra của nơron bằng 0: Hệ này tồn tại nhiều điểm cân bằng ứng với mức năng lượng cực tiểu trên một siêu phẳng năng lượng của siêu diện n chiều. Mạng Hopfield không có luật huấn luyện và không được huấn luyện hay tự học. Mạng có khả năng dùng làm bộ nhớ các mẫu lệnh để sau đó gọi lại.Mạng cũng có thể dùng trong hệ nhận dạng các tham số, làm các suy diễn mờ trong điều khiển thông minh, mở ra những lớp bài toán cho nhiều lĩnh vực khác nhau. + Mạng BAM (Bidirection Associative Memory) Mạng BAM là cải tiến của các mạng Hopfield do Kosko đề xuất năm 1988 với đầu ra truyền ngược trở về bằng một nơron. Thực chất có thể xem sự phản hồi đó như lớp mạng thứ hai. Phương trình tác động: y’=g(Wx) hoặc y’i = g; i=1,2..,n Hình 2.17: Mạng BAM x1 x2 xm y1 y2 ym x’=g(WTy’) hoặc ; j=1,2...m Qúa trình gọi lại: y(1) =g(Wx(0)) x(2) = g(WTy(1)) y(3) =g(Wx(2)) x(4) = g(WTy(3)) . . y(k-1) =g(Wx(k-2)) x(k) = g(WTy(k-1)) Ta có hàm năng lượng E(x,y)= Chỉnh trọng trên cơ sở luật Hebb: cho vectơ lưỡng cực cho vectơ không lưỡng cực cho vectơ lưỡng cực cho vectơ không lưỡng cực hoặc Mạng BAM nhớ tập trọng liên kết x-y, với đầu vào x mạng cho đầu ra y tương ứng và ngược lại. + Mạng RBF(Radial Basis Function Networks) x1 x2 xm y1 y2 yn ... ... Mạng RBF đã được đề xuất bởi một số tác giả như Moody và Darken 1989; Renals và Rohwer 1989... Kiến trúc chung của mạng RBF như ở hình 2.18. Hình 2.18: Mạng RBF Với lớp ẩn chứa các hàm RBF. Hàm RBF là hàm đối xứng hình chuông chẳng hạn như hàm Gauss. Hàm gauss: f(x) = exp[-(x - M)2/2s2 ] Trong đó M và s là giá trị trung bình và phương sai của biến x. Mạng RBF Gauss có thể áp dụng luật học không giám sát của Kohonen mở rộng. Phương trình tác động: yi=gi(với i=1,...n Trong đó mq : giá trị trung bình : phương sai Hàm sai lệch: Chỉnh trọng: Mô hình RBF có thể thực hiện như một mô hình mờ bởi vì các RBF có thể xem như các hàm liên thuộc. So sánh các loại mạng nơron ta thấy một số đặc điểm sau: - Mạng nơron truyền thẳng không có lớp ẩn dễ phân tích nhưng không mô tả được mọi hàm. Mạng có lớp ẩn cho phép mô tả được hầu hết các hàm nhưng khó phân tích và có thể gây ra sai số tích lũy qua các lớp. - Mạng nơron phản hồi một lớp đơn giản trong phân tích, không chứa sai số tích lũy, dễ thực hiện trên các mạch điện và mạch tổ hợp. Mạng được nghiên cứu và ứng dụng với phần động học tuyến tính thích hợp với các bài toán điều khiển và công nghệ rôbốt. - Mạng tự tổ chức mở ra nhiều khả năng giải quyết các bài toán phức tạp, thông minh gần với tri thức con người nhưng chậm trong xử lý do số lượng tính toán nhiều. 2.4 Học của mạng nơron Luật học (thuật toán huấn luyện) thực hiện thuật toán để điều chỉnh các trọng và ngưỡng hoặc cấu trúc của mạng để có tín hiệu đầu ra mong muốn. Có hai thuật học cơ bản là thuật học tham số quan tâm đến việc điều chỉnh các trọng số, ngưỡng của mạng và thuật học cấu trúc tập trung vào việc điều chỉnh cấu trúc mạng bao gồm số lượng các nơron, số lớp và mối liên kết giữa chúng. Các thuật học có thể phân thành học có tín hiệu chỉ đạo, học củng cố và học không có hướng dẫn. Học có tín hiệu chỉ đạo là học để đưa ra các tín hiệu bám sát các đầu ra mong muốn. Mạng được cung cấp các cặp giá trị mẫu học (p1, d1), (p2, d2),... (pk, dk) là các cặp giá trị đầu vào đầu ra mong muốn. Quá trình học là điều chỉnh trọng số và ngưỡng của mạng để giảm sai số giữa giá trị đầu ra thực tế và đầu ra mong muốn. Luật học điển hình của nhóm này là luật học Delta của Widrow dùng để xấp xỉ trọng của mạng Adaline dựa trên nguyên lý giảm Gradient. Một luật học hiệu quả và được sử dụng rộng rãi trong lĩnh vực mạng nơron là thuật toán lan truyền ngược cũng nằm trong nhóm này với các trọng số và ngưỡng được cập nhật theo luật xấp xỉ giảm dốc nhất. Ngoài ra còn có luật học Perceptron. Về cơ bản luật học Perceptron giống luật học Delta. Điểm khác nhau là luật học Delta thay đổi các giá trị của trọng trong thời gian học, còn luật học Perceptron thêm hoặc bỏ trọng tuỳ theo giá trị sai số đầu ra là dương hay âm. Học củng cố được thực hiện trên thông tin phản hồi hai trạng thái đúng hoặc sai và tín hiệu mang thông tin phản hồi được gọi là tín hiệu cũng cố cho quá trình học. Quá trình học không có hướng dẫn là quá trình học không có thông tin phản hồi cho biết tín hiệu đầu ra là đúng hay không. Mạng phải tự xác định các cặp dữ liệu mẫu, các tính chất, các quan hệ và mã hóa chúng trong tín hiệu đầu ra. Luật học không có hướng dẫn điển hình là luật Hebb thường dùng cho mạng tự liên kết. Luật học LVQ thường dùng cho mạng nơron tự tổ chức. MNN W Bộ tính sai số X Y d Tín hiệu sai số Đầu ra mong muốn Đầu ra thực tế (a)- Học có tín hiệu chỉ đạo MNN W Bộ nhận xét X Y d Tín hiệu nhận xét Đầu ra thực tế Đầu ra mong muốn (b)- Học củng cố MNN W X Y Đầu vào Đầu ra thực tế (c)- Học không có hướng dẫn Hình 2.19 : Sơ đồ khối các thuật học của mạng nơron. Ứng với các nhóm mạng nơron khác nhau thường áp dụng một số luật học nhất định. Nếu tồn tại hàng chục loại mạng nơron khác nhau thì các luật học dùng trong mạng nơron có thể liệt kê gấp nhiều lần. Đối với mạng nơron phản hồi thường sử dụng luật Hebb và các luật cải tiến của nó để chỉnh trọng mà không cần tín hiệu chỉ đạo từ bên ngoài. Đối với mạng nơron truyền thẳng thường sử dụng luật truyền ngược để chỉnh trọng với tín hiệu chỉ đạo từ bên ngoài. Nếu coi cấu trúc mô hình mạng là phần xương thịt, thể xác thì các luật học là phần trí tuệ thông minh của mạng nơron và các công trình nghiên cứu luật học chiếm số lượng lớn nhất trong mấy chục năm qua. 2.5 Một số ứng dụng mạng nơron nhân tạo + Mạng nơron nhân tạo có khả năng nhận dạng (ảnh, vật thể, tiếng nói...), xử lý thông tin có nhiễu, không đầy đủ, không chắc chắn, mờ [TL7], [TL18]. + Mạng nơron có khả năng xử lý song song với tốc độ xử lý nhanh do vậy nó là công cụ mới đầy hứa hẹn trong khoa học tính toán, nhận dạng, điều khiển tự động cũng như nhiều lĩnh vực khác. Các hệ thống sử dụng nó có thể tăng tốc độ xử lý và tính toán theo thời gian thực [TL18]. + Mạng nơron nhân tạo có khả năng học thích nghi, nó sẽ thích ứng với quá trình tự chỉnh trong quá trình điều khiển tự động. + Mạng nơron có khả năng tổng quát hoá do đó có thể áp dụng để dự báo lỗi hệ thống tránh được những sự cố đáng tiếc mà các hệ thống điều khiển có thể gây ra [TL5], [TL7]. + Mạng nơron có thể phối hợp cả nhận dạng và điều khiển đối tượng do đó nó có thể được thực hiện như một bộ điều khiển thích nghi. Việc nghiên cứu để đưa mạng nơron nhân tạo áp dụng vào quá trình điều khiển tự động đã được nhiều nhà khoa học thực hiện và đã đưa ra được nhiều kết quả quan trọng. + Theo Hunt (1992) thì mạng Hopfield có thể dùng làm bộ điều khiển cho hệ thống học tuyến tính [TL15]. Trong trường hợp này người ta dùng các phần tử của cấu trúc nơron thay đổi được để xây dựng bộ điều khiển. Bộ điều khiển đưa ra chứa đựng sự thích nghi và đạt độ bền tốt. + Theo Chu thì mạng Hopfield có thể dùng làm một phần của cơ chế thích nghi trong nhận dạng hệ tuyến tính. Trong trường hợp này, mạng tham gia vào vòng thích nghi và được dùng để tối thiểu tốc độ sai số bình phương tức thời của tất cả các trạng thái. Các đầu ra của mạng được dùng để thể hiện các tham số của mô hình đối tượng dạng tuyến tính có tham số thay đổi theo thời gian hoặc tham số bất biến. + Chang, Zhang và Sami cho biết mạng Hopfield cũng có thể kết hợp với mạng Gabor để nhận dạng hệ phi tuyến. Trong trường hợp này, mạng bao gồm ba lớp. Lớp thứ nhất gọi là bộ tạo hàm sử dụng mạng Gabor để tạo hàm phi tuyến cơ sở Gabor. Lớp thứ hai dùng mạng Hopfield để tối ưu các hệ số trọng chưa biết. Lớp thứ ba được gọi là mạng điều khiển để tính sai số ước lượng và điều khiển hoạt động của các lớp mạng thứ nhất và lớp mạng thứ hai. Hệ không yêu cầu phải ổn định tiệm cận mà chỉ cần các đầu vào-ra giới hạn và ổn định đối với các kết quả được coi là hợp lý theo miền vào-ra lớn. Thành công của phương pháp ở chỗ đã đạt được lý luận của phương pháp và cho kết quả mô phỏng. + Mạng phản hồi Hopfield được dùng để tổng hợp hệ điều khiển tuyến tính có phản hồi thông qua đặt cực. Trong trường hợp này mạng nơron có khả năng giải những bài toán quy hoạch lồi. Để thu được ma trận phản hồi trạng thái K thông qua đặt cực, người ta dùng mạng nơron phản hồi kiểu Hopfield. So với các phương pháp đặt cực truyền thống khác, phương pháp này có ưu điểm là phương pháp tổng hợp on-line và tự điều chỉnh thông qua mạng nơron phản hồi. So với phương pháp sử dụng mạng nơron khác dùng để tổng hợp hệ tuyến tính, phương pháp này có ưu điểm là tự động cả đặt cực và tối thiểu chuẩn mà không cấn huấn luyện trước. Phương pháp này sử dụng bản chất vốn dĩ về tính toán song song và phân bổ của mạng nơron phản hồi nên có thể dùng trực tiếp trong các ứng dụng theo thời gian thực. Các tác giả này đang định hướng nghiên cứu phương pháp này để đặt cực trong tổng hợp hệ phi tuyến. + Mạng nơron phản hồi có thể dùng làm bộ nhớ liên kết. Bộ nhớ liên kết có thể sử dụng như bộ suy diễn mờ. Như vậy có sự kết hợp giữa mạng nơron và các luật mờ tạo nên bộ điều khiển nơron mờ. Phần điều kiện trong trường hợp này có thể sử dụng mạng 'học lượng tử véc tơ'. Luật if...then... dùng bộ nhớ liên kết với mạng Hopfield hoặc mạng liên kết hai chiều. + Yun-Ki Lei và các đồng tác giả đã sử dụng mạng nơron truyền thẳng ba lớp lấy tín hiệu sai số để điều chỉnh tham số của PID là các hệ số Ki, Kp, Kd. Đầu vào hiệu chỉnh mạng nơron trong trường hợp này sử dụng độ lệch giữa sai số chuẩn g(t) và sai số thực của hệ điều khiển. Tuy nhiên, hệ điều khiển được xây dựng chưa được chứng minh đảm bảo ổn định. + Abiev (1994) cũng đã nêu sơ đồ chỉnh định trực tiếp các hệ số PID. Trong trường hợp này, mạng nơron ba lớp truyền thẳng chứa các tình huống điều khiển để đưa ra tín hiệu điều khiển cho hệ. Mạng nơron lúc đó được mô tả theo các luật mờ if...then...Phương pháp đã được áp dụng để điều khiển nhiệt độ trong công nghệ hoá dầu ở Bacu. + Allon Gues cũng đã nêu một phương pháp tuyến tính hóa quanh điểm cân bằng của mạng Hopfield liên tục nhằm xác định hệ số của mô hình bằng cách rút ra và giải n(n+1) phương trình và bất phương trình, (trong đó n là số phần tử nơron). Phương pháp Liapunov trực tiếp sử dụng ở đây để xác định nghiệm ổn định tiệm cận cho mạng. Các vùng ổn định của mạng dùng làm các vùng điều chỉnh các tham số của bộ điều chỉnh PD. Đây là một phương pháp tổng hợp mạng kết hợp với tiêu chuẩn ổn định Liapunov để xác định các hệ số trọng của mạng liên tục cho từng phần tử nơron, mỗi nơron chỉnh một tham số của bộ PD. + Năm 1996, vấn đề nhận dạng tham số và điều khiển hệ servo với bộ điều chỉnh PID đã được đưa ra. Sơ đồ sử dụng mạng Hopfield liên tục để nhận dạng, sử dụng mạng Hopfield rời rạc bậc ba theo phương pháp điều khiển gián tiếp để điều chỉnh tham số của bộ điều khiển PID theo tình huống, đồng thời ứng dụng nó để điều khiển rô bốt. + Mạng nơron RBF, với khả năng ứng dụng trong điều khiển thích nghi phi tuyến. Trên cơ sở phân tích ưu điểm của mạng nơron RBF là khả năng sinh và diệt nơron tác giả đưa ra nhận định khả năng ứng dụng nó vào quá trình điều khiển thích nghi các hệ thống phi tuyến có cấu trúc thay đổi. + Mạng nơron truyền thẳng nhiều lớp với khả năng xấp xỉ các hàm phi tuyến bất kỳ với độ chính xác tuỳ ý do đó ngày càng được ứng dụng nhiều trong các bài toán điều khiển. + Một số tác giả đã tập trung nghiên cứu việc ứng dụng mạng nơron nhân tạo vào điều khiển rô bốt và tay máy [TL13]. Các mạng nơron phản hồi, mạng nơron truyền thẳng cũng đã được sử dụng để hiệu chỉnh tín hiệu điều khiển nhằm đạt được chế độ điều khiển tối ưu. + Mạng nơron đã dần được ứng dụng vào các lĩnh vực truyền thông như nhận dạng kênh, mô hình hoá kênh, mã hoá và giải mã, hiệu chỉnh kênh, phân tích phổ, lượng tử hoá véc tơ... ở đây các mạng nơron truyền thẳng, phản hồi, mạng nơron tự tổ chức được ứng dụng trong các lĩnh vực phù hợp. + Có thể sử dụng mạng nơron để làm bộ biến đổi tương tự-số. Để xác định các trọng và ngưỡng của mạng nơron ta tiến hành so sánh sai số của bộ biến đổi với hàm năng lượng của mạng Hopfield. + Mạng nơron được dùng để xấp xỉ các đặc tính phi tuyến của cảm biến dựa trên lý thuyết xấp xỉ hàm một hoặc nhiều biến bằng mạng nơron với độ chính xác tủy ý. + Ứng dụng mạng nơron trong xử lý điện não. Trong điện não đồ thì sóng điện não EEG bao gồm bốn sóng là Delta, Theta, Alpha và Beta. Để nhận dạng ra bốn loại sóng đó rồi tiến hành so sánh điện não đồ của người mắc bệnh và người không mắc bệnh giúp cho quá trình chuẩn đoán bệnh được dễ dàng. Mạng nơron có thể thực hiện được việc đó. Mạng nơron Back-propagation có trễ với hàm kích hoạt Sigmoid đã được sử dụng để nhận dạng các thông số của điện não đồ. + Các mạng nơron đã được nhiều tác giả nghiên cứu ứng dụng trong xử lý chữ viết, như: nhận dạng ký tự, nhận dạng chữ viết, nhận dạng tiếng nói. + Trong các lĩnh vực nghiên cứu về hình ảnh cũng được các tác giả sử dụng mạng nơron để xử lý hình ảnh như nhận dạng, xử lý. 2.6 Kết luận Trong chương này chúng tôi đã trình bày các nét đặc thù điển hình của mạng nơron và khả năng hiệu chỉnh trọng của nó. Trong đó nổi bật lên mấy vấn đề sau: + Cơ sở nghiên cứu mạng nơron nhân tạo là quá trình phỏng cấu hình mạng của nơron sinh vật, từ cấu trúc của một nơron sinh vật đến cấu trúc mạng của nơron nhân tạo cũng như quá trình học. + Cấu trúc cơ bản của mạng nơron nhân tạo đã được nêu làm sáng tỏ nguyên lý hoạt động của mạng. Một số cấu trúc mạng truyền thẳng, mạng phản hồi cũng được giới thiệu làm cơ sở cho các nghiên cứu và lựa chọn cấu trúc mạng cho đề tài của luận văn. + Nguyên lý xấp xỉ theo quan điểm lý thuyết đối với mạng nơron và một số luật học cơ bản cũng được nêu ra cho cách chỉnh trọng của mạng nơron. Từ những phân tích trên chúng tôi đề ra vấn đề nghiên cứu ứng dụng mạng nơron: - Để khắc độ tự động thiết bị đo và cảm biến - Xử lý số liệu đo để xác định giá trị thực - Chỉnh định đường đặc tính của thiết bị đo và cảm biến nằm trong giới hạn sai số cho phép. Chương 3 ỨNG DỤNG MẠNG NƠRON ĐỂ KHẮC ĐỘ TỰ ĐỘNG 3.1 Cơ sở lý thuyết xử lý số liệu đo  3.1.1 Tính toán sai số ngẫu nhiên [TL3] Sai số ngẫu nhiê