Tóm tắt Luận án Mô phỏng quá trình ghi nhớ của nơron sinh học

t. Hàm sigmoid được sử dụng thường xuyên nhất có dạng: (1.2) với β là tham số lặp Các nơ-ron nhân tạo kết nối với nhau tạo thành các mạng nơ-ron nhân tạo. 1.3 Mô phỏng quá trình ghi nhớ thông tin của các mạng nơ-ron nhân tạo Một ANN có hai quá trình gồm quá trình học và quá trình nhớ lại. Ba lược đồ học của ANN là học có giám sát, học không giám sát, và lai giữa hai lược đồ học giám sát và học không giám sát. 4 Có bốn kiểu luật học gồm: luật lỗi-làm đúng (error-correction), luật của Boltzmann, luật của Hebb, và luật học cạnh tranh. Đối với luật lỗi-làm đúng, mô hình học có giám sát theo nguyên tắc sau: dùng lỗi do sự chênh lệnh giữa tín hiệu ra thực và tín hiệu ra mong đợi để thay đổi trọng số kết nối sao cho giảm dần được lỗi. Luật học Boltman là một quy tắc học tập ngẫu nhiên mà điều chỉnh trọng số kết nối để trạng thái của các nơ-ron đáp ứng một phân phối xác suất mong đợi. Luật học của Hebb được phát biểu: Nếu tế bào thần kinh ở hai khớp thần kinh được kích hoạt đồng thời và liên tục thì sự liên kết của hai khớp thần kinh sẽ được tăng lên. Luật học cạnh tranh chỉ cho phép một nơ-ron được kích hoạt cung cấp tín hiệu ra ở một thời điểm. CHƯƠNG 2. CƠ SỞ LÝ THUYẾT 2.1 Logic mờ 2.1.1 Định nghĩa Cho X là tập khác rỗng. Một tập mờ A trên X được đặc trưng bằng một hàm thuộcviên với µA(x) thể hiện mức độ thành viên của phần tử x vào tập mờ A đối với mọi x X. 2.1.2 Các phép toán với tập mờ Cho A, B là hai tập mờ trên X. Với mọi x X, Phép giao của hai tập A, B được định nghĩa: (2.1) Phép hợp của hai tập A, B được định nghĩa: (2.2) Phép bù một tập mờ A được định nghĩa: (2.3) Phép nối mờ của A, B là một ánh xạ: (2.4) thỏa mãn C(0, 0) = C(0, 1) = C(1, 0) = 0 và C(1, 1) = 1. Một kết nối mờ (2.5) thỏa mãn T(x, 1) = x với x [0,1] được gọi là triangular norm hay t-norm. 5 Một phân tách mờ là một ánh xạ (2.9) thỏa mãn D(0, 0) = 0 và D(0, 1) = D(1, 0) = D(1, 1) = 1. Một phân tách mờ (2.10) thỏa mãn S(1, x) = x với x [0,1] được gọi là triangular co-norm hay short s-norm. Một thao tác (2.14) được gọi là gợi ý mờ nếu I mở rộng suy diễn thông thường [0, 1] x [0, 1] với I(0, 0) = I(0, 1) = I(1, 1) = 1 và I(1, 0) = 0. 2.2 Toán học hình thái 2.2.1 Lưới đầy đủ Lưới đầy đủ là một tập có thứ tự, từng phần L trong đó mỗi tập con có một chặn trên và chặn dưới trong L. Lớp các tập mờ kế thừa cấu trúc lưới đầy đủ của chu kỳ đơn [0, 1]. 2.2.2 Các thao tác cơ bản của hình thái toán học Phép co rút là một ánh xạ từ một lưới đầy đủ L đến một lưới đầy đủ M thỏa mãn công thức sau: (2.18) Phép giãn nở : L M thỏa mãn công thức sau: (2.19) 2.3 Mô hình AM 2.3.1 Khái niệm về AM AM là một cấu trúc nội dung-địa chỉ mà ánh xạ các mẫu dữ liệu vào sang các mẫu dữ liệu ra. Một cấu trúc nội dung-địa chỉ là một dạng bộ nhớ mà cho phép nhớ lại dữ liệu dựa vào mức độ tương tự giữa mẫu dữ liệu vào và các mẫu đã lưu trong bộ nhớ. 2.3.2 Hoạt động của AM AM hoạt động ở hai dạng gồm tự liên kết và liên kết khác loại. Bộ nhớ ở dạng tự liên kết đưa ra một mẫu đã lưu mà giống nhất với mẫu vào hiện tại. Ở dạng liên kết khác loại, 6 mẫu đưa ra khác hoàn toàn mẫu vào về nội dung, kiểu và định dạng nhưng có liên quan với mẫu đưa vào. AM có hai quá trình là học các cặp mẫu và nhớ lại một mẫu đã lưu từ một mẫu vào. 2.3.2 Một số đặc điểm của AM - Các lỗi và nhiễu chỉ gây ra giảm độ chính xác của MẪU RA - Nếu các mẫu vào trực giao thì nhớ lại đúng - Mẫu dữ liệu thường được biểu diễn ở dạng 2 cực. 2.4 Mô hình BAM 2.4.1 Khái niệm về BAM BAM là một dạng ANN điển hình thể hiện cấu trúc bộ nhớ liên kết với khả năng nhớ lại theo cả hai hướng. BAM là ANN có 2 tầng và có các kết nối 2 chiều. Hình 2.3 mô tả cấu trúc tổng quát của mô hình BAM. Hình 2.1: Cấu trúc tổng quát của mô hình BAM 2.4.2 Quá trình học của BAM Quá trình này học và lưu trữ các liên kết giữa các cặp mẫu Đầu tiên, ma trận trọng số Wk lưu cặp mẫu (Ak,Bk ) theo công thức: (2.20) với Ak là véc tơ có m phần tử và Bk là véc tơ có n phần tử. Tổng quát hóa sự liên kết của p cặp mẫu và lưu trong ma trận trọng số W. (2.21) với α là một hằng số. 7 2.4.3 Quá trình nhớ lại của BAM Cho một mẫu vào X, quá trình nhớ lại diễn ra như sau: Đầu tiên, tổng hợp dữ liệu vào của mỗi nơ-ron theo công thức sau: (2.22) với m là số chiều của X, Inputj là tổng trọng số của các dữ liệu vào của nơ-ron j, Xi là thành phần thứ i của mẫu dữ liệu vào X. Sau đó, xác định dữ liệu ra cho nơ-ron bằng cách dùng hàm đầu ra: (2.23) với θj là ngưỡng của nơ-ron j. Lặp lại quá trình trên cho đến khi thu được cặp (Xf,Yf) không thay đổi. Đây là trạng thái BAM hội tụ và Yf chính là mẫu ra của BAM ứng với mẫu vào X. 2.4.4 Hàm năng lượng của BAM Hàm năng lượng E với mỗi trạng thái (A, B) được tính như sau: (2.24) 2.4.5 Chiến lược học nhiều lần dùng số lần lặp tối thiểu để học một cặp mẫu Y.F. Wang và đồng nghiệp thực hiện học nhiều lần các cặp mẫu bằng cách dùng số lần lặp tối thiểu để học một cặp mẫu (MNTP). Khi đó, Wk được tính theo công thức: (2.25) với qk là số dương thể hiện số lần ít nhất dùng (Ak, Bk) cho việc học mà đảm bảo nhớ lại được (Ak, Bk). 2.5 Bộ nhớ liên kết mờ 2.5.1 Giới thiệu chung Cho một tập các liên kết (Ak, Bk), k=1,..,p xác định một ánh xạ G mà G(Ak)=Bk với mọi k=1,..,p. Hơn nữa, ánh xạ G cần có khả năng chịu nhiễu. Quá trình xác định G được gọi là quá trình học và ánh xạ G được gọi là ánh xạ liên kết (nhớ lại các liên kết). Bộ nhớ liên kết mờ là bộ nhớ liên kết mà các mẫu Ak và Bk là các tập mờ với mọi k=1,...,p. 8 2.5.2 Các FAM của Kosko và sự tổng quát hóa Kosko đưa ra hai mô hình FAM đầu tiên gồm max-min FAM và max-product FAM nên ban đầu FAM chưa dùng sai số θ. Sau đó, Chung và Lee tổng quát hóa FAM thành FAM tổng quát. FAM lưu p cặp mẫu. Cho và Mô hình tổng dùng nơ-ron max-C nên có thể dùng một phép nối mờ như CM, CP, CL. Quá trình học thực hiện như sau: ọ (2.33) Cho mẫu vào x, mẫu ra y được nhớ lại từ mẫu vào x được tính bằng: (2.34) 2.6 Mô hình ART 2.6.1 Cấu trúc của ART Cấu trúc chung của mạng ART được thể hiện trong Hình 2.4. Hình 2.2: Cấu trúc của một ART đơn giản Một mạng ART điển hình có hai tầng: tầng dữ liệu vào (F1) và tầng dữ liệu ra (F2). Tính động của mạng được điều khiển bởi hai hệ thống con: hệ thống chú ý và hệ thống định hướng. 2.6.2 Một số mô hình cải tiến từ ART Họ các mô hình được phát triển từ ART để giải quyết tốt hơn các bài toán thực bao gồm ART 1, ART 2, ART 3, ARTMAP, Fuzzy ART, Fuzzy ARTMAP. 9 2.7 Mô hình Fuzzy ART 2.7. 1 So sánh với ART Fuzzy ART được phát triển từ ART 1 để học các lớp nhận dạng ổn định với cả mẫu vào tương tự và mẫu vào nhị phân. 2.7.2 Thuật toán Fuzzy ART Các tham số của mô hình Fuzzy ART: chọn α> 0, tốc độ học β [0, 1], ngưỡng [0, 1]. Bước 1: Khởi tạo véc tơ trọng số. (2.35) Bước 2: Lựa chọn một cụm chiến thắng. Với mỗi dữ liệu vào I và cụm j, hàm chọn Tj được định nghĩa bởi (2.36) Sự chọn cụm được gắn chỉ số bằng j, với (2.39) Bước 3: Kiểm tra trạng thái của mạng là cộng hưởng hay thiết lập lại. Cộng hưởng xuất hiện nếu (2.40) Sau đó việc học sẽ diễn ra. Thiết lập lại xuất hiện nếu (2.41) Sau đó, giá trị của hàm chọn Tj được thiết lập -1 cho các biểu diễn mẫu vào để ngăn sự lựa chọn lại mẫu vào trong quá trình tìm kiếm. Một chỉ số mới j được chọn bởi Công thức (2.39). Quá trình tìm kiếm tiếp tục cho đến khi j được chọn thỏa mãn Công thức (2. 40). Nếu không có cụm đang tồn tại nào thỏa mãn thì một cụm mới j được sinh ra và đặt Bước 4: Học dữ liệu huấn luyện. Véc tơ trọng số của cụm j được cập nhật bởi: (2.42) 10 2.7.3 Fuzzy ART với mã hóa đầy đủ Moore trình bày vấn đề sinh ra cụm mới của ART tương tự khi một số lớn các mẫu vào có véc tơ trọng số bị co rút. Fuzzy ART tránh sinh các cụm nếu các mẫu vào được chuẩn hóa. CHƯƠNG 3. THUẬT TOÁN HỌC MỚI CHO BỘ NHỚ LIÊN KẾT HAI CHIỀU 3.1 Giới thiệu chung BAM là một ANN mà được mở rộng từ các mạng nơ-ron Hopfiled. BAM có thể thực hiện tìm kiếm sự liên kết theo cả hai chiều. BAM có các ưu điểm gồm nhớ lại một mẫu đã lưu từ một dữ liệu vào có chứa nhiễu hoặc không đầy đủ và hội tụ không điều kiện trong chế độ đồng bộ. 3.2 Quá trình học của một số BAM với chiến lược học nhiều lần Mô hình của Y.F Wang, Cruz, và Mulligan Luật học được thể hiện bởi công thức sau: (3.1) với qi thể hiện số lần huấn luyện cặp (Ai, Bi). Để BAM nhớ lại đúng các cặp mẫu đã lưu, qi cần thỏa mãn điều kiện sau: (3.2) với là sự chênh lệch năng lượng lớn nhất giữa cặp mẫu thứ i và các cặp mẫu khác trong vùng A. Tương tự với là sự chênh lệch năng lượng lớn nhất giữa cặp mẫu thứ i và các cặp mẫu khác trong vùng B. Mô hình của T. Wang và Zhuang Luật học của mô hình được thể hiện bởi công thức sau: (3.3) với số gia trọng số ∆Wij được tính bới công thức sau: (3.4) 11 với S(x)=0 nếu x>0 và S(x)=1 nếu x≤0. Quá trình này lặp lại cho đến khi các giá trị của ma trận trọng số W ổn định Mô hình của Zhuang, Huang, và Chen Ban đầu, là bất kỳ. Khi t>0 thì luật học của nơ-ron i ở vùng A được thể hiện bởi công thức sau: (3.7) với j = 1,, n. Luật học của của nơ-ron j ở vùng B được thể hiện bởi công thức sau: (3.8) với i = 1,, m. Quá trình này lặp lại cho đến khi các giá trị của ma trận trọng số W ổn định 3.3 Lý do đề xuất thuật toán học mới Từ việc tổng hợp các nghiên cứu về BAM, tác giả nhận thấy mô hình BAM học nhiều lần sẽ phát huy tốt ưu điểm về phục hồi từ mẫu vào nhiễu. Tuy nhiên, cần phải giảm thời gian học các mẫu mà vẫn giữ được khả năng nhớ lại tốt để đáp ứng cho các ứng dụng thực đòi hỏi thời gian phản hồi ngắn đặc biệt khi số lượng mẫu và kích thước của các mẫu tăng lên. Ngoài ra, BAM cần được cải tiến khả năng lưu trữ và nhớ lại các cặp mẫu không trực giao. 3.4 Thuật toán học mới 3.4.1 Phân tích mối quan hệ giữa MNTP và hàm năng lượng Giả sử BAM học p cặp mẫu. Cặp mẫu (Ai, Bi) được trình bày như sau: và . Mối quan hệ giữa MNTP và hàm năng lượng được thiết lập từ công thức (2.24) và (2.25). Sau dãy các biến đổi, thu được W như sau: 12 (3.11) và Ei được tính bằng: (3.13) Công thức (3.13) thể hiện giá trị tuyệt đối của Ei tỷ lệ thuận với mọi qk của p cặp mẫu (với k=1,p). Nghĩa là, giá trị tuyệt đối của Ei sẽ giảm nhanh khi một số hay mọi qk cùng giảm đồng thời. 3.4.3 Nội dung thuật toán học mới Một số ký hiệu được dùng trong thuật toán: - qi là MNTP của cặp mẫu thứ i - W là ma trận trọng số chung - Ei là năng lượng ứng với trạng thái (Ai, Bi) Quá trình học được thực hiện qua hai bước sau: Bước 1: Khởi tạo giá trị MNTP của mọi cặp mẫu bằng 1 để thu được ma trận trọng số gốc của BAM. Bước 2: Thực hiện lặp các bước sau cho đến khi |Ei| ≅0 với mọi i=1,,p và |x| là giá trị tuyệt đối của x. Bước 2.1: Tính W theo công thức (2.25) Bước 2.2: Tính Ei theo công thức (2.24) với i=1,,p. Bước 2.3: Dựa vào giá trị của Ei để cập nhật qi theo hai luật sau: Luật 1: Nếu |Ei| ≅0 thì không thay đổi qi Luật 2: Nếu |Ei| ≅0 chưa thỏa mãn thì giảm qi xuống h lần để |Ei| giảm xuống sao cho |Ei| ≅0 Ưu điểm của thuật toán học mới Ba lý do chính làm cho thuật toán học mới tốt hơn so với các thuật toán học đã công bố gồm: Sự tăng hay giảm trọng số kết nối được thực hiện bằng phép nhân hoặc phép chia; 13 MNTP của mỗi cặp có thể được thay đổi trong mỗi lần lặp của quá trình học; và năng lượng của mỗi trạng thái ứng với mỗi cặp mẫu tiến đến 0. Vì vậy, BAM cải tiến sẽ có hai ưu điểm gồm (i) quá trình học các cặp mẫu thực hiện nhanh và linh hoạt hơn và (ii) có khả năng lưu và nhớ lại các cặp mẫu không trực giao. 3.5 Kết quả thực nghiệm Các thử nghiệm được làm với ứng dụng nhận dạng mẫu. Các BAM được dùng gồm BAM của Y.F.Wang (WBAM), Zhuang (ZBAM), Tao Wang (TBAM) và BAM cải tiến (FFBAM) ở chế độ tự liên kết. Năm ứng dụng nhận dạng mẫu gồm nhận dạng vân tay, chữ viết tay, phương tiện giao thông, biển hiệu giao thông và tiền xu của Mỹ. Kết quả thực nghiệm cho thấy BAM với thuật toán học mới nhớ lại tốt hơn các BAM khác trong chế độ tự liên kết. Bảng 3.1: Tỷ lệ phần trăm nhận dạng đúng các điểm ảnh trong nhận dạng vân tay WBAM ZBAM TBAM FFBAM 83.370 85.906 85.906 88.007 Bảng 3.2: Tỷ lệ phần trăm nhận dạng đúng các điểm ảnh trong nhận dạng chữ viết tay WBAM ZBAM TBAM FFBAM 75.463 72.964 75.681 75.89 Bảng 3.3: Tỷ lệ phần trăm nhận dạng đúng các điểm ảnh trong nhận dạng biển hiệu giao thông WBAM ZBAM TBAM FFBAM 77.98 28.303 78.303 78.348 Bảng 3.4: Tỷ lệ phần trăm nhận dạng đúng các điểm ảnh trong nhận dạng tiền xu của Mỹ WBAM ZBAM TBAM FFBAM 85.066 45.992 84.896 85.109 14 Bảng 3.5: Tỷ lệ phần trăm nhận dạng đúng các điểm ảnh trong nhận dạng phương tiện giao thông WBAM ZBAM TBAM FFBAM 88.11 18.96 90.076 90.076 CHƯƠNG 4. HAI LUẬT HỌC HIỆU QUẢ CHO LÝ THUYẾT CỘNG HƯỞNG THÍCH NGHI MỜ 4.1 Giới thiệu chung ART là một ANN mà học các mẫu huấn luyện để hình thành véc tơ trọng số của các cụm. Sau đó, sử dụng véc tơ trọng số đã học được để nhớ lại các cụm tương tự với mẫu vào. Ưu điểm quan trọng nhất của ART là học các mẫu huấn luyện để véc tơ trọng số của cụm được chọn chứa các thông tin từ mẫu huấn luyện hiện tại. 4.2 Một số luật học điển hình của ART và Fuzzy ART Các biến được sử dụng: I là dữ liệu vào hiện tại, W là trọng số của các cụm, và β là tham số học nằm trong khoảng [0, 1]. Capenter và đồng nghiệp đưa ra Fuzzy ART gốc với luật học có dạng: (4.1) với là phép AND của logic mờ. Hầu hết các nghiên cứu khác cũng dùng luật học như công thức (4.1). Ngoài ra, các nghiên cứu này cũng thay đổi hàm đầu ra hay học bổ sung thêm quan hệ giữa các cụm. Kenaya và đồng nghiệp đưa ra Euclidean ART để học với luật học như sau: (4.2) với Xjk là mẫu thứ k trong cụm j và L là số các cụm. Yousuf và Murphey dùng luật học cải tiến sau để cập nhật nhiều cụm thỏa mãn điều kiện về ngưỡng. (4.3) với 15 4.3 Lý do đề xuất luật học cải tiến Dựa vào sự tổng hợp các nghiên cứu về ART và Fuzzy ART, tác giả nhận thấy có một hạn chế như sau: Luật học của ART và Fuzzy ART là chưa hiệu quả do không học dữ liệu mới khi bề mặt biểu diễn các mẫu huấn luyện nằm trên bề mặt biểu diễn các véc tơ trọng số của các cụm. Nghĩa là, Fuzzy ART có thể không học một phần lớn tập dữ liệu huấn luyện. Do đó, nhiều thông tin có ích từ các mẫu huấn luyện đó đã không được luuw trong Fuzzy ART. 4.4 Hai Luật học hiệu quả cho Fuzzy ART 4.4.1 Nội dung của hai luật học Sau khi Fuzzy ART chọn được một cụm chiến thắng, việc học mẫu huấn luyện hiện tại diễn ra. Giả sử, cụm chiến thắng là cụm j. Luật học cải tiến thứ nhất Thực hiện cập nhật trọng số cho cụm j theo công thức dưới đây: (4.4) với là tham số học tốc độ học và |y| là giá trị tuyệt đối của y. Sau khi cập nhật có thể điều chỉnh Wij theo luật sau: Do Wij luôn giảm nên khi Wij<0 thì đặt Wij=0. Luật học cải tiến thứ hai Trước tiên, tính sự tăng giá trị bé nhất (MDI) và sự giảm giá trị bé nhất (MDD) của mẫu huấn luyện hiện tại so với trọng số của cụm chiến thắng theo hai công thức sau: (4.5) (4.6) Khi đó, luật học cải tiến thứ hai được trình bày như sau: (4.7) 4.4.2 Thuật toán tìm giá trị tối ưu cho tham số tốc độ học Một tập con ngẫu nhiên được chọn từ tập dữ liệu ban đầu sao cho số mẫu ở mỗi cụm chênh nhau ít nhất. Tập con này được dùng để kiểm tra khả năng phân cụm ứng với mỗi giá trị của tham số tốc độ học. 16 Nội dung thuật toán gồm các bước sau: Bước 1: Khởi tạo tham số tốc độ học dựa vào kích thước của tập dữ liệu để giảm thời gian tìm giá trị của tham số. Sau đó, tính kết quả phân cụm của tập mẫu con. Bước 2: Làm các bước sau: Bước 2.1: Tăng hoặc giảm giá trị của tham tốc độ số học theo các bước nhảy nhỏ như 5% giá trị của tham tốc độ số học hiện tại. Bước 2.2: Tính kết quả phân cụm của tập mẫu con. Bước 2.3: Kiểm tra kết quả phân cụm của tập mẫu con:  Nếu kết quả phân cụm là tăng hoặc giảm thì làm Bước 2.  Nếu kết quả phân cụm là cao nhất, ổn định thì sang Bước 3. Bước 3: Đưa ra giá trị tối ưu của tham số tốc độ học. 4.4.3 Ưu điểm của hai luật học đề xuất Mọi mẫu huấn luyện đều có một mức độ ảnh hưởng giống nhau đến trọng số của cụm được chọn do tham số học lớn hơn 0 và cố định trong suốt quá trình học. Do đó, mọi dữ liệu trong tập huấn luyện được học hiệu quả. Khi học các tập dữ liệu có các mẫu dị thường, do số lượng mẫu dị thường ít trong khi số lượng mẫu chuẩn nhiều và mỗi mẫu lại có mức độ ảnh hưởng giống nhau nên mức độ ảnh hưởng của các mẫu dị thường đến trọng số của các cụm cũng nhỏ. 4.5 Kết quả thực nghiệm Các tập dữ liệu chuẩn từ cơ sở dữ liệu UCI và Shape được dùng trong các thử nghiệm. Các mô hình được thực thi gồm: Fuzzy ART với luật học cải tiến, Fuzzy ART gốc, K-mean, và Euclidean ART. Dữ liệu của các tập dữ liệu được chuẩn hóa về miền [0,1]. Với mỗi tập dữ liệu, các thử nghiệm con được làm với số lượng mẫu tăng dần. Tỷ lệ phần trăm các mẫu được phân cụm đúng được thể hiện trong bảng tương ứng với tập dữ liệu đó. 4.5.1 Thử nghiệm 1: Dùng luật học cải tiến thứ nhất Chín tập dữ liệu chuẩn được chọn gồm Iris (đặc điểm của hoa lan), Wine (chất lượng của rượu vang), Jain (sự co cụm của người dùng mạng), Glass (các dạng mảnh kính vỡ dùng trong điều tra), Blance-Scale (số liệu dùng trong thử nghiệm tâm lý học), Spiral (phổ của các ảnh màu), và các tập điểm tạo thành các hình dạng đặc biệt (Aggregation, Flame, R15). Bảng 4.11 tổng hợp kết quả từ các kiểm tra con của các thử nghiệm. 17 Bảng 4.1: Sự cải thiện khả năng phân cụm của Fuzzy ART với luật học thứ nhất so với mô hình tốt nhất thứ hai Kiểu tập dữ liệu Sự phân bố số mẫu trong các cụm Số mẫu Số cụm Số thuộc tính Mức độ cải thiện (%) 1 Không đều với độ lêch cao 200-400 2 & 3 2 21-32.6 2 Không đều với độ lêch trung bình 150 3 9 15.3 3 Không đều với độ lêch trung bình 200-214 7 9 12.6-13.5 4 Không đều với độ lêch cao 500 3 2 9.8 5 Không đều với độ lêch cao 788 7 7 4.8 6 Không đều với độ lêch thấp 120-200 2 & 3 2 & 4 2.5-5.3 7 Đều với mọi phân cụm 90-201 2 3 & 4 1.5-5 8 Không đều với độ lêch trung bình 250 3 2 0.8 Dữ liệu của Bảng 4.11 thể hiện rằng Fuzzy ART cải tiến thích hợp cho các tập dữ liệu nhỏ, phức tạp. 4.5.2 Thử nghiệm 2: Dùng luật học cải tiến thứ hai Chúng tôi chọn 7 tập dữ liệu chuẩn từ cơ sở dữ liệu UCI bao gồm MONKS (các bài toán của Monk), BALANCE-SCALE (số liệu dùng trong thử nghiệm tâm lý học), WDBC (dữ liệu chuẩn đoán bệnh ung thư), WINE-RED (chất lượng rượu vang đỏ), WINE-WHITE (chất lượng rượu vang trắng), và và các tập điểm tạo thành các hình dạng đặc biệt (D31, R15). Bảng 4.20 tổng hợp kết quả từ các kiểm tra con của các thử nghiệm. Bảng 4.2: Sự cải thiện khả năng phân cụm của Fuzzy ART với luật học thứ hai so với mô hình tốt nhất thứ hai trong thử nghiệm 2 Kiểu tập dữ liệu Sự phân bố số mẫu trong các cụm Số mẫu Số cụm Số thuộc tính Mức độ cải thiện (%) 1 Không đều với độ lệch cao 600-1200 3,4 11 15.2-30.2 2 Không đều với độ lệch cao 1000-3000 3,4 11 11.1-30.1 3 Không đều với độ lệch cao 300-625 2,3 4 18-20.8 4 Không đều với độ lệch cao 400-569 2 30 15.6-16.3 5 Không đều với độ lệch cao 4000-4898 5,6 11 2.5-5.7 6 Không đều với độ lệch trung bình 400-459 2 7 2.5-2.6 18 7 Đều với mọi phân cụm 500-1500 5,10,15 2 2.3-3.8 8 Đều với mọi phân cụm 2000-3100 20,25,31 2 1.5-2.4 Kết quả của các kiểm tra con của bảy thử nghiệm cho thấy khả năng của phân cụm của Fuzzy ART với luật học thứ hai cải thiện đáng kể đối với các tập dữ liệu nhỏ có độ phức tạp cao. Đặc biệt, kết quả phân cụm là cao khi tậpdữ liệu có chứa nhiều mẫu. CHƯƠNG 5. LUẬT HỌC CẢI TIẾN CHO BỘ NHỚ LIÊN KẾT MỜ 5.1 Giới thiệu chung FAM là AM mà học và nhớ lại với các mẫu được biểu diễn ở dạng tập mờ. FAM có ưu điểm là nhớ lại các mẫu đã lưu từ các mẫu vào nhiễu hay không đầy đủ. 5.2 Một số mô hình FAM chuẩn FAM lưu p cặp mẫu (Ak, Bk) với Ak có m phần tử và Bk có n phần tử. Mô hình của Kosko và Kong Các ma trận trọng số kết nối Wk của cặp mẫu (Ak, Bk) được tính: (5.1) Ma trận trọng số kết nối W lưu tất cả các cặp mẫu được tính: (5.2) Mô hình của Junbo, Fan, và Yan Các ma trận trọng số kết nối Wk của cặp mẫu (Ak, Bk) được tính: (5.4) Ma trận trọng số kết nối W lưu tất cả các cặp mẫu được tính: (5.5) Mô hình của Chung và Lee Các ma trận trọng số kết nối Wk của cặp mẫu (Ak, Bk) được tính: 19 (5.7) Ma trận trọng số kết nối W lưu tất cả các cặp mẫu được tính: (5.8) Mô hình của Xiao, Yang, và Yu Các ma trận trọng số kết nối Wk của cặp mẫu (Ak, Bk) được tính: (5.10) với được tính như sau: (5.11) Ma trận trọng số kết nối W lưu tất cả các cặp mẫu được tính: (5.12) Tập các mô hình của S.T. Wang và Lu Các ma trận trọng số kết nối Wk của cặp mẫu (Ak, Bk) được tính: (5.14) Ma trận trọng số kết nối W lưu tất cả các cặp mẫu được tính: (5.15) hoặc (5.16) Họ các FAM gợi ý của Sussner và Valle Các ma trận trọng số kết nối Wk của cặp mẫu (Ak, Bk) được tính: (5.19) với là thao tác IM, IP, IL 20 Ma trận trọng số kết nối W lưu tất cả các cặp mẫu được tính: (5.20) hoặc (5.21) 5.3 Lý do đề xuất luật học cải tiến Từ các phân tích trên, tác giả thấy rằng một số thông tin có ích sẽ bị mất mát trong quá trình học do các FAM chuẩn chỉ lưu trữ tốt nội dung các mẫu hoặc chỉ lưu trữ tốt liên kết giữa các mẫu. Thông tin bị mất mát trong quá trình học có thể dẫn tới khả năng nhớ lại bị hạn chế. 5.4 Luật học cải tiến của FAM 5.4.1 Mô hình FAM với luật học cải tiến Thiết kế của mô hình FAM với luật học cải tiến được trình bày như sau: Quá trình học các cặp mẫu Việc học và lưu trữ p cặp mẫu trong FAM được thực hiện qua hai bước sau: Bước 1: Học và lưu trữ cặp mẫu (Ak, Bk) trong ma trậntrọng số Wk theo cách sau: (5.24) với η là nhân tố điều khiển tỷ lệ giữa nội dung và sự liên kết được lưu. Do dùng nhân tố η nên khi mẫu vào bị nhiễu thì nhiễu sẽ ít ảnh hưởng hơn đến mẫu được nhớ lại. Bước 2: Tổng quát hóa sự liên kết của các cặp mẫu và lưu trữ trong ma trận trọng số chung theo công thức sau: (5.25) Quá trình nhớ lại Việc nhớ lại mẫu ra Y từ mẫu vào X và ma trận trọng số chung W được thực hiện như sau: η (5.26) 21 Điều chỉnh ACAM cho chế độ tự liên kết Để đảm bảo khả năng lưu trữ không giới hạn các cặp mẫu ở chế độ tự liên kết, chúng tôi tính Wii giống như trong Bộ nhớ liên kết hình thái (MAM). (5.27) Khi đó, công thức dùng cho việc nhớ lại được điều chỉnh như sau: η (5.28) 5.4.2 Hai định lý về khả năng nhớ lại hoàn hảo của ACAM Định lý 5.1: (Khả năng nhớ lại các cặp mẫu trong chế độ liên kết khác loại) W trong công thức (5.27) nhớ lại hoàn hảo mọi cặp mẫu (Ak, Bk) nếu và chỉ nếu với mỗi k=1,..,p, mỗi cột của ma trận Wk –W có chứa một số 0. Định lý 5.2: (Khả năng nhớ lại các cặp mẫu trong chế độ tự liên kết) W trong công thức (5.27) nhớ lại hoàn hảo mọi cặp mẫu (Ak, Ak). 5.5 Kết quả thực nghiệm FAM cải tiến (ACAM) được so sánh với các FAM của Junbo, Kosko, Xiao, Susners và Valle (IFAMs). Để đánh giá kết quả, chúng tôi dùng cách tính lỗi chuẩn. 5.5.1 Thử nghiệm với tập dữ liệu về các số Bộ dữ liệu này bao gồm 5 hình ảnh của số 0-4 với kích thước 5 × 5. Các thực nghiệm được làm với các mẫu vào bị méo ở cả hai chế độ (tự liên kết và liên kết khác loại). Bảng 5.1: Kết quả thử nghiệm của bộ nhớ tự liên kết với tập dữ liệu về con số Junbo Kosko Xiao IFAM ACAM Lỗi 0.434 0.914 0.418 0.434 0.346 22 Bảng 5.1 cho thấy tổng số lỗi của các mô hình khác nhau khi nhớ lại từ các ảnh vào bị bóp méo trong chế độ tự liên kết. Lý do các mô hình khác tạo ra số lỗi lớn hơn so với ACAM của là do các mô hình này không thể làm việc tốt với cả hai loại nhiễu co rút và giãn nở trong khi ACAM có một cơ chế để giảm ảnh hưởng của nhiễu. Bảng 5.2: Kết quả thử nghiệm của bộ nhớ liên kết khác loại với tập dữ liệu về con số Junbo Kosko Xiao IFAM ACAM Lỗi 0.675 0.893 0.793 0.675 0.652 Trong chế độ liên kết khác loại, ACAM cũng tạo ra tổng lỗi ít nhất. 5.5.2 Thử nghiệm với tập dữ liệu của Corel Bộ dữ liệu này bao gồm các hình ảnh được lựa chọn từ cơ sở dữ liệu Corel. Các mẫu nhiễu được tạo ra từ các mẫu chuẩn bằng cách tạo ra nhiễu muối tiêu ở mức 25% số lượng điểm ảnh. Trong chế độ tự liên kết, 10 ảnh được sử dụng. Kết quả trong chế độ tự liên kết được trình bày trong bảng 5.3 cho thấy ACAM làm việc hiệu quả trong việc xử lý với nhiễu muối tiêu. Bảng 5.3: Kết quả thử nghiệm của bộ nhớ tự liên kết với tập dữ liệu của Corel Junbo Kosko Xiao IFAM ACAM Lỗi 0.742 0.867 0.694 0.664 0.531 Chế độ liên kết khác loại được thử nghiệm với 10 cặp ảnh, trong đó các ảnh vào khác với ảnh ra. Bảng 5.4 cũng cho thấy ACAM thực hiện tốt hơn so với các mô hình khác trong sự hiện diện của cả