Tóm tắt Luận án Mạng neural trong hệ thống điều khiển xe lăn cho người tàn tật nặng sử dụng điện não (eeg) và camera

phố, phong cảnh, bông hoa và con vật), cái mới cải tiến của luận án so với các công trình trước là tác giả mạnh dạn sử dụng nhận dạng mẫu tín hiệu EEG trực tuyến có kết hợp camera để tăng độ chính xác của giải thuật, ngoài ra trong khâu tiền xử lý tác giả kết hợp giữa trích đặc điểm HHT với giải thuật gom cụm dữ liệu giúp cho việc nhận dạng thông qua mạng neural được nhanh hơn sử dụng phương pháp khác như wavelet transform và giúp cho mạng neural làm việc hiệu quả hơn, chính xác hơn và tránh overfitting. Trang 5 1.4 Mục đích nghiên cứu Tìm ra phương thức thu nhận 5 mẫu tín hiệu điện não EEG một cách dễ dàng và hiệu quả. Sử dụng các công cụ toán học để phân tích tín hiệu thành các đặc trưng cơ bản, sử dụng gom cụm dữ liệu trước khi đưa vào mạng neural để nhận đạng đối tượng. Kết hợp giữa tín hiệu camera và tín hiệu điện não để xác định được thời điểm xuất hiện mẫu tín hiệu chính xác phục vụ cho việc phân loại và điều khiển xe. 1.5 Đối tượng và phạm vi nghiên cứu Đối tượng nghiên cứu chính trong luận án này là sử dụng mạng neural để phân loại 5 mẫu tín hiệu này thành các dạng lệnh điều khiển tương ứng với 5 lệnh điều khiển xe lăn chạy tới, chạy lui, quay phải, quay trái, dừng lại, trong luận án còn đề cập đến quá trình xử lý ảnh để phát hiện hướng mắt hỗ trợ cho việc điều khiển xe được chính xác và hiệu quả hơn, tuy nhiên trong phần xử lý ảnh tác giả không tập trung nhiều mà chủ yếu phần tín hiệu điện não EEG. 1.6 Những đóng góp của luận án 1.6.1 Đóng góp về mặt lý thuyết Tìm ra được bảng quan sát phù hợp và đơn giản để thu thập dữ liệu, kết hợp một cách khoa học giữa giải thuật trích đặc điểm và gom cụm dữ liệu trước khi đưa vào mạng neural để phân loại từng mẫu dữ liệu. 1.6.2 Đóng góp về mặt thực tiễn Kết quả thực nghiệm của luận án cho thấy rằng, việc phân loại các đối tượng thông qua việc quan sát bằng mắt (những hình ảnh có đặc trưng khác nhau) nhưng đầu óc còn minh mẫn và mắt hoạt động như người bình thường là hoàn toàn thực hiện được. CHƯƠNG 2 – CƠ SỞ LÝ THUYẾT 2.1 Các dạng sóng cơ bản của tín hiệu điện não EEG Sóng Delta có tần số từ 0 đến 3 Hz, biên độ lớn như hình 2.1, sóng này xuất hiện nhiều ở lứa tuổi từ bé đến một tuổi và ở những người lớn trong lúc ngủ, ngủ say, dạng sóng này thường xuất hiện khắp nơi trên da đầu. Trang 6 Hình 2. 1 Dạng sóng Delta Sóng Theta có tần số từ 3 Hz đến 7 Hz thường xuất hiện khi nhắm mắt và khi tinh thần ở trạng thái thư giãn như hình 2.2, xuất hiện ở những người trẻ hoặc lúc tỉnh thức ở người lớn tuổi và thường xuất hiện tại vùng thái dương. Hình 2. 2 Dạng sóng Theta Sóng Alpha có tần số từ 7 đến 13 Hz như hình 2.3, xuất hiện nhiều nhất ở người lớn tuổi, sóng alpha thường xảy ra 2 bên đầu nhưng có biên độ 2 bên không đều nhau. Sóng alpha xuất hiện khi nhắm mắt (trạng thái thư giãn) và thường biến mất khi mở mắt hay bị stress. Hình 2. 3 Dạng sóng Alpha Sóng Beta có biên độ nhỏ như hình 2.4, dãy tần số từ 13 đến 30 Hz. Dạng sóng này thường xuất hiện ở những bệnh nhân người mà thường có tâm trạng cảnh giác, đề phòng, lo lắng Sóng Beta được phân bố đối xứng 2 bên và rõ ràng nhất ở phía trước, thường xuất hiện ở phía trước và trên đỉnh đầu vỏ não, biên độ sóng Beta thường nhỏ hơn 30uV. Hình 2. 4 Dạng sóng Beta Trang 7 Sóng Gamma có dãy tần số từ 30 đến 45 Hz như hình 2.5, thường được gọi là sóng nhanh Beta. Sóng này thường có biên độ thấp và hiếm khi xuất hiện, nhưng việc phát hiện sóng này đóng vai trò rất quan trọng trong việc xác định các bệnh lý về thần kinh, sóng này xảy ra ở trung tâm vỏ não. Hình 2. 5 Dạng sóng Gamma 2.2 Vị trí các điện cực trên thiết bị EEG Não là một trong những cơ quan lớn nhất và phức tạp nhất trong cơ thể con người. Nó được hình thành từ hơn 100 tỉ dây thần kinh, liên lạc tới 1000 tỉ khớp thần kinh, các vị trí được gắn điện điện cực trên đầu theo tiêu chuẩn quốc tế 10/20 như hình 2.6. Hình 2. 6 Tên và vị trí các điện cực theo chuẩn quốc tế 10/20 CHƯƠNG 3 XÂY DỰNG MÔ HÌNH HỆ THỐNG ĐIỀU KHIỂN Để bắt đầu quá trình nghiên cứu, tác giả sử dụng CSDL được cung cấp trên website của trường Đại học San Diego (UCSD) có uy tín của Mỹ, xếp hạng 38 trên thế giới năm 2018, dữ liệu này thu được từ việc người tham gia nhìn vào 5 đối tượng hình ảnh khác nhau (con người, con vật, thành phố, phong cảnh và bông hoa), kích thước hình Trang 8 ảnh 8 bit màu (256 pixel rộng và 384 pixel cao). Tổng số lượng mẫu cho cơ sở dữ liệu này là 21.000 mẫu. Trong chương này, tác giả đã từng bước xây dựng các mô hình từ đơn giản đến phức tạp, sau đó đánh giá kết quả thực nghiệm trên CSDL của trường Đại học San Diego (UCSD) và từ 80 sinh viên trường Cao Đẳng Công Thương TP.HCM để làm rõ phần đóng góp và ý nghĩa khoa học của luận án. 3.1 Mô hình mạng Neural đơn lớp Giai đoạn đầu tiên, tác giả xây dựng mô hình mạng neural để phân ra 2 loại tín hiệu riêng biệt (con vật và không phải con vật), mục đích trong lần nghiên cứu này là đánh giá xem mô hình neural có đáp ứng được yêu cầu phân loại hay không, hệ thống sử dụng phần mềm Matlab cho quá trình thực nghiệm này. CSDL của tín hiệu điện não EEG được trích đặc điểm bằng phương pháp biến đổi Wavelet dạng hình nón Mêhicô và sử dụng mạng Neural đơn lớp để nhận dạng. Mô hình hệ thống được thể hiện trong hình 3.1, mô hình này bao gồm 2 giai đoạn: giai đoạn 1: quá trình tiền xử lý nhẳm xử lý tín hiệu dữ liệu thô và tổng hợp thành 5 tín hiệu sóng Delta, Theta, Alpha, Beta và Gamma. Giai đoạn 2: xây dựng mạng Neural đơn lớp với 5 ngõ vào là 5 tín hiệu sóng Delta, Theta, Alpha, Beta, Gamma và một ngõ ra để xác định kết quả nhận dạng. Hình 3. 1 Mô hình hệ thống Neural đơn lớp Quá trình huấn luyện mạng được thực hiện trên tập dữ liệu huấn luyện với các tham số sau:  Tỷ lệ học cố định là: 0,7  Trọng số khởi tạo ngẫu nhiên trong đoạn từ -0,5 đến 0,5. Dữ liệu thô Kết quả nhận dạng Quá trình tiền xử lý Mạng neural đơn lớp Trang 9  Ngưỡng sai số là 1x10-5 với cách tính sai số dựa trên MSE (Mean Square Error).  Số vòng lặp tối đa là: 5.000. Kết quả thực nghiệm nhận dạng trên tập dữ liệu kiểm tra được thể hiện trong bảng 3.1. Bảng 3. 1 Kết quả thực nghiệm trên dữ liệu kiểm tra Loại ảnh Con vật/Phong cảnh Tỷ lệ nhận dạng France Phong cảnh 99,13% Wild sheep Con vật 98,67% Wild cats Con vật 99,28% Bali, Indonesia Phong cảnh 62,44% Wild animals Con vật 99,64% California Coasts Phong cảnh 56,89% Wolves Con vật 98,64% Mushrooms Phong cảnh 95,16% Kenya Con vật 99,76% The big Apple Phong cảnh 98,79% Snakes, lizards... Con vật 98,32% Caves Con vật 67,18% Polar bears Con vật 99,03% Exotic Hong Kong Phong cảnh 98,72% Images of France Phong cảnh 99,37% Fabulous fruit Phong cảnh 98,25% Wild animals Con vật 93,97% Sand & solitude Con vật 98,42% Lions Con vật 62,78% Great Silk Road Phong cảnh 98,47% Trang 10 Từ kết quả thực nghiệm ở bảng 3.1, chúng ta nhận thấy kết quả nhận dạng chính xác trung bình trên tập dữ liệu kiểm tra là 91,15%. 3.2 Mô hình mạng Neural đa lớp 3.2.1 Mô hình hệ thống Dựa trên những kết quả đạt được từ mô hình mạng Neural đơn lớp, tác giả tiếp tục phát triển mô hình mạng Neural đa lớp với kết quả phân thành 5 lớp tương ứng với 5 tín hiệu điều khiển. Bảng 3.2 mô tả 05 lệnh điều khiển tương ứng với kết quả phân lớp khi người dùng nhìn vào các loại hình ảnh tương ứng. Mô hình này đề xuất sử dụng biến đổi Wavelet để khử tín hiệu và trích xuất đặc trưng, sau đó dùng thuật toán K-mean để gom cụm các đặc trưng của dữ liệu sau đó đưa vào mạng Neural đa lớp để phân loại. Trong mô hình này tác giả chỉ chọn 10 kênh để xử lý nhằm giảm thời gian xử lý và thực hiện. Mô hình hệ thống được mô tả trong hình 3.2. Hình 3. 2 Mô hình hệ thống Neural đa lớp Mô hình mạng neural 3 lớp được trình bày trong hình 3.3. Lớp đầu tiên chứa năm nút đó là Delta, Theta, Alpha, Beta và Gamma. Lớp này được gọi là lớp đầu vào. Lớp thứ hai là lớp ẩn. Số lượng nút ẩn trong lớp ẩn được đặt là 5, 10, 15, 20, 25, 30, 35, 40, 45 và 50. Lớp đầu ra chứa một nút, kết quả của này nút được sử dụng để phân lớp tín hiệu EEG. Hàm hành động được sử dụng trong mô hình này là hàm hyperbolic tangent, giá trị của đầu ra trong khoảng [-1, 1]. Tín hiệu EEG Chọn kênh Biến đổi Wavelet Gom cụm Mạng neural đa lớp Kết quả phân lớp Trang 11 Hình 3. 3 Mô hình mạng Neural đa lớp Trước khi sử dụng mô hình, mạng Neural cần phải vượt qua giai đoạn huấn luyện. Thuật toán huấn luyện được hiển thị trong hình 3.4, thể hiện một quy trình huấn luyện lan truyền ngược. Trang 12 Hình 3. 4 Thuật toán huấn luyện mạng Neural 3.2.2 Kết quả thực nghiệm với mô hình mạng Neural đa lớp Bộ dữ liệu bao gồm 21.000 mẫu được chia thành tập con để huấn luyện (training) (70%), xác nhận (validation) (15%) và thử nghiệm (testing) (15%). Hệ thống sử dụng công cụ Matlab và EEGLab cho quá trình thử nghiệm, mạng Neural chia thành hai giai đoạn thử nghiệm. Giai đoạn huấn luyện được thực hiện trên tập dữ liệu huấn luyện, bằng cách sử dụng các cấu trúc có số nút ẩn khác nhau, trong lớp ẩn của mạng neural, thông qua các tham số sau như sau:  Tỷ lệ học: 0,7  Số vòng lặp tối đa: 5.000 Khởi tạo bộ trọng số ngẫu nhiên Nhận giá trị Delta, Theta, Alpha, Beta, Gamma Tính giá trị nhập của các nút trong lớp ẩn Tính giá trị xuất của các nút trong lớp ẩn Tính giá trị nhập của nút xuất Tính giá trị xuất của nút xuất Tính lỗi của lớp xuất Tính lỗi của lớp ẩn Tính lỗi của hệ thống Lỗi hệ thống <= ngưỡng? Kết thúc Cập nhật trọng số Bắt đầu Đúng Sai Trang 13  Giá trị trọng số khởi tạo ngẫu nhiên từ 0 đến 1  Ngưỡng lỗi trung bình: 10-5 và dựa trên RMSE Độ chính xác của phân loại được đo bằng tỷ lệ kết quả phân loại sai so với tổng số mẫu theo (3.1). = − (3.1) Trong đó, n là tổng số mẫu, ntrue là số mẫu có kết quả phân loại đúng. Bảng 3. 2 Kết quả thực nghiệm Số Neural trong lớp ẩn (Lỗi trung bình) Average Error (Sai số tối thiểu) Minimum Error (Tỷ lệ nhận dạng) Accuracy Rate 5 25.21% 21.98% 78.02% 10 23.77% 20.04% 79.96% 15 20.44% 17.13% 82.87% 20 17.76% 14.21% 85.79% 25 15.43% 11.88% 88.12% 30 12.98% 10.06% 89.94% 35 9.87% 7.74% 92.26% 40 7.74% 6.43% 93.57% 45 9.56% 7.92% 92.08% 50 10.24% 8.63% 91.37% Ta có thể quan sát trong bảng 3.2 và thấy rằng kết quả phân loại của tập dữ liệu thử nghiệm không ngừng tăng lên cho đến khi đạt giá trị tốt nhất có thể (40 Neural trong lớp ẩn và tỷ lệ chính xác là 93,57%). Sau đó, kết quả bắt đầu giảm khi số lượng Neural trong lớp ẩn tăng lên. Điều này xảy ra được gọi là overfitting. Một ma trận nhầm lẫn (confusion matrix) chứa thông tin về phân loại thực tế và dự đoán được thực hiện bởi một hệ thống. Bảng 3.3 mô tả hiệu năng của hệ thống được đánh giá bởi dữ liệu trong ma trận nhầm lẫn với 40 nút ẩn trong lớp ẩn. Bảng 3. 3 Ma trận nhầm lẫn của kết quả phân loại Thực tế Tiên đoán Con vật Phong cảnh Thành phố Con người Bông hoa Trang 14 Con vật 93.8% 1.4% 1.5% 2.0% 1.6% Phong cảnh 1.1% 93.6% 3.1% 1.5% 1.2% Thành phố 1.6% 1.3% 93.5% 1.6% 1.8% Con người 1.9% 1.8% 1.3% 93.2% 1.7% Bông hoa 1.7% 1.9% 0.8% 1.8% 93.8% Để cung cấp một phương pháp trực quan và dễ hiểu hơn trong việc đo lường chất lượng dự đoán, các công thức sau được sử dụng để kiểm tra chất lượng hiệu quả. Độ chính xác Accuracy (AC) là tỷ lệ dự đoán chính xác. Nó được xác định bằng cách sử dụng công thức (3.2). = + + + + (3.2) Độ chính xác Precision (P) là tỷ lệ của các trường hợp đúng được dự đoán là chính xác, được tính bằng công thức (3.3). = + (3.3) Trong đó, True Possitive (TP) đề cập đến các bộ dữ liệu đúng được phân loại chính xác là đúng. True Negative (TN) đề cập đến các bộ dữ liệu sai được phân loại chính xác là sai. False Possitive (FP) đề cập đến các bộ dữ liệu sai được phân loại không chính xác là đúng. False Negative (FN) đề cập đến các bộ dữ liệu đúng được phân loại không chính xác là sai. Tỷ lệ nhận dạng thành với 40 nút ẩn trong lớp ẩn được đưa ra trong bảng 3.4 Bảng 3. 4 Kết quả thực nghiệm TP TN FP FN AC P Con vật 93,8% 93,6% 6,4% 6,2% 93,7% 93,6% Phong cảnh 93,6% 93,2% 6,8% 6,4% 93,4% 93,2% Thành phố 93,5% 93,8% 6,3% 6,6% 93,6% 93,7% Con người 93,2% 93,4% 6,6% 6,8% 93,3% 93,4% Trang 15 Bông hoa 93,8% 93,9% 6,1% 6,2% 93,9% 93,9% Những kết quả này cũng được so sánh với một số nghiên cứu trước đây như xác định tín hiệu EEG dựa trên nháy mắt với 15.360 mẫu và đạt 90,85%, cây quyết định đạt tối đa 85%, dựa trên chuyển động của mắt bằng 2 thí nghiệm với 3.600 mẫu và 8.320 mẫu và đạt 85%. 3.3 Thiết kế mô hình tổng hợp xử lý tín hiệu Mô hình này được phát triển từ mô hình mạng neural đa lớp trong phần 3.2, ngoài việc nhận dạng tín hiệu EEG còn kết hợp với tín hiệu hướng mắt của người dùng thông qua camera. Mô hình này trung vào các vấn đề sau:  Sử dụng biến đổi theo phương pháp Hilbert Huang (HHT) để làm giảm nhiễu tín hiệu EEG vì HHT phù hợp với tín hiệu EEG cho kết quả tốt hơn các phương pháp khác.  Nhận dạng hướng mắt dựa trên hình ảnh khuôn mặt của người dùng kết hợp với nhận dạng tín hiệu EEG nhằm cải thiện hiệu quả của nhận dạng.  Thiết kế một hệ thống bao gồm phần cứng và phần mềm để thử nghiệm trong thế giới thực.  Dữ liệu thực nghiệm được thu thập từ 80 sinh viên trường Cao đẳng Công thương TP.HCM tình nguyện tham gia. Kiến trúc hệ thống bao gồm 3 khối được trình bày trong hình 3.5. Trang 16 Hình 3. 5 Kiến trúc hệ thống mô hình tổng hợp  Khối đầu tiên là khối nhận dạng tín hiệu EEG để trích xuất 5 tính năng.  Khối thứ hai là khối nhận dạng hướng mắt bằng cách nhận dạng mắt và lông mày từ hình ảnh khuôn mặt của người dùng để trích xuất 4 tính năng.  Khối thứ ba là mạng neural đa lớp với 9 nút đầu vào (4 cho camera và 5 cho EEG), 5 nút đầu ra được phân loại thành 5 tín hiệu điều khiển như "đi tiếp", "đi lùi", "rẽ trái", "rẽ phải" và "dừng". 3.3.1 Khối nhận dạng tín hiệu EEG Khối này thực hiện giống như mô hình được trình bày trong phần 3.2. Trước tiên, chọn các kênh có thông tin hữu ích và loại bỏ các kênh có thông tin dư thừa. Kế tiếp, dùng HHT để trích lọc đặc trưng và khử nhiễu dữ liệu. Sau đó, dùng thuật toán gom cụm K-Means để gom các cụm dữ liệu. 3.3.2 Nhận dạng tín hiệu hướng mắt Hình ảnh khuôn mặt được nhận từ camera và được cắt tại khu vực chứa thông tin về mắt để giảm thời gian xử lý, sau đó hình ảnh khuôn mặt được chuyển đổi thành hình ảnh nhị phân thỏa yêu cầu hiển thị Ảnh khuôn mặt Chuyển sang ảnh nhị phân Phát hiện mắt và lông mày Tính tỉ lệ mắt và lông mày Rút trích 04 đặc trưng Tín hiệu EEG Chọn kênh Biến đổi HHT Gom cụm Rút trích 05 đặc trưng MẠNG NEURAL ĐA LỚP Trang 17 đầy đủ 2 chân mày và 2 mắt như hình 3.6, giá trị ngưỡng được tính toán bằng thuật toán isodata. Hình 3. 6 Phát hiện mắt và lông mày  Sử dụng thuật toán phân đoạn ảnh để phát hiện trung tâm đồng tử của mắt, phân đoạn mắt và lông mày như trong hình 3.7. Hình 3. 7 Tâm đồng tử, phân đoạn ảnh mắt và lông mày  Tính tỷ lệ mắt trái và lông mày trái theo công thức (3.4) như trong hình 3.8. = (3.4) Hình 3. 8 Tỷ lệ mắt trái và lông mày trái  Tính tỷ lệ mắt phải và lông mày phải theo công thức (3.5) như trong hình 3.9. = (3.5) Trang 18 Hình 3. 9 Tỷ lệ mắt phải và lông mày phải  Tính toán tỷ lệ trung tâm đồng tử của mắt trái và chiều dài của mắt trái theo công thức (3.6) như trong hình 3.10. = (3.6) Hình 3. 10 Tỷ lệ tâm đồng tử và chiều dài mắt  Tính tỷ lệ trung tâm đồng tử của mắt phải và chiều dài của mắt phải theo công thức (3.7) như trong hình 3.10. = (3.7) 3.3.3 Mô hình mạng Neural đa lớp lan truyền ngược Mô hình mạng neural đa lớp lan truyền ngược được đề xuất bao gồm 3 lớp được trình bày trong hình 3.11. Trang 19 Hình 3. 11 Mô hình mạng Neural  Lớp đầu tiên chứa 9 nút như Delta, Theta, Alpha, Beta, Gamma, d1, d2, d3 và d4. Lớp này được gọi là lớp nhập.  Lớp thứ hai là lớp ẩn, số lượng Neural trong lớp ẩn là 11 Neural.  Lớp xuất chứa 5 nút, kết quả của nút này được sử dụng để phân loại tín hiệu EEG. Do hàm hành động được sử dụng trong mô hình này là hàm hyperbolic tangent, giá trị của nút xuất nằm trong khoảng [-1, 1]. Vì ngõ ra có 5 nút, nút nào có giá trị lớn nhất, nút đó sẽ được chọn và đó là tín hiệu điều khiển. 3.3.4 Chọn tập dữ liệu và kết quả thực nghiệm Dữ liệu thực nghiệm được thu thập từ 80 sinh viên trường Cao đẳng Công thương TP.HCM tham gia tình nguyện. Sinh viên đeo thiết bị Emotiv EEG và ngồi cách bảng quan sát 120cm. Dữ liệu thực nghiệm được chia thành 3 bộ dữ liệu như sau:  Tập dữ liệu huấn luyện được thu thập từ 70% dữ liệu của 60 SV.  Tập dữ liệu kiểm tra đầu tiên được thu thập từ 30% dữ liệu của 60 SV. Trang 20  Tập dữ liệu kiểm tra thứ hai được thu thập từ dữ liệu của 20 SV còn lại. Sau khi huấn luyện mạng Neural từ tập dữ liệu huấn luyện. Kết quả thực nghiệm của tập dữ liệu kiểm tra thứ nhất được thể hiện trong ma trận nhầm lẫn (confusion matrix) thể hiện trong bảng 3.5 và tỷ lệ nhận dạng thể hiện trong bảng 3.6. Bảng 3. 5 Ma trận nhầm lẫn của kết quả phân loại tập dữ liệu kiểm tra thứ nhất Phân loại thực tế Phân loại tiên đoán Con người Con vật Bông hoa Thành phố Phong cảnh Con người 91,2% 1,6% 3,1% 0,9% 2,7% Con vật 1,9% 91,1% 1,2% 3,2% 2,0% Bông hoa 2,8% 2,5% 92,8% 1,7% 1,5% Thành phố 2,4% 2,1% 0,7% 92,1% 1,9% Phong cảnh 1,7% 2,7% 2,2% 2,1% 91,9% Bảng 3. 6 Kết quả thực nghiệm trên tập dữ liệu kiểm tra thứ nhất TP TN FP FN AC P Con người 91.2% 91.3% 8.7% 8.8% 91.3% 91.3% Con vật 91.1% 91.1% 8.9% 8.9% 91.1% 91.1% Bông hoa 92.8% 92.6% 7.4% 7.2% 92.7% 92.6% Thành phố 92.1% 92.2% 7.8% 7.9% 92.2% 92.2% Phong cảnh 91.9% 92.1% 7.9% 8.1% 92.0% 92.1% Kết quả thực nghiệm của tập dữ liệu kiểm tra thứ hai được thể hiện trong ma trận nhầm lẫn (confusion matrix) thể hiện trong bảng 3.7 và tỷ lệ nhận dạng thể hiện trong bảng 3.8. Bảng 3. 7 Ma trận nhầm lẫn của kết quả phân loại tập dữ liệu kiểm tra thứ hai Phân loại thực tế Trang 21 Phân loại tiên đoán Con người Con vật Bông hoa Thành phố Phong cảnh Con người 90.7% 1.9% 2.7% 1.1% 3.1% Con vật 1.4% 90.8% 2.1% 2.6% 2.4% Bông hoa 2.3% 2.3% 92.3% 3.2% 1.7% Thành phố 3.1% 2.6% 1.2% 91.6% 1.3% Phong cảnh 2.5% 2.4% 1.7% 1.5% 91.5% Bảng 3. 8 Kết quả thực nghiệm trên tập dữ liệu kiểm tra thứ hai TP TN FP FN AC P Con người 90.7% 90.9% 9.1% 9.3% 90.8% 90.9% Con vật 90.8% 91.0% 9.0% 9.2% 90.9% 91.0% Bông hoa 92.3% 92.1% 7.9% 7.7% 92.2% 92.1% Thành phố 91.6% 91.8% 8.2% 8.4% 91.7% 91.8% Phong cảnh 91.5% 91.9% 8.1% 8.5% 91.7% 91.9% Kết quả thực nghiệm đối với tín hiệu hướng mắt thể hiện trong bảng 3.9 và đối với tín hiệu EEG thể hiện trong bảng 3.10. Bảng 3.11 so sánh 3 kết quả thực nghiệm. Đồ thị hình 3.12 mô tả so sánh kết quả thực nghiệm của 2 tín hiệu khi nhận dạng riêng biệt. Bảng 3. 9 Kết quả thực nghiệm trên tín hiệu hướng mắt TP TN FP FN AC P Con người 85.1% 85.7% 14.3% 14.9% 85.4% 85.6% Con vật 84.5% 84.1% 15.9% 15.5% 84.3% 84.2% Bông hoa 87.3% 86.3% 13.7% 12.7% 86.8% 86.4% Thành phố 83.6% 84.0% 16.0% 16.4% 83.8% 83.9% Phong cảnh 84.2% 83.2% 16.8% 15.8% 83.7% 83.4% Bảng 3. 10 Kết quả thực nghiệm trên tín hiệu EEG TP TN FP FN AC P Con người 90.2% 89.9% 10.1% 9.8% 90.1% 89.9% Trang 22 Con vật 90.3% 90.0% 10.0% 9.7% 90.2% 90.0% Bông hoa 92.3% 91.8% 8.2% 7.7% 92.1% 91.8% Thành phố 90.7% 90.4% 9.6% 9.3% 90.6% 90.4% Phong cảnh 90.4% 90.5% 9.5% 9.6% 90.5% 90.5% Bảng 3. 11 Kết quả thực nghiệm của 3 phương pháp nhận dạng EEG kết hợp Camera EEG Camera Con người 90,8% 90,1% 85,4% Con vật 90,9% 90,0% 84,3% Bông hoa 92,2% 91,8% 86,8% Thành phố 91,7% 90,4% 83,8% Phong cảnh 91,7% 90,5% 83,7% Hình 3. 12 Kết quả thực nghiệm trên 3 phương pháp riêng biệt 82.0% 84.0% 86.0% 88.0% 90.0% 92.0% 94.0% Con Người Động Vật Hoa Thành Phố Phong Cảnh SO SÁNH KẾT QUẢ THỰC NGHIỆM CỦA 3 PHƯƠNG PHÁP RIÊNG BIỆT EEG Kết hợp Camera EEG Camera Trang 23 CHƯƠNG 4 XÂY DỰNG PHẦN MỀM VÀ PHẦN CỨNG CHO HỆ THỐNG ĐIỀU KHIỂN XE LĂN MÔ HÌNH Trong chương này, tác giả xây dựng hệ thống phần cứng và phần mềm điều khiển xe lăn mô hình dựa trên các mô hình nghiên cứu được ở chương 3. Sau đó, đánh giá các kết quả thực nghiệm thực tế để làm rõ phần đóng góp ý nghĩa thực tiễn của luận án. 4.1 Hệ thống phần mềm điều khiển xe lăn Phần mềm điều khiển xe lăn được thiết kế trên Visual Studio C# 2015, giao diện phần mềm gồm có 4 chức năng chính như sau: 4.1.1 Đăng nhập hệ thống Trong phần này bắt buộc bất kỳ người nào sử dụng phần mềm điều phải có tài khoản (account) để đăng nhập hệ thống, nếu chưa có phải đăng ký vào hệ thống. Tài khoản cá nhân dùng để quản lý cơ sở dữ liệu tín hiệu điện não, thời gian huấn luyện, mức độ chính xác trong quá trình điều khiển. Giao diện của phần đăng nhập như hình 4.1. Đồ thị của 14 kênh tín hiệu EEG Hình ảnh từ camera Vị trí các điện cực Đăng ký/ đăng nhập hệ thống Hiển thị kết quả điều khiển Hình 4. 1 Giao diện đăng nhập hệ thống 4.1.2 Huấn luyện điều khiển xe lăn Đối với một người chưa từng tham gia điều khiển điều phải thực hiện bước này, giống như người chưa từng lái xe phải học lái xe trước khi lái xe, để có thể tự mình điều khiển được người tham gia phải thực hiện điều khiển 5 lệnh với tỉ lệ đạt trên 90% cho mỗi lệnh, mục đích việc huấn luyện này giúp người tham gia làm quen với việc điều khiển xe lăn và quen với việc tập trung trong điều khiển, giao diện phần huấn luyện được thể hiện như hình 4.2. Trang 24 Hình 4. 2 Giao diện huấn luyện 4.1.3 Xem đồ thị dữ liệu Phần mềm cũng có chức năng xem lại đồ thị dữ liệu tín hiệu điện não theo từng kênh, tùy vào mục đích sử nghiên cứu chỉ việc bấm vào vị trí kênh điện cực như hình 4.3. Hình 4. 3 Giao diện xem từng kênh tín hiệu điện não EEG 4.1.4 Trích đặc điểm dữ liệu Để trích đặc điểm dữ liệu ta áp dụng phương pháp HHT như đã trình bày trong phần cơ sở lý thuyết. Tổng số kênh cần xử lý là 10, mỗi kênh được phân tích ra thành 12 IMF (hàm bản chất), như vậy chúng ta có tất cả 120 IMF cho mỗi lần xử lý, chương trình con để trích xuất 1 kênh dữ liệu thành các IMF, sau đó từ các IMF này ta trích xuất ra theo 5 dạng sóng cơ bản như hình 4.4: Trang 25 Hình 4. 4 Một kênh tín hiệu EEG được biến đổi thành các dạng sóng cơ bản 4.2 Hệ thống phần cứng Hệ thống phần cứng bao gồm các thiết bị như bảng quan sát, xe lăn mô hình, thiết bị Emotiv và máy tính có phần mềm điều khiển, hệ thống được mô tả như hình 4.5. Hình 4. 5 Tư thế ngồi và các thiết bị phần cứng 4.2.1 Bảng quan sát Bảng quan sát có kích thước 46x42 cm, có thể điều chỉnh hướng nghiêng như một màn hình laptop cho phù hợp với từng người điều khiển, trên bảng quan sát có 5 hình kích thước mỗi hình là 8x12 cm được đặt cách đều nhau với khoảng cách là 8cm, một camera được đặt giữa hình người và bông hoa dùng để ghi nhận hướng di chuyển của mắt như hình 4.6. Trang 26 Hình 4. 6 Bảng quan sát Camera được gắn trên bảng quan sát để phát hiện sự di chuyển của mắt tương ứng với 05 hình trên bảng điều khiển. Camera được sử dụng của hãng Logitech với model C615, một hãng sản xuất camera nổi tiếng, có kích thước nhỏ gọn, dễ lắp ráp và có độ ổn định cao với các thông số kỹ thuật sau: Độ phân giải HD 1080, tần số quét 30fps, trường ngắm 78o, kết nối máy tính qua cổng USB. Camera được thể hiện trong hình 4.7. Hình 4. 7 Camera Logitech C615 4.2.2 Xe lăn mô hình Xe lăn mô hình dùng để mô phỏng quá trình di chuyển nhận lệnh từ máy tính, xe có kích thước nhỏ gọn có thể chạy tới, chạy lui, quay phải, quay trái và dừng lại phù hợp với yêu cầu của luận án, sơ đồ nguyên lý của mạch điện được thể hiện như hình 4.9, thông số chi tiết về xe được thể hiện trên bảng 4.1. Trang 27 Hình 4. 8 Xe lăn mô hình Bảng 4. 1 Thông số kỹ thuật của xe lăn mô hình Stt Mô tả xe Thông số kỹ thuật 1 Kích thước xe (dài – rộng – cao) 35x30x35 cm 2 Động cơ xe 200 vòng/phút, 9 VDC 3 Số lượng động cơ 02 4 Xe sử dụng pin sạc 9VDC 2000 mA 5 Trọng lượng xe 0.8 kg Sơ đồ nguyên lý của xe lăn bao gồm bộ xử lý arduino UNO3, driver cho 2 động cơ là board LM298, và module bluetooth HC-05 dùng để nhận lệnh điều khiển từ máy tính. Hình 4. 9 Sơ đồ nguyên lý mạch điện 4.2.3 Thiết bị Emotiv Trang 28 Một thiết bị không thể thiếu trong việc thực nghiệm điều khiển đó là thiết bị Emotiv EPOC+ (nón EPOC+) dùng để ghi nhận tín hiệu điện não và phát tín hiệu về máy tính thông qua bluetooth, thiết bị EPOC+ được thể hiện trong hình 4.10. Hình 4. 10