Tóm tắt Luận án Phân tích thông minh tín hiệu video hỗ trợ cho hệ thống giám sát chăm sóc sức khỏe

g trọng yếu. Tiêu biểu là phương pháp K-NN (K- Nearest Neighbor) và SVM (Support Vector Machine). 1.5.2. Nhận dạng động 1 Stauffer và Grimson (1999) 2 Meinard Muller và cộng sự (2005) 6 1.5.2.1. Phương pháp so khớp mẫu So sánh chuỗi vector đặc trưng trích từ đoạn video kiểm tra và từ đoạn video huấn luyện để xác định chúng có tương tự nhau hay không. Tiêu biểu là phương pháp DTW (Dynamic Time Warping). 1.5.2.2. Phương pháp dùng mô hình không gian trạng thái Mỗi hành động được biểu diễn bằng một mô hình nhiều trạng thái, mỗi trạng thái tương đương với một tư thế. Để nhận dạng, tính xác suất mà mỗi mô hình có thể sinh ra chuỗi vector đặc trưng trích từ đoạn video kiểm tra, để đo khả năng mô hình đó sinh ra chuỗi vector đó. Tiêu biểu là mô hình HMM (Hidden Markov Model). 1.5.3. Thảo luận về các phương pháp nhận dạng hành động Tỷ lệ nhận dạng theo phương pháp nhận dạng tĩnh bị phụ thuộc vào khung trọng yếu. Phương pháp so khớp mẫu đơn giản nhưng nhạy với nhiễu và chịu chi phối bởi thứ tự thời gian của các khung hình. Phương pháp dùng mô hình không gian trạng thái khắc phục được khuyết điểm của phương pháp so khớp mẫu nhưng tính toán phức tạp hơn, đòi hỏi số lượng dữ liệu lớn và hiện chưa có lý thuyết xác định cấu trúc cũng như giá trị tối ưu của các thông số mô hình. 1.6. Định hướng vấn đề nghiên cứu 1.6.1. Bài toán xây dựng hệ thống HMS trên nền IVA 1.6.1.1. Bài toán phát hiện té ngã Yêu cầu phát hiện và cảnh báo té ngã từ đoạn video ghi hình đối tượng quan tâm sống một mình tại nhà và đang thực hiện các hoạt động thông thường thì bị ngã. Góc quay của camera là tùy ý. 1.6.1.2. Bài toán dự đoán nguy cơ té ngã Yêu cầu phát hiện dáng đi bất thường từ đoạn video ghi hình đối tượng quan tâm sống một mình tại nhà và đi bộ theo đường thẳng với góc quay bên hông. Kết quả phát hiện dáng đi bất thường có thể hỗ trợ cho dự đoán nguy cơ té ngã, vì dáng đi bất thường là một trong các yếu tố nguy cơ gây ra té ngã. 7 1.6.1.3. Bài toán dự đoán chứng rối loạn nhận thức Yêu cầu phát hiện hành động bất thường từ đoạn video ghi hình đối tượng quan tâm sống một mình tại nhà và đang thực hiện một hành động nào đó với góc quay tùy ý. Kết quả được dùng để hỗ trợ dự đoán chứng rối loạn nhận thức nhẹ MCI (Mild Cognitive Impairment), vì nghiên cứu cho thấy chứng MCI có gây ra hành động bất thường. 1.6.2. Các vấn đề thiết yếu về hệ thống HMS đề xuất 1.6.2.1. Các khó khăn khi xây dựng hệ thống HMS - Khó khăn về kỹ thuật: như trình bày ở 1.3.4 - Khó khăn phi kỹ thuật: cơ sở dữ liệu video, vấn đề về quyền riêng tư. 1.6.2.2. Trích đặc trưng trong hệ thống HMS đề xuất Do môi trường quay trong nhà, camera gắn cố định và nền tĩnh nên dùng phương pháp trừ nền GMM để phân vùng đối tượng. Các bộ mô tả đặc trưng thay đổi tùy ứng dụng, nhằm khai thác được những đặc điểm nổi bật nhất và khác biệt nhất của từng loại hành động cần nhận dạng. 1.6.2.3. Nhận dạng hành động trong hệ thống HMS đề xuất Từ các phân tích ở mục 1.5.3, mô hình HMM được chọn dùng trong các hệ thống HMS đề xuất, vì lý do: (1) không phụ thuộc tốc độ thực hiện hành động, (2) cho kết quả nhận dạng tốt, (3) có thể mở rộng HMM chuẩn nhằm phục vụ những mục đích đặc biệt. 1.7. Kết luận chương 1 Đóng góp chính của chương là phân tích, đánh giá ưu khuyết điểm của các nghiên cứu về IVA. Đây là cơ sở để định hướng các vấn đề nghiên cứu tiếp theo trong luận án. Chương 2: HỆ THỐNG HMS TRÊN NỀN KỸ THUẬT IVA Chương này trình bày cấu trúc và tính toán trong các hệ thống HMS đề xuất, nhằm hướng đến ba ứng dụng như đã trình bày ở 1.6.1. Các kết quả nghiên cứu về hệ thống HMS đề xuất đã được công bố ở các công trình [9]-[12] trong Danh mục công trình của tác giả. 8 2.1. Phân vùng đối tượng theo phương pháp trừ nền GMM Nguyên lý phân vùng đối tượng là so sánh khung hình hiện tại với mô hình nền, qua đó phân chia khung hình thành vùng chứa đối tượng chuyển động và vùng nền. Mô hình nền được xây dựng dựa trên mô hình GMM cho từng điểm ảnh và liên tục được cập nhật theo thời gian. Sau đó, áp dụng các phép hình thái toán học để làm mịn đường biên và lấp đầy các lỗ nhỏ bên trong vùng chứa đối tượng nhằm tạo nên một ảnh mặt nạ hoàn hảo dùng cho các bước xử lý tiếp theo. Hình 2.1 là một ví dụ về phân đoạn đối tượng bằng trừ nền GMM. Hình 2.1. Kết quả phân đoạn đối tượng bằng trừ nền GMM. 2.2. Mô tả đặc trưng trong hệ thống HMS phát hiện té ngã 2.2.1. Đặc điểm té ngã 2.2.2. Tính toán vector đặc trưng té ngã Sự khác biệt rõ rệt giữa hành động “té ngã” và “không té” thể hiện ở hình dạng và tốc độ chuyển động. Do đó đặc trưng kết hợp hình dạng với tốc độ3 được chọn dùng trong luận án và được tính qua 4 bước sau: Bước 1: Xác định ellipse bao quanh đối tượng trong ảnh mặt nạ. Bước 2: Tính các đặc trưng hình dạng dựa vào hình ellipse để biết tư thế của đối tượng, gồm: - Góc đứng tức thời của khung hiện tại, - Độ thay đổi góc đứng trong 15 khung liên tiếp, - Độ lệch tâm tức thời, - Độ thay đổi trọng tâm đối tượng trong 15 khung liên tiếp. 3 Ngo và cộng sự (2012) 9 Bước 3: Tính đặc trưng tốc độ chuyển động để biết tốc độ chuyển động nhanh hay chậm của đối tượng, dựa vào ảnh lịch sử chuyển động MHI (Motion History Image) được xây dựng từ 15 khung liên tiếp. Bước 4: Kết hợp đặc trưng hình dạng với đặc trưng tốc độ. 2.3. Mô tả đặc trưng trong hệ thống HMS phát hiện dáng đi bất thường 2.3.1. Đặc điểm dáng đi 2.3.2. Tính toán vector đặc trưng dáng đi Do có sự khác biệt giữa hình dạng các ảnh mặt nạ trích từ các loại dáng đi bệnh lý khác nhau nên bộ mô tả đặc trưng hình dạng dựa vào moment Hu4 được chọn để mô tả dáng đi. Vì kết quả tính các giá trị của moment Hu rất bé nên áp dụng phép logarit để chuyển các vector đặc trưng ở rất gần nhau trong không gian gốc sang không gian mới, ở đó chúng cách nhau đủ xa để dễ xử lý hơn. 2.4. Mô tả đặc trưng trong hệ thống HMS phát hiện hành động bất thường Hệ thống phát hiện hành động bất thường đề xuất dựa trên hệ thống nhận dạng hành động như trên Hình 2.2. Hình 2.2. Cấu trúc hệ thống phát hiện hành động bất thường. 2.4.1. Cơ sở xây dựng bộ mô tả đặc trưng hành động 3D GRF Bộ mô tả đặc trưng 3D GRF dựa trên ý tưởng của đặc trưng nhị phân 4 Huang và cộng sự (2010) 10 là mô tả quan hệ hình học giữa các điểm quan tâm trên cơ thể, nhưng dùng số thực có dấu thay cho số 0/1, nhằm khai thác các ưu điểm và hạn chế khuyết điểm của đặc trưng nhị phân như đã phân tích ở 1.4.3. 2.4.2. Xác định dữ liệu vào của bộ mô tả đặc trưng 3D GRF Dữ liệu vào là tọa độ 3D của các điểm trên cơ thể (Hình 2.3), được ước lượng dựa vào vật đánh dấu (marker) hoặc tín hiệu video. (a) (b) (c) Hình 2.3. Mô hình cơ thể (a) Ảnh gốc, (b) Mô hình 13 điểm, (c) Mô hình 3D Phương pháp dựa vào marker chính xác nhưng chi phí cao và phức tạp. Phương pháp dựa vào tín hiệu video có giá thành rẻ hơn và thực hiện đơn giản hơn. Qua tìm hiểu, phương pháp5 được chọn dùng do sai khác ước lượng tốt nhất so với các phương pháp dựa vào video khác. 2.4.3. Tính toán vector đặc trưng 3D GRF Xét 6 hành động “đánh bốc”, “vẫy tay”, “chạy chậm”, “đi bộ”, “đá”, “ném” có sẵn trong các cơ sở dữ liệu công cộng. Phân tích các cử động của cơ thể khi thực hiện 6 hành động này, có thể đề xuất Bảng 2.1 mô tả GRF. 2.4.3.1. Tính đặc trưng khoảng cách Đặc trưng khoảng cách là khoảng cách có dấu giữa các bộ phận quan tâm trong cơ thể và có thay đổi rõ rệt trong khi thực hiện hành động. Đặc trưng 1A là khoảng cách có dấu giữa điểm quan tâm với mặt phẳng đứng (coronal plane), dấu +/- chỉ ra điểm quan tâm ở trước/sau thân. Mặt phẳng đứng xác định bởi 3 điểm {p1, p2, p3} lần lượt là {Hông 5 Shian-Ru Ke và cộng sự (2011) 11 trái, Hông phải, Vai phải}, {Hông trái, Hông phải, Vai trái}, {Vai trái, Vai phải, Hông phải}, và {Vai trái, Vai phải, Hông trái}; điểm quan tâm p4 lần lượt là Tay phải, Tay trái, Chân phải, Chân trái tương ứng với đặc trưng F1, F2, F3, F4. Vậy tính đặc trưng 1A chính là tính khoảng cách có dấu giữa điểm p4 và một mặt phẳng xác định bởi {p1, p2, p3}. Đặc trưng 1B là khoảng cách có dấu giữa Tay với mặt phẳng dọc (saggital plane), dấu +/- chỉ cho biết Tay ở bên phải/trái cơ thể. Bảng 2.1. Tập các đặc trưng 3D GRF 2.4.3.2. Chuẩn hóa đặc trưng khoảng cách Chuẩn hóa nhằm đảm bảo giá trị của đặc trưng khoảng cách F1-F6 không bị phụ thuộc vào khoảng cách giữa camera và đối tượng. 2.4.3.3. Tính đặc trưng góc Đặc trưng góc là góc đo giữa hai đoạn thẳng quan tâm trên cơ thể và có thay đổi rõ rệt trong khi thực hiện hành động. Tính đặc trưng góc chính là tính góc tạo bởi hai vector v1 và v2 có chung điểm gốc là p và có điểm ngọn tương ứng là p1 và p2. 2.4.4. Bộ mô tả đặc trưng 3D GRF cải tiến Trong trường hợp hành động cần nhận dạng gồm “xem giờ”, “vòng tay”, “gãi đầu”, “ngồi xuống”, “đứng dậy”, “xoay người”, “đi bộ”, “vẫy tay”, “đấm”, “đá” và “nhặt đồ”, đặc trưng 3D GRF nên được cải tiến để mô tả hành động hữu hiệu hơn. GRF cải tiến gồm 15 đặc trưng: giữ lại 8 đặc trưng gốc, thay thế 2 đặc trưng gốc và bổ sung 5 đặc trưng mới. 2.5. Nhận dạng hành động dựa trên mô hình HMM 2.5.1. Giới thiệu mô hình HMM 12 Một mô hình HMM được xác định bởi tập λ = {A, B, π} và giá trị N, M; với A là ma trận chuyển tiếp, B là ma trận quan sát, π là xác suất trạng thái khởi đầu, N là số trạng thái ẩn và M là số ký hiệu quan sát. Có nhiều loại mô hình HMM, trong đó loại HMM trái-phải là phù hợp với mô hình hóa hành động trong đoạn video. 2.5.2. Ứng dụng mô hình HMM vào nhận dạng hành động Trong pha huấn luyện, cần huấn luyện một mô hình HMM cho mỗi hành động cần nhận dạng từ chuỗi vector huấn luyện. Trong pha kiểm tra, cần tính likelihood mà mỗi mô hình HMM có thể sinh ra chuỗi vector kiểm tra, từ đây kết luận về hành động cần nhận dạng dựa theo tiêu chuẩn likelihood cực đại. 2.5.3. Mô hình HMM-Kmeans 2.5.3.1. Nguyên lý hoạt động của HMM rời rạc Dữ liệu vào huấn luyện là chuỗi vector huấn luyện được rời rạc hóa bằng cách lượng tử hóa vector (ví dụ dùng Kmeans6) để tạo ra một bảng mã. Dữ liệu vào kiểm tra là chuỗi vector kiểm tra được rời rạc hóa bằng cách mã hóa vector dựa vào bảng mã này. 2.5.3.2. Lượng tử hóa vector dựa vào Kmeans Nhằm hạn chế các khuyết điểm của Kmeans, thực hiện một số thay đổi như: (1) thí nghiệm với K thay đổi, (2) ứng với mỗi K thực hiện Kmeans nhiều lần rồi lấy trung bình cộng của các bảng mã trung gian, (3) thay giá trị trung bình bằng giá trị trung vị khi xác định trọng tâm nhóm. 2.5.4. Mô hình HMM nhận dạng hành động gần tuần hoàn 2.5.4.1. Khái niệm hành động gần tuần hoàn Từ “gần tuần hoàn” được dùng theo nghĩa là các tư thế (hoặc tham số đặc trưng) của hành động lặp lại theo chu kỳ. Tuy nhiên, sự lặp lại này không hoàn toàn giống nhau từ chu kỳ trước đến chu kỳ sau. 2.5.4.2. Mô hình HMM tuần hoàn CHMM Là HMM trái-phải với một chuyển tiếp từ trạng thái cuối về trạng thái đầu như Hình 2.4 để biểu thị sự lặp lại của các tư thế trong hành động. 6 Glenn Fung (2011) 13 Hình 2.4. Mô hình CHMM 5 trạng thái. 2.6. Kết luận chương 2 Tóm lại, chương 2 đã trình bày chi tiết tính toán các khâu xử lý trong các hệ thống HMS đề xuất. Đóng góp chính của chương là đề xuất mô hình giám sát chăm sóc sức khỏe hướng đến 3 ứng dụng khác nhau gồm phát hiện té ngã, dự đoán nguy cơ té ngã và dự đoán nguy cơ chứng MCI. Các đề xuất mới trong mô hình gồm: bộ mô tả đặc trưng 3D GRF và nhận dạng hành động gần tuần hoàn dùng mô hình CHMM. Hiệu quả của mô hình và các đề xuất sẽ được kiểm tra, đánh giá lần lượt qua chương 3 và chương 4. Chương 3: GIÁM SÁT TÉ NGÃ Chương này trình bày thí nghiệm kiểm tra, đánh giá hệ thống HMS ở chương 2 trong ứng dụng giám sát té ngã, với hai kịch bản: (1) phát hiện té ngã và (2) dự đoán nguy cơ té ngã do dáng đi bất thường. Kết quả nghiên cứu thực nghiệm về hệ thống giám sát té ngã được công bố qua các công trình [9], [10], [12] trong Danh mục công trình của tác giả. 3.1. Giới thiệu các cơ sở dữ liệu và tiêu chí đánh giá hệ thống 3.1.1. Cơ sở dữ liệu té ngã HBU HBU do nhóm TRT-3DCS xây dựng, bao gồm 134 đoạn video gồm 65 đoạn “té ngã” và 69 đoạn “không té”, độ phân giải 320x240, tốc độ 30 khung/s. Các tình huống té ngã khác nhau về hướng té (trực diện, chéo, bên hông), nguyên nhân té, tư thế cơ thể khi té và tốc độ té. A = a11 a12 0 0 0 0 a22 a23 0 0 0 0 a33 a34 0 0 0 0 a44 a45 a51 0 0 0 a55 ! " # # # # # # # $ % & & & & & & & 14 3.1.2. Cơ sở dữ liệu dáng đi bất thường Đây là cơ sở dữ liệu tự xây dựng, có 56 đoạn video dáng đi Ataxic, 85 đoạn Hemiplegic, 93 đoạn Limping, 97 đoạn Neuropathic, 100 đoạn Parkinson, 100 đoạn bình thường, phân giải 180x144, tốc độ 25 khung/s. Các video được ghi hình với góc quay bên hông. 3.1.3. Cơ sở dữ liệu té ngã Le2i Le2i do phòng thí nghiệm Le2i xây dựng, có 215 đoạn video gồm 147 đoạn “té ngã” và 68 đoạn “không té”, độ phân giải gồm 320x240 và 320x180, tốc độ gồm 25 khung/s và loại 24 khung/s. 3.1.4. Tiêu chí đánh giá hệ thống Dựa vào Recall (RC), Precision (PR) và Accuracy (Acc) được tính từ ma trận nhầm lẫn (confusion matrix) như trong Hình 3.1. (3.1) Hình 3.1. Ma trận nhầm lẫn. 3.2. Kiểm tra, đánh giá hệ thống phát hiện té ngã Xét hệ thống7 dùng đặc trưng như ở 2.2 và mô hình HMM-Kmeans. 3.2.1. Sự phân chia dữ liệu Toàn bộ cơ sở dữ liệu được chia hai: 31 video huấn luyện và 103 video kiểm tra. Các video kiểm tra được chia thành 3 tập con Test1, Test2 và Test3 ứng với các kịch bản té ngã có độ phức tạp khác nhau. 3.2.2. Quá trình thí nghiệm và kết quả kiểm tra hệ thống phát hiện té ngã RC = TP TP + FN , PR = TP TP + FP , ACC = TP + TN TP + TN + FP + FN TP (True Positive): dương tính thật FP (False Positive): dương tính giả FN (False Nagetive): âm tính giả TN (True Negative): âm tính thật 7Tra và Pham, 2013 15 Hệ thống được kiểm tra theo quy trình ở Hình 3.2, với N=5 và K=M=96 Hình 3.2. Sơ đồ thí nghiệm phát hiện té ngã. 3.2.3. Kết quả thí nghiệm kiểm tra hệ thống phát hiện té ngã Bảng 3.1. Hiệu quả nhận dạng của hệ thống phát hiện té ngã trên HBU 3.2.4. Đánh giá hệ thống phát hiện té ngã 3.2.4.1. Đánh giá hiệu quả nhận dạng của hệ thống - Tỷ lệ nhận dạng phụ thuộc vào mức độ phức tạp của kịch bản kiểm tra. - Hiệu quả phát hiện té ngã bị ảnh hưởng bởi góc quay: té hướng bên hông được phát hiện 100% và hướng trực diện bị bỏ sót nhiều nhất (78.95%). - Tỷ lệ dương tính giả nhiều nhất với các hành động xảy ra trên sàn nhà. 3.2.4.2. Nguyên nhân nhận dạng không chính xác - Ánh sáng yếu, màu quần áo trùng lẫn màu nền, che khuất. - Bộ mô tả đặc trưng té ngã thiếu thông tin chiều sâu. 3.2.4.3. So sánh các hệ thống phát hiện té ngã Kết quả so sánh trong Bảng 3.2 cho thấy hiệu quả rõ rệt của hệ thống đang xét, thể hiện ở sự tăng lên của tất cả các tiêu chí RC, PR và Acc. 16 Bảng 3.2. So sánh các hệ thống phát hiện té ngã Hệ thống RC PR Acc Trừ nền và so khớp ngưỡng 73.01 70 69.9 Trừ nền và mạng neural 81.13 84.31 82.69 Trừ nền GMM và mạng neural 87.38 86.67 86.38 Trừ nền GMM và mô hình HMM 88.46 86.79 87.38 3.3. Triển khai hệ thống phát hiện té ngã thực tế 3.3.1. Kiến trúc hệ thống phát hiện té ngã thực tế 3.3.1.1. Thu nhận tín hiệu video Ghi hình bằng camera IP D-Link DCS-942L, truyền tín hiệu video qua router không dây đến máy tính, giao diện video-máy tính được thiết kế nhờ C++ và OpenCV, thủ tục truyền dữ liệu là RTSP. 3.3.1.2. Phân tích tín hiệu video Truyền tín hiệu video theo từng khung đến máy tính để phân tích theo thuật toán phát hiện té ngã đã trình bày, dùng Matlab 2012a. 3.3.1.3. Thông tin cảnh báo Có hai hình thức cảnh báo được thiết kế là (1) cảnh báo tại chỗ bằng âm thanh và văn bản trên màn hình quan sát và (2) cảnh báo từ xa bằng tin nhắn SMS gởi đến số điện thoại đã định dùng module SIM900A. 3.3.2. Kiểm tra, đánh giá hệ thống với cơ sở dữ liệu Le2i 3.3.2.1. Thí nghiệm kiểm tra hệ thống với cơ sở dữ liệu Le2i Chọn 58 đoạn video có phân giải 320x240 trong tập Home1, Home2 và Lecture có kịch bản khác nhiều so với HBU. Kết quả có 13/22 hành động “té ngã” và 28/36 hành động “không té” được nhận dạng đúng, dẫn đến chỉ số thống kê là RC=59%, PR=62% và Acc=71%. 3.3.2.2. Nhận xét đánh giá hệ thống dựa trên cơ sở dữ liệu Le2i - 100% cảnh nền và 50/58 đoạn video (chiếm 86%) chuỗi hành động trong Le2i khác với HBU nên tỷ lệ nhận dạng giảm đi đáng kể. - Ánh sáng yếu, che khuất ảnh hưởng đến phân đoạn đối tượng (69%). 17 - Tỷ lệ dương tính giả cao do nhiều đối tượng chuyển động (55%), hành động tương tự “té ngã” (62%), đồ vật bị rơi (14%). - Khó áp dụng trừ nền GMM do đối tượng có sẵn trong khung hình (57%), đối tượng bất động (86%). 3.3.3. Kiểm tra, đánh giá hệ thống với tình huống té ngã thực tế Nhằm kiểm tra tính ổn định, khả năng đáp ứng thời gian thực và khả năng phát hiện tai nạn té ngã thực, hệ thống được huấn luyện bởi 134 video HBU, cho chạy thử trước Văn phòng Khoa ĐT-VT và phòng học C217 trường Đại học bách khoa, ĐHĐN, từ 14/04 - 15/05/2014. Kết quả là camera ghi được 674 hành động với 9 hành động “té ngã”. Hệ thống phát hiện và cảnh báo được 8/9 hành động “té ngã”, nhận dạng nhầm 16 hành động “không té”. Vậy tỷ lệ nhận dạng chính xác là Acc = 97.47%. Thời gian trễ xử lý đo được là 1-5 giây. 3.4. Kiểm tra, đánh giá hệ thống dự đoán nguy cơ té ngã do dáng đi bất thường 3.4.1. Kiểm tra, đánh giá hệ thống phát hiện dáng đi bệnh Parkinson 3.4.1.1. Thí nghiệm phát hiện dáng đi bệnh Parkinson Thí nghiệm theo quy trình ở Hình 3.2, với cơ sở dữ liệu 100 đoạn video dáng đi bình thường và 100 đoạn Parkinson, bộ mô tả đặc trưng là moment Hu, mô hình nhận dạng là CHMM N = 7 và M = 64. 3.4.1.2. Kết quả thí nghiệm phát hiện dáng đi bệnh Parkinson Thực hiện đánh giá theo phương pháp đánh giá chéo 1:10, kết quả là 99/100 dáng đi Parkinson và 100/100 dáng đi bình thường được nhận dạng đúng, dẫn đến tỷ lệ nhận dạng chính xác rất tốt - Acc = 99.5%. 3.4.2. Kiểm tra, đánh giá hệ thống phát hiện dáng đi bệnh lý 3.4.2.1. Thí nghiệm phát hiện dáng đi bệnh lý Thí nghiệm tương tự như thí nghiệm phát hiện dáng đi Parkinson ở 3.4.1.1, chỉ khác cơ sở dữ liệu là cơ sở dữ liệu dáng đi bất thường gồm 6 loại dáng đi bệnh lý khác nhau đã trình bày ở 3.1.2. 3.4.2.2. Kết quả thí nghiệm phát hiện dáng đi bệnh lý 18 Thí nghiệm đầu tiên được thực hiện với vector đặc trưng dùng moment Hu không qua logarit đối với dáng đi Ataxic và Hemiplegic cho kết quả nhận dạng đúng rất thấp (<50%). Thí nghiệm thứ hai thực hiện với vector đặc trưng dựa trên moment Hu đã qua phép tính logarit đối với cả 6 loại dáng đi. Kết quả là có 49/56 đoạn Ataxic, 80/85 đoạn Hemiplegic, 92/93 đoạn Limping, 92/97 đoạn Neuropathic, 99/100 đoạn Parkinson được nhận dạng là “bất thường” và 85/100 đoạn đi bình thường được nhận dạng là “bình thường”. Từ đây xây dựng được ma trận nhầm lẫn (tính bằng %), sau đó tính được các chỉ số thống kê RC=95.59%, PR=86.43%, Acc=90.30%. Qua thí nghiệm có thể rút ra các nhận xét về ưu điểm của hệ thống: - Tỷ lệ phát hiện dáng đi bất thường khá cao nên hỗ trợ tốt cho việc dự đoán nguy cơ té ngã do dáng đi bất thường gây ra. - Thời gian quan sát người đi bộ rất ngắn (độ dài đoạn video từ 10-42s). - Có thể ứng dụng hệ thống vào nhận dạng bệnh thông qua dáng đi. - Hệ thống đề xuất đơn giản hơn các hệ thống phân tích dáng đi khác. Các hạn chế của hệ thống gồm: - Hệ thống chỉ áp dụng cho góc quay bên hông. - Tỷ lệ dương tính giả còn cao (15% dáng đi bộ bị nhầm thành bệnh lý). - Tỷ lệ nhận dạng đúng dáng đi Ataxic còn thấp (87.5%). - Cơ sở dữ liệu chưa có sự tham gia của bệnh nhân thật. 3.5. Kết luận chương 3 Tóm lại, các thí nghiệm ở trên cho thấy các hệ thống HMS đề xuất đã cơ bản đáp ứng được mục tiêu đề ra: hệ thống phát hiện té ngã đạt hiệu quả phát hiện té ngã tốt với thời gian trễ rất thấp, hệ thống phát hiện dáng đi bất thường đạt hiệu quả nhận dạng cao nên có thể hỗ trợ tốt cho việc dự đoán nguy cơ té ngã. Chương 4: PHÁT HIỆN HÀNH ĐỘNG BẤT THƯỜNG Chương này trình bày thí nghiệm kiểm tra, đánh giá hệ thống HMS phát hiện hành động bất thường đã trình bày trong chương 2. 19 Các thí nghiệm nhằm: (1) đánh giá đặc trưng 3D GRF, (2) xét ảnh hưởng của các yếu tố khác nhau đến tỷ lệ nhận dạng, (3) kiểm tra mô hình CHMM và (4) kiểm tra hệ thống phát hiện hành động bất thường. Kết quả nghiên cứu thực nghiệm về hệ thống HMS phát hiện hành động bất thường đã được công bố qua các công trình [3]-[5], [7]-[8], [11] trong Danh mục công trình của tác giả. 4.1. Giới thiệu các cơ sở dữ liệu và tiêu chí đánh giá hệ thống 4.1.1. Cơ sở dữ liệu HumanEVA HumanEVA được quay bởi hệ thống MOCAP, cung cấp dữ liệu là tọa độ 3D của các điểm gắn marker. Từ cơ sở dữ liệu HumanEVA trích được 152 đoạn video chứa một chu kỳ hành động, gồm 22 đoạn “đánh bốc”, 35 đoạn “vẫy tay”, 54 đoạn “chạy chậm” và 41 đoạn “đi bộ”. 4.1.2. Cơ sở dữ liệu ước lượng tư thế 3D Toàn bộ cơ sở dữ liệu có 80 đoạn video hành động, có 20 đoạn cho mỗi loại hành động như “vẫy tay”, “đá”, “ném” và “đánh bốc”, mỗi đoạn video chỉ chứa một chu kỳ hành động hoàn chỉnh. 4.1.3. Cơ sở dữ liệu IXMAS IXMAS được xây dựng bởi Viện INRIA, có tổng cộng 11 hành động như đã nêu ở 2.4.4. Có 12 đối tượng tham gia ghi hình, thực hiện 3 lần cho một hành động nên có tổng cộng 36 đoạn video cho một hành động. 4.1.4. Tiêu chí đánh giá hệ thống Hệ thống phát hiện hành động bất thường đề xuất gồm 2 khối chính như Hình 2.3. Khối nhận dạng hành động được đánh giá dựa vào tỷ lệ nhận dạng đúng trung bình, được tính là trung bình cộng của tỷ lệ nhận dạng đúng của mỗi hành động. Khối phát hiện bất thường được đánh giá dựa vào các tiêu chí RC, PR và Acc. 4.2. Đánh giá bộ mô tả đặc trưng 3D GRF 4.2.1. Thí nghiệm về bộ mô tả đặc trưng 3D GRF Thí nghiệm được thực hiện theo quy trình ở Hình 3.2, cơ sở dữ liệu HumanEVA, bộ mô tả đặc trưng lần lượt là 3D GRF và tọa độ 3D của 13 điểm, mô hình nhận dạng là HMM-Kmeans N = 5 và M = 64. 4.2.2. Kết quả thí nghiệm về bộ mô tả đặc trưng 3D GRF 20 - Thí nghiệm 4.2.2a dùng tọa độ 3D của 13 điểm, mẫu huấn luyện lấy từ cả 3 người, tỷ lệ nhận dạng 76.75%. - Thí nghiệm 4.2.2b dùng đặc trưng mới 3D GRF, mẫu huấn luyện lấy từ cả 3 người, tỷ lệ nhận dạng 92.83%. - Thí nghiệm 4.2.2c dùng tọa độ 3D của 13 điểm, mẫu huấn luyện và kiểm tra lấy từ cùng một người, tỷ lệ nhận dạng 74.17%. - Thí nghiệm 4.2.2d dùng đặc trưng mới 3D GRF, mẫu huấn luyện và kiểm tra lấy từ cùng một người, tỷ lệ nhận dạng 97.5%. 4.2.3. Nhận xét bộ mô tả đặc trưng 3D GRF 4.2.3.1. Sự cải thiện tỷ lệ nhận dạng trung bình Hiệu quả nhận dạng được cải thiện nhiều khi chuyển từ tọa độ 3D sang đặc trưng 3D GRF (so sánh kết quả thí nghiệm 4.2.2b và 4.2.2a). 4.2.3.2. Khả năng trích xuất đặc tính cá nhân Đặc trưng 3D GRF trích được các đặc tính riêng của mỗi cá nhân trong khi thực hiện hành động (so sánh kết quả 4.2.2d và 4.2.2c). 4.2.3.3. Sự suy giảm tỷ lệ nhận dạng một số hành động Việc giảm số chiều vector đặc trưng từ 39 xuống 10 làm mất mát thông tin, dẫn đến các hành động chứa những cử động tương tự nhau có thể bị nhận dạng nhầm sang nhau, ví dụ “đánh bốc” và “chạy chậm”. 4.3. Các yếu tố ảnh hưởng đến hiệu quả nhận dạng của mô hình HMM Thí nghiệm thực hiện theo Hình 3.2, cơ sở dữ liệu là ở 4.1.2, bộ mô tả đặc trưng là 3D GRF, mô hình nhận dạng là HMM-Kmeans. 4.3.1. Ảnh hưởng của các tham số mô hình HMM Ngoài M và N, một tham số nữa là ε rất nhỏ được đưa thêm vào sau khi huấn luyện, nhằm giải quyết trường hợp thiếu dữ liệu huấn luyện. Phương pháp đánh giá là LOOCV (Leave-One-Out Cross Validation). 4.3.1.1. Ảnh hưởng của tham số M Bảng 4.1. Tỷ lệ nhận dạng hành động (%) với các giá trị M khác nhau M 8 16 32 64 128 Tỷ lệ (%) 91.9063 93.9075 94.9063 95.6250 95.4063 4.3.1.2. Ảnh hưởng của tham số N 21 Bảng 4.2. Tỷ lệ nhận dạng hành động (%) với các giá trị N khác nhau N 2 3 4 5 6 7 Vẫy tay 90.25 90.75 85.25 92.25 83.25 85.25 Đá 100 100 100 100 100 99.75 Ném 95.5 96 90.45 96 94 97 Đánh bốc 95 95 92.5 95 95 95 Trung bình 95.1875 95.4375 92.00 95.8125 93.0625 94.25 4.3.1.3. Ảnh hưởng của tham số ε Bảng 4.3. Tỷ lệ nhận dạng hành động (%) với các giá trị ε khác nhau Từ các kết quả trên chọn tập tham số phù hợp nhất của mô hình là {M, N, ε} = {64, 5, 10-4} ứng với tỷ lệ nhận dạng trung bình 95.875%. 4.3.2. Ảnh hưởng của số lượng người tham gia huấn luyện mô hình - Trong các thí nghiệm 4.3.2a, 4.3.2b, 4.3.2c, mẫu huấn luyện lần lượt lấy từ 1, 2 và 3 người, mẫu kiểm tra thuộc về người khác. Các tỷ lệ nhận dạng trung bình lần lượt tăng dần lên là 72.92%, 82.92% và 86.25%. - Thí nghiệm 4.3.2d dùng mẫu huấn luyện lấy từ cả 4 người, tỷ lệ nhận dạng trung bình là 95.75%.