Luận văn Một giải pháp sử dụng cụm danh từ cho tìm kiếm trên khái niệm

Trang 9 Chương 1 : GIỚI THIỆU 1.1 Lý do chọn đề tài Tri thức của nhân loại là một kho tàng to lớn và quý báu. Hàng ngày, một khối lượng khổng lồ những tri thức mới được bổ sung khiến kích thước kho tri thức nhân loại tăng trưởng nhanh chóng. Do vậy, việc tìm kiếm các tài liệu phù hợp cho nhu cầu thông tin của con người một cách thủ công là hoàn toàn không khả thi. Vì đó, nhiều công cụ tìm kiếm thông tin tự động đã được phát triển để phục vụ nhu cầu truy lục. Tuy nhiên, các giải pháp tìm kiếm thông tin hiện nay vẫn còn gặp phải một số hạn chế sau : (i) Việc lập chỉ mục chủ yếu dựa trên các từ khóa mà chưa quan tâm đến ngữ cảnh mà chúng xuất hiện cũng như mối liên hệ giữa chúng. Việc so khớp đơn thuần trên từ khóa có thể trả ra những tài liệu không phù hợp với nhu cầu thông tin của người dùng. (ii) Một thách thức lớn là ngôn ngữ vừa có thể đa nghĩa (tùy vào bối cảnh và lĩnh vực chuyên môn mà từ ngữ có thể mang các nghĩa khác nhau) lại vừa có thể đồng nghĩa (những từ ngữ khác nhau nhưng có cùng một nghĩa). Thông tin được biểu diễn qua ngôn ngữ bằng nhiều cách phong phú và gây nhiễu khiến tìm kiếm bằng từ khóa không thể hiệu quả được. (iii) Khi người dùng tìm kiếm thông tin, họ thường đồng thời quan tâm cả những thông tin có liên quan mật thiết với thông tin cần tìm (điều này đặc biệt phổ biến đối với nhu cầu truy lục tài liệu chuyên môn của các chuyên gia). Chẳng hạn như khi các Bác sĩ tìm kiếm tài liệu liến quan đến “Chứng đau thắt ngực”, sẽ rất hữu ích nếu họ được hỗ trợ tìm kiếm thêm những tài liệu liên quan đến ba nguyên nhân chính của “Chứng đau thắt ngực” là : “Phình động mạch vành”, “Xơ cứng động mạch Trang 10 vành” và “Huyết khối động mạch vành”. Các giải pháp tìm kiếm thông tin hiện có chưa đáp ứng được nhu cầu này. Từ đó mở ra hướng nghiên cứu để xây dựng một mô hình lập chỉ mục mới nhằm khắc phục các hạn chế trên và giúp tìm kiếm thông tin hiệu quả hơn : Mô hình lập chỉ mục dựa trên khái niệm. Theo [11], Lập chỉ mục dựa trên khái niệm là lập chỉ mục với tập từ chỉ mục là tập các khái niệm cho trước được tổ chức theo một cấu trúc Ontology. Các khái niệm được tìm kiếm dựa trên ngữ nghĩa của chúng thay vì đơn thuần dựa trên từ khóa, nhờ đó khắc phục hạn chế (i). Đến nay, các công trình nghiên cứu lập chỉ mục trên khái niệm cho tiếng Anh đã đạt được những thành tựu nhất định, nhưng kết quả nghiên cứu cho tiếng Việt còn hạn chế. Đề tài của luận văn nhắm đến việc xây dựng và thử nghiệm một hệ thống lập chỉ mục trên khái niệm cho tiếng Việt. Các khái niệm thường được thể hiện trong văn bản dưới dạng các cụm danh từ do đó trước hết luận văn sẽ tập trung xử lý rút trích cụm danh từ trong tài liệu như các khái niệm ứng viên. Trước khi tiến hành so khớp một cụm danh từ C rút trích được với các khái niệm trong Ontology, luận văn sẽ tiến hành phát sinh các biến thể (variants) của C. Mỗi biến thể là một cụm từ tương đương với cụm từ gốc C theo một nghĩa nào đấy và được phát sinh dựa trên tri thức về cấu trúc ngữ pháp của C. Cách làm này khắc phục được các hạn chế (ii). Ngoài ra, luận văn quan tâm hỗ trợ người dùng khả năng định hướng trong không gian khái niệm với các mối kết hợp (tổng quát hoá, chuyên biệt hóa, đồng nghĩa…) nên khắc phục được hạn chế (iii). Trang 11 1.2 Mục tiêu của luận văn Mục tiêu nghiên cứu của luận văn bao gồm những điểm sau : - Tìm hiểu các kỹ thuật và phương pháp lập chỉ mục trên khái niệm. - Tìm hiểu các kỹ thuật và phương pháp phát sinh biến thể cho cụm từ và việc ứng dụng nó trong lập chỉ mục trên khái niệm. - Tìm hiểu cấu trúc đặc thù của cụm danh từ tiếng Việt và đề xuất một giải pháp phát sinh biến thể cho cụm danh từ tiếng Việt nhằm phục vụ cho lập chỉ mục trên khái niệm tiếng Việt. - Tìm hiểu các phương pháp so khớp để so khớp các khái niệm trích ra từ tài liệu với các khái niệm trong một Ontology. - Vận dụng một số phương pháp đã tìm hiểu để xây dựng thử nghiệm một hệ thống lập chỉ mục trên khái niệm cho các tài liệu Y khoa tiếng Việt và so sánh kết quả. 1.3 Nội dung nghiên cứu Bài toán Lập chỉ mục trên khái niệm đã thu hút nhiều nỗ lực của cộng đồng nghiên cứu, nhất là khi tri thức nhân loại phát triển ngày càng đồ sộ và nhu cầu tìm kiếm thông tin hiệu quả trở nên cần thiết hơn bao giờ hết. Có nhiều hướng tiếp cận để giải quyết bài toán Lập chỉ mục trên khái niệm. Một bản khảo sát cô đọng các công trình nghiên cứu liên quan sẽ được trình bày trong chương 2 của luận văn. Nó giúp ta có được cái nhìn tổng thể về hiện trạng trong hướng nghiên cứu lập chỉ mục trên khái niệm. Bài toán lập chỉ mục trên khái niệm gặp một thách thức là khái niệm có thể được nói đến bằng nhiều tên gọi khác nhau. Những tên gọi này là các biến thể của nhau. Để rút trích hiệu quả các khái niệm từ tài liệu, cần nhận biết chúng dù chúng được đề cập bằng tên gọi nào. Do đó luận văn quan tâm việc phát sinh biến thể của cụm từ, cụ thể là cụm danh từ (vì người ta dùng cụm danh từ để gọi tên khái niệm). Một Trang 12 giới thiệu tổng quan về các loại biến thể cùng với các kỹ thuật phát sinh biến thể tương ứng được trình bày trong chương 4 của luận văn. Cũng trong chương này, luận văn trình bày giải pháp phát sinh biến thể của mình để phục vụ cho việc lập chỉ mục trên khái niệm. Cụm danh từ cần được rút trích từ tài liệu trước khi các biến thể của chúng được phát sinh và trước khi ánh xạ tài liệu vào khái niệm trong Ontology. Chương 3 của luận văn trình bày một giải pháp rút trích cụm danh từ trong tài liệu tiếng Việt và hệ thống cài đặt giải pháp ấy [7]. Giải pháp này có những xử lý đặc biệt phục vụ cho mục tiêu phát sinh biến thể cho các cụm danh từ rút trích được. Với hướng tiếp cận luận văn chọn theo, kết quả sau cùng của hệ thống lập chỉ mục trên khái niệm biểu diễn mỗi tài liệu bằng một vector các khái niệm (trong Ontology) liên quan. Do vậy việc ánh xạ tài liệu vào Ontology là một xử lý quan trọng. Chương 5 của luận văn trình bày các giải pháp ánh xạ mà luận văn sử dụng và hệ thống cài đặt thử nghiệm các giải pháp ấy [27] Kết quả thử nghiệm của luận văn được trình bày trong chương 6. Luận văn sử dụng bộ dữ liệu đánh giá được xây dựng bởi [11] và hiệu chỉnh lại bởi [27]. Sau cùng, các kết luận cùng một số hướng phát triển được trình bày trong chương 7 của luận văn.