Luận văn Xây dựng hệ tìm kiếm thông tin theo hướng tiếp cận ngữ nghĩa (Conceptual Indexing)

7 Chương 1. Tổng quan 1.1 Bối cảnh hiện tại Internet đã đóng góp một vai trò vô cùng quan trọng trong đời sống và được xem như là một trong những phát minh vĩ đại tạo ra một bước ngoặc vô cùng quan trọng trong lịch sử văn minh của nhân loại. Cùng với sự bùng nổ và phát triển nhanh chóng của World Wide Web, Internet trở thành nơi lưu trữ và chia sẻ tài nguyên trên toàn cầu. Theo thống kê của Netcraft, chuyên làm các báo cáo về Internet hàng tháng, đến tháng 8 năm 2008, tổng số các Website trên toàn thế giới đã lên đến gần 180 triệu và với tốc độ tăng trưởng rất nhanh1. Như vậy, thông tin được lưu trữ trên Internet ngày càng nhiều và phong phú. Internet trở thành kho tri thức khổng lồ của nhân loại. Nhu cầu tìm kiếm thông tin trong vô vàn các thông tin được lưu trữ trên Internet là một yêu cầu hết sức cần thiết. Vấn đề đặt ra là làm thế nào để khai thác hiệu quả những thông tin này. Các công cụ tìm kiếm hay còn được gọi là các động cơ tìm kiếm trên Internet (search engine) đã ra đời nhằm mục đích đáp ứng nhu cầu này. Chúng đã nhanh chóng trở thành những công cụ quan trọng, hỗ trợ con người trong việc tìm kiếm, khai thác, và sử dụng thông tin. Trong luận văn này, thuật ngữ động cơ tìm kiếm và công cụ tìm kiếm sẽ được sự dụng thay thế cho nhau. Thời gian gần đây, chúng ta nghe nhiều về ‘cuộc chiến các động cơ tìm kiếm’2 mà dẫn đầu đang là Google (google.com), tiếp theo là Yahoo (yahoo.com) và MSN (msn.com). Các động cơ tìm kiếm này đã nổi tiếng trên toàn thế giới, ngôn ngữ được hỗ trợ chính là tiếng Anh nhưng cũng sử dụng được với các ngôn ngữ khác. Với tham 1 2 8 vọng là xây dựng các động cơ tìm kiếm tận dụng những lợi thế địa phương của quốc gia về ngôn ngữ và văn hóa, các quốc gia cũng xây dựng các động cơ tìm kiếm riêng cho mình. Baidu (baidu.com) cua Trung Quốc hay Heeya (heeya.com) của Hàn Quốc là những ví dụ thành công của các động cơ tìm kiếm địa phương. Ở Việt Nam, các động cơ tìm kiếm như Xalo (xalo.vn), Timnhanh (timnhanh.com), VinaSeek (vinaseek.net) cũng đang có những đầu tư rất lớn để phục vụ cho việc tìm kiếm những trang Web tiếng Việt. Phần trình bày ở trên cho thấy sự tầm quan trọng và sự phát triển của các động cơ tìm kiếm thông tin. Tuy nhiên, các động cơ tìm kiếm hiện nay phần lớn vẫn dựa trên từ khóa (keywords). Tập hợp các từ khóa là dạng biểu diễn sơ lược nhất của nội dung, và do đó, cách biểu diễn này mang mức độ thông tin thấp nhất. Đó chính là lý do cơ bản khiến cho các động cơ tìm kiếm hiện nay có kết quả trả về không phải lúc nào cũng thỏa mãn yêu cầu tìm kiếm của người sử dụng, như là tỷ lệ số trang Web hữu ích trên tổng số trang Web trả về thấp, hoặc có thể không tìm thấy được những trang Web liên quan khi chúng được mô tả với những từ khóa khác với từ khóa mà người dùng tìm kiếm. Nhược điểm cơ bản này của các động cơ tìm kiếm đã gây ra không ít khó khăn cho người sử dụng trong việc tìm kiếm chính xác thông tin mình cần. Nói chung, công cụ tìm kiếm theo từ khóa có những khuyết điểm như sau: • Độ bao phủ không cao: Các từ đồng nghĩa nhau có thể bị bỏ qua. Các từ có thể có một hoặc nhiều từ đồng nghĩa hoặc gần nghĩa, hoặc nhiều từ khác nhau dùng cho nhiều địa phương khác nhau. Ví dụ từ bột ngọt còn có nghĩa là mì chính. Khi chúng ta muốn tìm các thông tin về bột ngọt mà chỉ nhập vào từ khóa bột ngọt thì tất cả những trang web chứa thông tin về mì chính sẽ không được trả về. 9 • Độ chính xác không cao: Kết quả trả về quá nhiều, mà nhiều trong số đó lại không chính xác vì một từ có thể có nhiều nghĩa. Trong hầu hết các ngôn ngữ, có nhiều từ mang nhiều hơn một nghĩa. Ví dụ từ bank trong tiếng anh vừa có nghĩa là ngân hàng, vừa có nghĩa là bờ sông. • Chỉ tìm kiếm trên một ngôn ngữ nhất định nào đó: các hệ thống tìm kiếm theo từ khóa chỉ giúp người dùng tìm kiếm từ khóa trên một ngôn ngữ nhất định nào đó. Người dùng không thể nhập vào một từ khóa để có được kết quả trả về trên nhiều ngôn ngữ khác nhau nếu như hai từ khóa đó không thuộc cả hai ngôn ngữ. Tìm kiếm theo từ khóa hiện đang thống trị thị trường công cụ tìm kiếm. Tuy nhiên, nó cũng đã bộc lộ những khuyết điểm nhất định. Vì vậy, tìm kiếm theo khái niệm được mong chờ sẽ giải quyết những vấn đề đang gặp phải của các công cụ tìm kiếm theo từ khóa. 1.2 Mục tiêu, giới hạn và đóng góp của luận văn 1.2.1 Mục tiêu luận văn Mục tiêu của luận văn là nghiên cứu tổng quan về hệ tìm kiếm thông tin. Trong đó, tập trung nghiên cứu các vấn đề về tìm kiếm dựa trên khái niệm gồm các phương pháp mở rộng khái niệm, các cách tiếp cận lập chỉ mục dựa trên khái niệm, các phương pháp rút trích khái niệm, tìm hiểu về nguồn cơ sở tri thức UMLS được sử dụng để rút trích khái niệm. Ngoài ra, mục tiêu của luận văn còn là xây dựng thử nghiệm một hệ thống tìm kiếm thông tin y học dựa trên khái niệm trên cơ sở những lý thuyết đã được nghiên cứu. 10 1.2.2 Giới hạn luận văn Việc xây dựng một hệ thống tìm kiếm dựa trên khái niệm tổng quát về mặt thực tế rất khó vì rất nhiều vấn đề cho đến nay vẫn còn khá mới hoặc vẫn chưa có lời giải tối ưu. Ngoài ra, muốn có các khái niệm thuộc lĩnh vực nào đó phải có tri thức về lĩnh vực đó. Việc xây dựng một cơ sở tri thức cho một lĩnh vực sẽ khó khăn vì đòi hỏi chuyên gia về lĩnh vực đó. Đó là lý do khiến các công cụ tìm kiếm theo khái niệm hiện nay chỉ hỗ trợ một lĩnh vực nhất định trong những ứng dụng cụ thể. Trong bối cảnh đó, với khuôn khổ của một luận văn thạc sỹ, chúng tôi cũng chỉ xây dựng hệ thống tìm kiếm thông tin dựa trên khái niệm trong một lĩnh vực cụ thể. Lĩnh vực được chọn trong luận văn này là lĩnh vực y khoa, cụ thể là sử dụng bộ dữ liệu ImageCLEFmed của CLEF. Hệ thống được xây dựng có tên là CIRS (Concept-based Information Retrieval System – hệ thống tìm kiếm thông tin dựa trên khái niệm). 1.2.3 Đóng góp của luận văn Luận văn đã có những đóng góp như sau: • Tìm hiểu về hệ thống tìm kiếm thông tin, đặc biệt là hệ thống tìm kiếm dựa trên khái niệm. • Khảo sát về các phương pháp tiếp cận rút trích khái niệm, lập chỉ mục khái niệm và mở rộng khái niệm. • Xây dựng được một hệ thống tìm kiếm dựa trên khái niệm. • Làm những thử nghiệm sau: - So sánh hiệu năng của một hệ thống tìm kiếm dựa trên khái niệm so với một hệ thống tìm kiếm dựa trên từ khóa. 11 - So sánh giữa việc sử dụng các tập khái niệm khác nhau để lập chỉ mục. - So sánh giữa việc sử dụng các mô hình lập chỉ mục khác nhau. - So sánh hiệu năng của một hệ thống tìm kiếm dựa trên khái niệm có mở rộng khái niệm và một hệ thống tìm kiếm dựa trên khái niệm không mở rộng khái niệm - So sánh hiệu quả giữa việc sử dụng các mối quan hệ khác nhau để mở rộng khái niệm cho câu truy vấn và cho tài liệu. 1.3 Bố cục của báo cáo Chương 1 giới thiệu về tổng quan của luận văn. Phần trình bày ở trên đã giới thiệu về bối cảnh hiện tại, trong đó nêu bật về giới hạn của các động cơ tìm kiếm hiện nay khi chỉ dựa trên từ khóa, từ đó cho thấy nhu cầu của việc tìm kiếm dựa trên khái niệm. Trong chương này, mục tiêu, giới hạn và đóng góp của đề tài cũng đã được trình bày. Các chương tiếp theo sẽ giới thiệu chi tiết hơn về các hệ thống tìm kiếm, về CIRS, và về các công cụ và tài nguyên được sử dụng, và thảo luận trên kết quả chạy thử của CIRS. Bắt đầu với việc giới thiệu các hệ thống tìm kiếm dựa trên từ khóa và phân tích các khuyết điểm của chúng. Từ đó cho thấy yêu cầu của các hệ thống tìm kiếm dựa trên khái niệm và đó cũng là động cơ cho việc xây dựng CIRS. Để xây dựng CIRS, các công cụ và tài nguyên như MetaMap, XIOTA, UMLS Metathesaurus sẽ được sử dụng. Kết quả thử nghiệm của CIRS trên CLEF cũng sẽ được trình bày và phân tích. Tất cả các điều trên sẽ được trình bày trong các chương tiếp theo. Cụ thể, bố cục của luận văn trong phần còn lại sẽ như sau: 12 • Chương 2: Giới thiệu và khảo sát hệ thống tìm kiếm: trình bày tổng quan về hệ thống tìm kiếm dựa trên từ khóa và hệ thống tìm kiếm dựa trên khái niệm. Một khảo sát về các động cơ tìm kiếm, đặc biệt là khảo sát về các phương pháp rút trích khái niệm và lập chỉ mục khái niệm cũng sẽ được trình bày. • Chương 3: Hệ thống CIRS, hệ thống tìm kiếm thông tin dựa trên khái niệm: giới thiệu kiến trúc, nguyên lý hoạt động, các bộ phận cấu thành nên CIRS. • Chương 4: Các quá trình quan trọng trong CIRS: giới thiệu chi tiết các quá trình quan trọng: từ quá trình rút trích khái niệm, phân loại khái niệm, mở rộng khái niệm đến lập chỉ mục, so trùng trong CIRS. • Chương 5: Nguồn tri thức, cơ sở dữ liệu và công cụ: giới thiệu về nguồn tri thức UMLS Metathesaurus, cơ sở dữ liệu ImageCLEFmed và công cụ MetaMap, XIOTA được sử dụng trong CIRS. • Chương 6: Hiện thực và kết quả: trình bày những module tạo nên hệ thống CIRS, hiện thực cách tiếp cận được trình bày trong chương 4. Từ đó người đọc có cái nhìn chi tiết hơn về bên trong của CIRS. Kết quả chạy thử của CIRS cũng sẽ đuợc trình bày và phân tích. • Chương 7: Kết luận và hướng phát triển. tóm tắt những gì đã đạt được của luận văn và giới thiệu những hướng nghiên cứu và mở rộng của đề tài trong tương lai.