Luận văn Xây dựng một hệ thống hỏi-đáp tự động phục vụ tư vấn ghi danh trực tuyến

Trang 1 MỞ ĐẦU Bối cảnh thực hiện luận văn Ngày nay, với sự phát triển của Internet, con người được thừa hưởng một kho tài liệu khổng lồ của nhân loại với vô số tri thức từ rất nhiều lĩnh vực khác nhau. Từ Internet, con người có thể tìm kiếm được các thông tin mà họ cần bằng cách sử dụng các công cụ tìm kiếm thông dụng hiện nay như Google, Yahoo!,... Các công cụ tìm kiếm này đã giúp cho người dùng tìm kiếm thông tin được nhanh chóng và dễ dàng. Trong khi các hệ thống tìm kiếm thông tin chỉ có thể cung cấp các tài liệu liên quan và chúng ta phải tự tìm trong đó câu trả lời cho nhu cầu thông tin của mình, hệ thống hỏi đáp lại có thể cho ta câu trả lời ở dạng ngắn gọn, súc tích chứ không phải một tập tài liệu. Tuy nhiên để có thể có câu trả lời thường phải sử dụng kết hợp nhiều phương pháp liên quan đến nhiều lĩnh vực khác nhau, bao gồm ba lĩnh vực chính là xử lý ngôn ngữ tự nhiên (Natural Language Processing), tìm kiếm thông tin (Information Retrieval) và rút trích thông tin (Information Extraction). Hệ thống hỏi-đáp hỗ trợ trả lời nhiều loại câu hỏi khác nhau như câu hỏi về sự vật, sự kiện, định nghĩa, danh sách, quá trình, cách thức, lý do… trên nhiều lĩnh vực khác nhau. Các hệ thống hỏi-đáp tự động dành cho tiếng Anh đã được nghiên cứu rất nhiều [2], ứng dụng trên nhiều lĩnh vực khác nhau, đặc biệt là tìm kiếm câu trả lời từ kho dữ liệu khổng lồ Internet. Các hệ thống hỏi-đáp cho tiếng Việt còn sơ khởi và chưa được ứng dụng rộng rãi. Vì thế, việc nghiên cứu và thử nghiệm hệ thống hỏi-đáp cho tiếng Việt là một việc làm có ý nghĩa và thiết thực. Cùng với sự phát triển của Internet, nhu cầu trao đổi thông tin trên các diễn đàn ngày càng cao. Minh chứng là các diễn đàn trên mạng ngày một nhiều. Rất nhiều diễn đàn tư vấn trực tuyến phục vụ học tập cũng ra đời. Các câu hỏi được gởi lên diễn đàn để được các chuyên gia trong các lĩnh vực đó giải đáp. Khi số lượng Trang 2 câu hỏi ngày càng nhiều và lặp đi lặp lại thì việc trả lời thủ công như vậy là không khả thi, hệ thống hỏi-đáp là một phương pháp hữu hiệu để trả lời tự động. Đây là một nhu cầu cần thiết. Diễn đàn tư vấn là một nhánh ứng dụng của hệ thống hỏi-đáp tự động. Đặc điểm của hệ thống hỏi-đáp cho tư vấn ghi danh trực tuyến Hệ thống hỏi-đáp phục vụ cho tư vấn ghi danh trực tuyến là một hệ thống hỏi-đáp cho một miền xác định là tư vấn ghi danh. Khác với hệ thống hỏi-đáp truyền thống, hầu hết các câu hỏi đều thuộc loại câu hỏi sự kiện, thường chỉ gồm một câu hỏi và câu trả lời có thể là một cụm từ ngắn, hệ thống hỏi-đáp cho diễn đàn nói chung cũng như hệ thống hỏi-đáp cho tư vấn ghi danh trực tuyến nói riêng phải giải quyết được các đặc trưng rất riêng của chúng, đó là: - Câu hỏi có thể gồm nhiều câu, nhiều ý hỏi. Ví dụ: “em đã passed 2 môn BSCI và BCMSN ở TTTH và tháng 6/2005 và bây giờ em muốn đăng ký thi 2 môn còn lại thì phải làm thế nào ạ? cho em hỏi học phí bằng B là bao nhiêu, giờ đăng ký được giảm 20% đúng không ạ?” - Câu hỏi có thể không rõ ràng và có thể lặp lại các ý hỏi. Ví dụ: “Cho em hỏi ngày khai giảng lớp java được không? Và nếu chưa biết gì về lập trình, cũng có biết sơ sơ thì có thể vào học lớp java căn bản không? Thời gian học, học phí và ngày khai giảng và học trong bao lâu” - Nhiều lọai câu hỏi khác nhau như câu hỏi sự kiện, câu hỏi dạng danh sách, câu hỏi cách thức, câu hỏi lý do… Ví dụ câu hỏi sự kiện như “ Cho em hỏi ngày khai giảng khóa J2EE”, câu hỏi cách thức như “Làm thế nào để có thể được giảm học phí?”… - Câu hỏi có thể thuộc về nhiều chủ đề khác nhau. Ví dụ như các câu hỏi về ngày khai giảng khóa họa, về đối tượng miễn học phí, về thủ tục nhập học… - Dữ liệu bao gồm một cặp hỏi-đáp đã có nên có thể không có nhu cầu rút trích câu trả lời từ một tài liệu. Trang 3 Đặc thù rất riêng của diễn đàn tư vấn trực tuyến cần có những phương pháp riêng để giải quyết. Mục tiêu của luận văn Mục tiêu của luận văn là nghiên cứu tổng quát về hệ thống hỏi-đáp tự động, tập trung nghiên cứu các phương pháp có thể áp dụng cho ngôn ngữ tiếng Việt dựa trên những thành quả xử lý ngôn ngữ tiếng Việt đã có. Dựa trên những nghiên cứu này, xây dựng thử nghiệm hệ thống hỏi-đáp tự động tiếng Việt cho một miền cụ thể là diễn đàn tư vấn ghi danh trực tuyến. Những nghiên cứu này làm cơ sở lý thuyết cũng như thực nghiệm cho việc xây dựng các hệ thống hỏi-đáp tiếng Việt có hiệu quả trong tương lai. Đóng góp của luận văn • Nghiên cứu tổng quan về lĩnh vực hỏi-đáp tự động (Question Answering). • Tìm hiểu các phương pháp phân tích câu hỏi. • Tìm hiểu các phương pháp tìm kiếm văn bản. • Xây dựng thử nghiệm hệ thống hỏi-đáp tự động phục vụ tư vấn ghi danh trực tuyến. Cấu trúc của luận văn Luận văn được trình bày gồm 4 chương, danh sách các hình vẽ, danh sách các bảng, tài liệu tham khảo và phụ lục. Chương 1: Tổng quan và hiện trạng các hệ thống hỏi đáp (QA). Chương 2: Các phương pháp phân tích câu hỏi và tìm kiếm thông tin trong hệ thống hỏi-đáp. Chương 3: Giải pháp và thử nghiệm hệ thống hỏi-đáp phục vụ tư vấn ghi danh trực tuyến. Chương 4: Kết luận và hướng phát triển.