Luận văn Giải thuật lưu ảnh cho ứng dụng song song truyền thông điệp chạy trên môi trường đám mây

9Chương 1 Giới thiệu Nhu cầu tính toán của con người ngày càng cao, yêu cầu thời gian thực thi của các ứng dụng phải được rút ngắn, do đó hiện nay có rất nhiều nghiên cứu tập trung vào lãnh vực xử lý phân tán. Tính toán phân tán là một nhánh nghiên cứu quan trọng trong tính toán hiệu năng cao (High Performance Computing). Có rất nhiều thư viện và ngôn ngữ lập trình đã được phát triển để hiện thực hóa một chương trình song song phân tán, phương pháp lập trình truyền thông điệp là một trong những phương pháp xuất hiện đầu tiên và được sử dụng rộng rãi nhất hiện nay nhờ tính tương thích cao với hầu hết các hệ thống phần cứng hiện có. Các hệ thống tính toán hiệu năng cao ngày càng phát triển cả về độ lớn lẫn độ phức tạp vì tính toán khoa học ngày càng có vị trí quan trọng trong tất cả các ngành khoa học tự nhiên đến lĩnh vực kinh tế. Tuy tính toán song song đã ra đời để rút ngắn thời gian chạy các bài toán có độ phức tạp lớn nhưng trong thực tế vẫn còn nhiều ứng dụng khoa học có thời gian thực thi khá dài từ vài giờ đến vài ngày hay vài tuần tùy vào dữ liệu hay độ chính xác của bài toán. Đối với hệ thống đơn hay song song phân tán đều cần đảm bảo tính sẵn sàng và ổn định cho việc thực thi các ứng dụng như thế. Ngoài ra, các hệ thống máy tính mạnh thường được chia sẻ để phục vụ nhiều ứng dụng khác nhau nên đôi lúc chúng ta không có quyền chạy một ứng dụng trong một thời gian dài và liên tục như vậy. Thực tế này đặt ra một bài toán khác cho chúng ta từ sự giới hạn về tài nguyên tính toán cũng như các sự cố ngoài ý muốn trong điều kiện khách quan. Để giải quyết các vấn đề này, kỹ thuật lưu ảnh và phục hồi (checkpoint & recovery) [Plank 97] [Waki 95] được sử dụng. Lưu ảnh và phục hồi là một kỹ thuật được sử dụng rất phổ biến để tăng cường khả năng chịu lỗi (fault tolerance) cho các hệ thống tính toán khi chạy các chương trình ứng dụng. Mục tiêu của kỹ thuật này là giảm lượng công việc xử lý bị mất khi có lỗi xảy ra trong hệ thống. Trong hơn 20 năm qua, kỹ thuật lưu ảnh và phục hồi đã được nghiên cứu và phát triển, rất nhiều kết quả nghiên cứu được đưa ra, và nhiều hệ thống máy tính trong thực tế đã áp dụng thành công kỹ thuật này. Những nội dung chính về lý thuyết sẽ được trình bày 10 gồm có: các kiến thức cơ bản về lưu ảnh và phục hồi, các kỹ thuật tối ưu tổng chi phí cho quá trình lưu ảnh, những kỹ thuật lưu ảnh và phục hồi được nghiên cứu, một số hệ thống thư viện lưu ảnh đã được hiện thực và áp dụng thành công. Mặt khác, năng lực xử lý của các máy tính ngày càng tăng, kết hợp với sự ra đời của các hạ tầng mạng tốc độ cao đã thúc đẩy sự phát triển của các hệ thống xử lý phân tán [4]. Một trong số các hướng nghiên cứu nổi bật nhằm xây dựng một hệ thống xử lý phân tán là điện toán đám mây (cloud computing [1]). Khái niệm điện toán đám mây được phát triển từ điện toán lưới, điện toán theo nhu cầu và phần mềm như một dịch vụ (SaaS). Thế mạnh của hệ thống đám mây nằm ở khả năng quản lý cơ sở hạ tầng cùng với sự trưởng thành và tiến bộ của công nghệ ảo hóa để quản lý và sử dụng tốt hơn các tài nguyên vật lý thông qua sự tự động hóa việc cung cấp, tạo bản sao, cân bằng tải công việc, giám sát và xử lý yêu cầu thay đổi hệ thống. Sự ra đời của điện toán đám mây cùng với những lợi ích của nó tạo nên xu hướng chuyển dần các ứng dụng lên môi trường mới này. Việc nghiên cứu các kỹ thuật đảm bảo tính an toàn cho các ứng dụng chạy trên môi trường tính toán đám mây, làm giảm chi phí phục hồi khi các ứng dụng gặp phải các sự cố không thể loại trừ hẳn về phần cứng, nguồn điện, đường truyền…; các kỹ thuật phục hồi lại trạng thái hệ thống khi có nhu cầu nâng cấp hoặc cân bằng tải trên hệ thống phần cứng được ảo hóa trong đám mây điện toán mà hạn chế chi phí đến mức thấp nhất việc phải chạy lại chương trình; hay các kỹ thuật di dời ứng dụng giữa các hệ thống ảo, giữa các đám mây điện toán, mà vẫn đảm bảo tính ổn định và liên tục tương đối của nó; là những nhu cầu hết sức cần thiết. Từ các khảo sát trên, luận văn tập trung nghiên cứu kỹ thuật lưu ảnh và khôi phục cho ứng dụng song song truyền thông điệp chạy trên môi trường tính toán đám mây dựa vào các phần mềm mã nguồn mở, đồng thời đề ra giải pháp lưu ảnh và khôi phục hỗ trợ cho các ứng dụng song song có lời gọi tới những dịch vụ bên ngoài. Phần còn lại của luận văn được trình bày như sau: Chương 2: Công nghệ tính toán đám mây 11 Giới thiệu về công nghệ tính toán đám mây, các công nghệ nền tảng và một số dự án về tính toán đám mây đang được nghiên cứu và triển khai. Chương 3: Lưu ảnh và phục hồi Giới thiệu về các kiến thức cơ bản liên quan cũng như các kỹ thuật lưu ảnh và phục hồi trong lý thuyết. Chương 4: Lưu ảnh và phục hồi cho ứng dụng MPI trên môi trường tính toán đám mây Trình bày nhu cầu, các ưu điểm của việc lưu ảnh và phục hồi cho các ứng dụng MPI trên môi trường tính toán đám mây và những hạn chế của kỹ thuật lưu ảnh và phục hồi trong điều kiện mới khi ứng dụng có giao tiếp đến các dịch vụ bên ngoài và giải thuật đề xuất của luận văn. Chương 5: Thử nghiệm và đánh giá Các thử nghiệm, phân tích và đánh giá những hướng tiếp cận của luận văn. Chương 6: Tổng kết và hướng phát triển Là những đánh giá, kết luận và hướng phát triển của đề tài.