Bài giảng Kho dữ liệu và khai phá dữ liệu - Chương 5: Lên kế hoạch và quản lý dự án - Hà Quang Thụy

Lên kế hoạch và quản lý dự ánTham khảo chương 3* Paulraj Ponniah, Data warehousing fundamentals, John Wiley & Sons Inc., 2001Mục tiêu của chươngTrình bày nội dung bản chất của lập kế hoạch cho một kho dữ liệuPhân biệt được một dự án DW với một dự án hệ thống OLTPTích hợp với tiếp cận chu trình sống của một dự án DWLưu ý một số dấu hiệu dự báo và yếu tố thành côngLý do lên kế hoạch dự án DW:Nhiều lỗi và nhiều yếu tố gây ra lỗi (xem hỏi – đáp ở trên)Lên kế hoạch không đúng đắn và quản lý dự án không toàn diện hướng tới kết quả lỗi: hơn mọi nhân tố khácTác dụng của việc lên kế hoạchLưu ý với dự án HTTT: các tài liệu công bố từ 50% - 80% dự án không thành công (Khái niệm dự án, dự án thành công)Một số vấn đề cốt lõi:Đặt ra các mục tiêu đúng, định đúng giá trị của DW được xây dựngĐịnh giá được rủi ro: quan trọng hơn sự thiếu hụt về định giá của dự ánLựa chọn cách tiếp cận: chú ý tài liệu mô tả cách tiếp cậnXây dựng hoặc mua DW: Vấn đề chính của mọi tổ chức. Không ai xây dựng DW chỉ thông qua bàn luận sơ sài theo lập trình nội bộ. Nhiều nội dung cần phải tính toán như bao nhiêu DataMark tự xây dựng? bao nhiêu DMark trong số đó kết hợp với giải pháp đã có ? Các kiểu trộn và ghép nào sẽ được làm ? Mua cũng là phương án hiệu quả. Một số lựa chọn: Nhà cung cấp đơn hoặc nhiều nhà cung cấp “lựa chọn tốt nhất”.Mỗi phương án có lợi thế tương ứng (xem phần dưới: nhà cung cấp đơn như IBM, NCR có nhiều kinh nghiệm)Giải pháp cung cấp đơn có một vài lợi điểmTích hợp công cụ mức caoXem xét và nắm bắt không đổiCộng tác liền nét các thành phầnQuản lý thông tin tập trungGiá tổng hợp không đáng kểLợi điểm chính của giải pháp lựa chọn đặc thù tốt nhất mà kết hợp nhiều nhà cung cấpXây dựng được môi trường phù hợp khớp tới tổ chứcKhông cần dàn xếp giữa CSDL và công cụ hỗ trợChọn được sản phẩm phù hợp nhất với chức năngMỘT SỐ CHỦ ĐỀ CHÍNHDẫn dắt quá trình xây dựng KDL là do Nhu cầu về kinh doanh mà không phải là công nghệNhân tố thành công: cần đảm bảo nhu cầu từ quản lý và điều hành: “Dự án KDL không có hỗ trợ đầy đủ từ quản lý cao nhất và không có sự đầu tư mạnh và nhiệt tình thì bị sẽ kết án trong một ngày”.Tính lợi ích và luận giải.Lợi ích thực sự của Dự án KDL chỉ xuất hiện sau khi người dùng đã áp dụng toàn diện;Lưu ý, việc tính toán luận giải ích lợi từ Dự án KDL không dễ dàng nên nhiều công ty đã không giới thiệu được quá trình KDL với một phân tích luận giải về giá thành đầy đủ;Một số ích lợi:Ích lợi từ tích hợp dữ liệuTăng cường chất lượng dữ liệuDễ dàng truy nhập thông tinMột số thông tin chung tất yếu - yếu tố nguyên thủy của báo cáo tổng quanSứ mạng và chức năng của mỗi nhóm người dùngHệ thống máy tính dùng cho nhómChỉ số hiệu năng chính đánh giá nhóm người dùngCác yếu tố tác động tới thành công của nhóm người dùngKhách hàng và phương pháp phân loạiKiểu dữ liệu nắm vết cho khách hàng (cá thể và nhóm)Sản phẩm được sản xuất và bánPhân lớp các sản phẩm và dịch vụĐịa danh mà kinh doanh hướng tớiCác mức độ của ích lợi được đo lường cho khách hàng, cho sản phẩm và cho khu vựcCác mức độ chi tiết giá và thuếTruy vấn hiện có và báo cáo thông tin chiến lượcLưu ýNhân tố tác động tới thành công của mỗi nhóm người sử dụngCác cấp độ đo lợi íchKhông thể thiếu sự hỗ trợ từ quản lý chính yếu của công ty: xây dựng kho dữ liệu như một phần trong chiến lược phát triển của đơn vịMột số tiếp cận chuẩn bị cho sự luận giải Chẳng hạn, phần cứng 31%, phần mềm gồm cả hệ QT CSDL 24%, nhân viên và tích hợp hệ thống 35% và quản lý 10%. Một số tiếp cận tính toán:Tính toán giá thành công nghệ hiện thời để tạo ra ứng dụng và báo cáo hỗ trợ tạo quyết định: so sánh lợi ích chưa KDL/làm KDLTính toán giá trị của KDL được đề xuất (ước tính): lợi ích, cổ tức, tăng thu nhập, tăng thị phần. Đối sánh theo tiền: lập luận giá trị thu được giá đầu tư KDLMột số tiếp cận chuẩn bị cho sự luận giải Làm thử nghiệm đủ lớn, mô phỏng mọi thành phần được tác động bởi/ và tác động tới KDL đề xuất - Một số tiếp cận tính toán như ví dụ: Bắt đầu với các mục chi phí (mua/thuê phần cứng, phần mềm nhà cung cấp, phần mềm nội bộ, khởi tạo và nâng cấp, hỗ trợ đang tiến hành và chi phí duy trìQuy đổi thành tiền mọi lợi ích hữu hình và vô hình: giảm giá, tăng thu nhập và hiệu quả trong cộng đồng kinh doanhĐi theo thực hiện phân tích dòng chảy tiền tệPhương án hình thức khởi tạo định hướng, phong thái và mục tiêu khởi tạo DWMẫu kế hoạch tổng thểKế hoạch tổng thểMột số nét chung về kế hoạch tổng thểGiới thiệu Khái quát về sứ mạng Phạm viMục đích và mục tiêuVấn đề trọng tâm và lựa chọnGiá trị và kỳ vọngLuận giải đúng đắnTrách nhiệm của nhà đầu tưChiến lược thi hànhLịch dự kiếnBản quyền dự ánSự khác biệt của Dự án DW với OLTP xây dựng CSDL thông thường OLTP có ba miền chức năng chính: tập dữ liệu trực tuyến, thực hiện giao dịch kinh doanh,xử lý thứ tự các áp dụng OLTPDW tương ứng có ba bộ phận kế tiếp nhau (như mô tả ở trên):thu thập dữ liệu,các thành phần lưu trữ dữ liệu,các thành phần cung cấp thông tin.Sự khác biệt chi tiết ở bảng bênMột số tiêu chí Dự án DW khác với Dự án CSDL thông thườngThu nhận dữ liệu (nguồn dữ liệu)Lưu trữ dữ liệuKết xuất thông tinThu thập dữ liệuLưu trữ dữ liệuCung cấp thông tinSố lượng lớn nguồn DLNguồn DL hỗn tạpHạ tầng tính toán khác nhauNguồn DL bên ngoàiTải ban đầu đồ sộCân nhắc nhân bản DLTích hợp DL khó khănBiến đổi DL phức hợpLàm sạch DLLưu giữ DL dung lượng lớnĐộ tăng trưởng nhanhNhu cầu xử lý song songLưu DL khi dàn dựngKiểu chỉ số phứcLưu giữ kiểu DL mới Lưu giữ DL cũTương thích các bộ công cụRDBMS & MDDBMSMột vài kiểu người dùngTruy vấn được kéo dài tới hạnKiểu truy vấn phứcKích hoạt dựa trên WebPhân tích đa chiềuGiao diện với ứng dụng DSSChất liệu cho DMCông cụ đa nhà cung cấpMột số lưu ý điển hìnhDự án KDL phạm vi lớn hơn theo hướng phức tạp hơn, đòi hỏi nhiều công nghệ khác nhauCho phép mở rộng về thời gian với nhiều kiểu hoạt động hơnNguồn nhân lực bên trong không dưcó nhiều bài toán khác thườngVề siêu dữ liệu: cần có tầm nhìn xaMột số lưu ý điển hình (*):lịch biểu thời gianThời gian đủ rộng để xây dựng và hoàn thiện hạ tầngThời gian để thiết kế kiến trúcThu hút người sử dụng ở mọi bước của Dự ánHuấn luyện người sử dụngPhát triển song songĐánh giá về tính sẵn sàng:Cần sự trợ giúp của các chuyên gia ngoàiCần báo cáo đánh giá tính sẵn sàng trước khi hoàn thiện kế hoạch dự ánMục đích của báo cáo:Giảm rủi ro từ bất thường lớn xẩy ra,Cung cấp tiếp cận nội tại trong giải phápĐánh giá lại hội đồng của công ty Nhìn và xác định lại phạm vi và kích thướcĐịnh danh các nhân tố thành côngXác định kại kỳ vọng người sử dụngTinh chỉnh như cầu huấn luyệnTiếp cận theo chu trình sống:Ưu điểm của tiếp cận theo chu trình sốngHoàn thành mọi mục đích chính trong quá trình phát triểnTuân thủ tiếp cận hệ thống khi xây dựng HT MTPhân rã tính phức tạp, gán công việc tới các thành viênTập dự báo về bài toán và phân phốiLý giải:Tiếp cận chu trình sống phân rã độ phức tạp của dự án Các thành phần chức năng của DW và phát triển hệ thống theo tiếp cận theo chu trình sống (system development life cycle (SDLC):Xuyên qua các thành phần dữ liệu và thông tin.Mối liên hệ và lộ trình như hình vẽ trên.Các giai đoạn phát triển DW:Các bước (pha) phát triển DW. Lập kế hoạch tổng thể. Xác định yêu cầu. Thiết kế.Xây dựngTriển khai Mở rộng và duy trìMỗi quan hệ tới ba thành phần chức năng: thu thập, lưu giữ và cung cấp thông tinCác giai đoạn phát triển DW:Pha thiết kế và pha xây dựng 3 thành phần của DW có thể song song.Các pha cần bao gói bài toán xác định kiến trúc với 3 thành phần.Đội phát triển dự án:Vai trò của đội phát triển.Hai nguyên nhân chính làm dự án thất bại. Quá phức tạp Nhu cầu mơ hồCách thức làm việc của đội phát triển.Tổ chức của Đội phát triển dự án:Liệt kê được mọi thách thức và các kỹ năng chuyên biệt cần có của dự ánLên được danh mục các vai trò cần có để phát triển hệ thốngGán vai trò của đội với từng cá nhân trong độiThành viên:Kỹ năng, kinh nghiệm và tri thức là quan trọng đối với thành viên + Toàn đội: phong cách, tinh thần làm việc theo nhóm, sự say mê phát triển DW và quyết tâm cao (cam kết) của từng thành viênĐội phát triển dự án: Vai trò và trách nhiệm (1)Phân vai trò và công việc theo nhiều cách. Phân chia bề rộng sau đó bao gồm công việc riêng vào phân lớp này phù hợp nhất với môi trường của đội. Có thể đưa ra hai cách thức tiếp cận bề rộng rồi kết hợp.Mỗi khi xác định phân lớp bề rộng gán mỗi việc riêng trong mỗi phân lớp đó Đội phát triển dự án: Vai trò và trách nhiệm (2):Sáu loại phân lớp vai trò trong đội phát triển:Phân loại: Cung cấp nhân viên cho sự phát triển ban đầu, nhân sự để thử nghiệm, nhân sự để bảo trì liên tục, nhân sự cho kho dữ liệu quản lý Phân loại bề rộng : CNTT và End-Users, sau đó phân loại con (subclassifications) trong mỗi của cặp phân loại rộng, tiếp tục phân loại con Phân loại: vai trò nhân viên mặt tiền, vai trò nhân viên mặt hậuPhân loại: Người huấn luyện, đội hình thường trực, đội đặc biệt Phân loại: Quản lý, phát triển, hỗ trợPhân loại: Quản trị, thu thập dữ liệu, lưu trữ dữ liệu, cung cấp thông tinTiêu đề vai tròNhà tài trợ điều hànhChuyên gia cung cấp DLGiám đốc dự ánNhà phân tích kinh doanhQuản lý dự ánQuản trị hệ thống Quản lý đại diện người sử dụngChuyên gia di trú dữ liệuQuản trị kho dữ liệuChuyên gia chuẩn bị (tiền XL) dữ liệuQuản lý sự thay đổi tổ chứcTrưởng nhóm Data MarkQuản trị CSDLChuyên gia hạ tầngQuản lý siêu dữ liệuNgười dùng chính yếu (power user)Phân tích yêu cầu kinh doanhTrưởng nhóm đào tạoKiến trúc kho DLBiên tập kỹ thuậtPhát triển thu thập dữ liệuChuyên gia công cụPhát triển truy cập dữ liệuChuyên gia quan hệ nhà cung cấpPhân tích chất lượng DLQuản lý web (web master)Kiểm thử kho DLDựng mẫu dữ liệuNgười phát triển bảo trìKiến trúc sư an ninhDanh sách các vai trò và chức năng, nhiệm vụNhà tài trợ điều hànhChỉ đạo, hỗ trợ, làm trọng tài.Quản trị KDLChức năng DBANgười quản lý dự ánGiao nhiệm vụ, giám sát, kiểm tra.Chuyên gia chuyển đổi DLTrích xuất, trích hợp, chuyển dạng DLNgười quản lý quan hệ người dùngPhối hợp với các nhóm người dùngNgười phân tích đảm bảo chất lượngKiểm soát chất lượng DL của KDLKiến trúc sư chínhThiết kế kiến trúcNgười đồng điều phối kiểm thửKiểm thử chương trình, hệ thống, công cụChuyên gia hạ tầngThiết kế / xây dựng cơ sở hạ tầngChuyên gia ứng dụng người dùng cuốiXác nhận ngữ nghĩa và quan hệ của DLNgười phân tích kinh doanhXác định yêu cầuLập trình viên phát triểnLập trình nội bộ và scriptsNgười mô hình hóa DL (Data Modeler)Mô hình hóa quan hệ và chiềuTrưởng nhóm đào tạoĐồng điều phối đào tạo người dùng và đội phát triểnĐội phát triển dự án: Danh sách các mức độ kỹ năng và kinh nghiệmNhà tài trợ điều hànhCấp điều hành cao cấp, kiến thức kinh doanh chuyên sâu, có nhiệt tình và năng lực làm ôn hóa và phân xử khi cần thiết.Người quản lý dự ánKỹ năng con người, kinh nghiệm quản lý dự án, định hướng kinh doanh và người sử dụng, năng lực thực tế và hiệu quả.Người quản lý quan hệ người dùngKỹ năng con người, được tôn trọng trong cộng đồng người dùng, có kỹ năng tổ chức, làm việc nhóm, kiến ​​thức hệ thống từ quan điểm người dùng.Kiến trúc sư chínhKỹ năng phân tích, năng lực nhìn khung cảnh lớn, chuyên môn trong giao tiếp, kiến ​​thức về khái niệm kho dữ liệu.Chuyên gia hạ tầngChuyên gia về phần cứng, hệ điều hành, hạ tầngmáy tính, kinh nghiệm như chuyên viên HĐH.Người phân tích kinh doanhKỹ năng phân tích, khả năng tương tác với người dùng, kinh nghiệm công nghiệp đầy đủ như nhà phân tíchNgười mô hình hóa DL (Data Modeler)Chuyên gia mô hình hóa quan hệ và chiều với các công cụ trường hợp, kinh nghiệm như nhà phân tích dữ liệu.Đội phát triển dự án: Danh sách các mức độ kỹ năng và kinh nghiệmNgười quản trị KDLChuyên gia thiết kế và thi hanh cơ sở dữ liệu vật lý, có kinh nghiệm như DBA, MDDBMS quan hệ bổ sung.Chuyên gia chuyển đổi dữ liệuKiến thức về cấu trúc dữ liệu, kiến thức chuyên sâu về các hệ thống nguồn, có kinh nghiệm như nhà phân tích.Người phân tích đảm bảo chất lượngKiến thức về kỹ thuật chất lượng dữ liệu, kiến thức về dữ liệu hệ thống nguồn, kinh nghiệm như nhà phân tích.Người điều phối kiểm thửQuen thuộc với các phương pháp và tiêu chuẩn kiểm thử, sử dụng công cụ kiểm thử, có kiến ​​thức của một số công cụ cung cấp thông tin kho dữ liệu, kinh nghiệm người lập trình / nhà phân tích.Chuyên gia chương trình ứng dụng người dùng cuốiCó kiến thức sâu về ứng dụng nguồnLập trình viên phát triểnCó kỹ năng lập trình và phân tích, có kinh nghiệm lập trình bằng ngôn ngữ và DBMS được lựa chọn.Trưởng nhóm đào tạoCó kỹ năng đào tạo, có kinh nghiệm trong đào tạo CNTT / người dùng, có kỹ năng phối hợp và tổ chức.Sự tham gia của người sử dụng:Tương tác người sử dụng là trực tiếp và bản chất. nếu có một khác biệt cơ bản giữa OLTP và DW: từ dùng hệ thống của người sử dụng  họ cần là một phần của đội phát triển.Dự án DW gọi tới kỹ thuật phát triển ứng dụng kết hợp.Đội phát triển dự án: Sự tham gia của người dùngLập kế hoạch dự ánCung cấp mục đích, mục tiêu, kỳ vọng, thông tin kinh doanh trong quá trình khảo sát sơ bộ; hỗ trợ hoạt động quản lý mức đỉnh, khởi tạo dự án là nhà tài trợ điều hành.Xác định yêu cầuTham gia tích cực các cuộc họp để xác định yêu cầu, định danh mọi hệ thống nguồn, xác định độ đo để đo lường thành công kinh doanh, và các chiều kinh doanh để phân tích, xác định thông tin cần thiết từ kho dữ liệu.Thiết kếKhảo sát lại mô hình DL chiều; thiết kế trích xuất và chuyển đổi dữ liệu, cung cấp ​​sử dụng dự kiến cho kích thức CSDL; xem xét lại thiết kế kiến ​​trúc và siêu dữ liệu; tham gia lựa chọn công cụ, xem xét lại thiết kế cung cấp thông tin.Xây dựngTham gia tích cực kiểm thử chấp nhận người dùng; kiểm thử ​​công cụ cung cấp thông tin; công nhận chức năng thu nhận dữ liệu và chuyển đổi; xác nhận chất lượng dữ liệu, kiểm thử sử dụng siêu dữ liệu; kiểm chuẩn chức năng truy vấn, kiểm thử chức năng OLAP; tham gia vào tài liệu ứng dụng.Triển khaiKiểm tra dấu vết kiểm toán và xác nhận tải ban đầu dữ liệu; làm phù hợp với phân phôi khác với kỳ vọng; sắp xếp và tham gia vào đào tạo người dùng, cung cấp chấp nhận cuối cùng.Bảo trìCung cấp đầu vào cho các cải tiến, kiểm thử và chấp nhận cải tiến.Quan tâm quản lý dự án:Dự án DW thành công khi quản lý dự án hiệu quả nhất có thể được.Nguyên lý quản lý dự án, dấu hiệu khuyến cáo, nhân tố thành công, tính phù hợp với thực tiễn Một số nguyên lý hướng dẫn:Liên quan tới quyết định và hành động quản lý dự án: Trách nhiệm của nhà đầu tư, người quản lý và người sử dụng. Sự tiến hóa mới.  Chất lượng dữ liệu. Xây dựng cho tăng trưởng  Chính sách dự ánMô hình dữ liệu chiều  Người quản lý dự án. Vai trò của đội phát triển  Yêu cầu người dùngKỳ vọng thực tế  Dữ liệu ngoàiPhù hợp với tiếp cận thực tiễn:bản chất chung, pha trộn hợp lý từng trải thực tiễn và lý thuyết cốt lõi .động lực từ yêu cầu kinh doanhKịch bản lỗi có thể có:Nền móng dữ liệu không tốt  Thiếu hụt dữ liệu chất lượng tồi, không đúng cách sụp đổ trước khi hoàn thiệndữ liệu xa xỉ  Tính cô lập của dữ liệu truy nhập và hiệu năng kém KDL chuyên đề đứng độc lập Mục đích xa rời  Tính tù hãm của dữ liệu: không gắn với người sử dụng người dùng không thể/khó nhậnMột số dấu hiệu cảnh báo và hành độngTheo sát vòng đời, quan sátMột điểm báo và hành động tương ứngTín hiệu cảnh báoNguyên nhânHành độngBước xác định yêu cầu vượt qua hạn định mục tiêuMất năng lực phân tíchNgừng thu nhận thông tin không mong muốn. Hủy bỏ mọi vấn đề đã họp với người sử dụng. Đặt lại mục tiêu cuối của công ty.Tự công ty tốn quá nhiều công sức viết chương trình.Lựa chọn công cụ của bên thứ ba lỗi thờiNếu có thời gian và ngân sách, xem xét các công cụ khác nhau. Nếu không thì cần tăng cnhân viên lập trình.Người sử dụng không hợp tác cung cấp dữ liệu chi tiếtCó biểu hiện lo ngại về quyền sở hữu dữ liệu.Vấn đề này rất tinh tế Làm việc với nhà tài trợ điều hành để giải quyết vấn đề.Người sử dụng không thoải mái với các công cụ truy vấnNgười sử dụng không được đào tạo đầy đủ.Đầu tiên, đảm bảo rằng các công cụ truy vấn được lựa chọn là thích hợp. Sau đó, tiến hành việc đào tạo bổ sung.Vấn đề tiếp nhận dữ liệu vượt quá vùng dàn dựng.Chuyển đổi và lập bản đồ dữ liệu không hoàn chỉnhXem lại toàn bộ việc chuyển đổi dữ liệu và tiện ích tích hợp. Đảm bảo rằng không thiếu dữ liệu. Cùng đại diện người sử dụng tham gia quá trình xác minh.Một số nhân tố thành côngNhà tài trợ, điều hành: Đảm bảo hỗ trợ liên tục, dài hạn, cam kếtthiết lập được xác định lên phía trước, rõ, thực sự, và đồng ý giá trị kinh doanh từ kho dữ liệu. Quản lý được kỳ vọng của người sử dụng thực tếNhận được nhiệt tình tham gia người dùng trong suốt dự án.Việc khai phá dữ liệu, chuyển đổi và tải (ETL) chức năng là hầu hết thời gian, nhiều lao động hoạt động. Không ước tính thời gian và công sức cho hoạt động này dưới hạn.Đầu tiên ghi nhận kiến trúc, sau đó công nghệ, sau đó công cụ. Chọn một kiến ​​trúc là đúng cho môi trường.Các truy vấn và các công cụ thông tin cho người dùng là cực kỳ quan trọng. Chọn những công cụ hữu ích và dễ sử dụng nhất, tránh chọn theo tính “quyến rũ” (“hiện đại nhất”) của công cụ. Tránh chảy máu công nghệ.Kế hoạch cần là tăng trưởng và cách mạng. Quan tâm xem xét hiệu suất.Người quản lý dự án cần theo định hướng người sử dụng.Tập trung thiết kế theo truy vấn, mà không theo giao dịch.Xác định các nguồn dữ liệu thích hợp. Chỉ tải dữ liệu cần thiết.Thể hiện một dự án DW thành công:Ngữ cảnh kinh doanh  Thách thức (khuynh hướng)Công nghệ và tiếp cận  Nhân tố thành côngLợi ích thu được.