Đề tài Đánh giá các yếu tố ảnh hưởng đến chất lượng các bộ đề thi trắc nghiệm khách quan tại Khoa Công Nghệ Thông tin - Đại học Thái Nguyên

hỏi trở nên có dạng hai phương án để chọn. Do đó nếu thích, chúng ta có thể đưa ra bốn câu có ý nghĩa trái nhau từng đôi một. - Cẩn thận khi dùng các cụm từ “ Không câu nào trên đây đúng” hoặc 30 “Tất cả các phương án đều đúng” như là một trong những phương án để chọn, vì về mặt văn phạm các mệnh đề này thường không ăn khớp với các câu hỏi. - Câu trả lời đúng nhất hay hợp lý nhất phải được đặt ở các vị trí khác nhau một số lần tương đương nhau. - Tránh dùng các thể phủ định trong các câu hỏi. Người ta thường nên nhấn mạnh khía cạnh xác định hơn khía cạnh phủ định trong kiến thức. Khi bắt buộc phải dùng những từ này, nên gạch dưới hay in đậm để học sinh chú ý hơn. Đối với việc xây dựng các công cụ đo lường kết quả học tập, cụ thể là việc xây dựng các bộ đề thi TNKQ dùng trong thi kiểm tra giữa kỳ hay hết học phần áp dụng trong các trường đại học, ta chỉ quan tâm đến thang bậc năng lực nhận thức. Với hầu hết các bộ đề được sử dụng trong nhà trường hiện nay, chỉ có thể đánh giá được ba bậc nhận thức đầu là Biết, Hiểu và Vận dụng. Để có thể đánh giá được các năng lực nhận thức ở cấp độ cao hơn, phải thông qua các hình thức đánh giá khác như bài tập lớn, khoá luận… 1.2.2. Xây dựng bảng trọng số của môn học Để đề thi có thể đánh giá đúng mục tiêu của môn học, cấu trúc đề thi phải được xây dựng phù hợp với cấu trúc của môn học và các yêu cầu khối lượng kiến thức tương ứng. Mỗi đề thi được xây dựng phục vụ cho những mục đích nhất định. Tuỳ theo mục đích thi người viết đề thi phải thiết kế số câu hỏi và thể loại câu hỏi phù hợp tương ứng. Vì thế trước khi xây dựng đề thi chúng ta cần xác định mục đích cụ thể của đề thi. Mục đích của đề thi phải định ra được những nội dung kiến thức và cấp độ kiến thức cần kiểm tra (cấp độ kiến thức tương ứng với thang bậc về năng lực nhận thức). Tất cả những yêu cầu này được thể hiện trong bảng trọng số đề thi. Về mặt nguyên tắc, đề thi TNKQ hết học phần bao phủ hết nội dung kiến thức môn học, cho nên bảng trọng số của đề thi tương ứng với bảng trọng số kiến thức của môn học. 31 Với các đề thi TNKQ thông thường thì bảng trọng số chỉ được xây dựng với ba mức độ nhận thức là “nhận biết”, “hiểu” và “vận dụng” tương ứng với các mức độ khó của đề thi là “dễ”, “vừa” và “khó”. Có thể lấy một ví dụ về bảng trọng số đề thi như sau: Bảng 1.1: Ví dụ về bảng trọng số của 1 đề thi hết học phần gồm 60 câu trắc nghiệm Mức độ năng lực nhận thức Nội dung Nhận biết (Dễ) Hiểu (Vừa) Vận dụng (Khó) Tổng số câu hỏi Chương 1 3 4 3 10 Chương 2 2 2 1 5 Chương 3 3 4 3 10 Chương 4 5 4 4 15 Chương 5 4 6 5 15 Chương 6 2 2 1 5 Tổng cộng 19 22 17 60 1.2.3. Xây dựng ngân hàng đề thi trắc nghiệm cho môn học Để thực hiện việc triển khai thi TNKQ một cách rộng rãi đòi hỏi phải có một ngân hàng câu hỏi TNKQ. Đây là cơ sở dữ liệu để xây dựng các đề thi một cách độc lập, có độ tin cậy, độ bao phủ kiến thức đồng đều cho các lần thi. Vừa là nguồn dữ liệu cho sinh viên và cả giáo viên học tập. Việc tiến hành xây dựng ngân hàng câu hỏi thi phải theo đúng những quy trình và nguyên tắc kiểm tra đánh giá đã trình bày ở trên. Cụ thể phải tiến hành theo các bước sau: 32 1. Xác định rõ mục tiêu đào tạo của từng giai đoạn cần kiểm tra đánh giá. 2. Các chuyên gia chuyên ngành kết hợp cùng chuyên gia kiểm tra đánh giá xây dựng cấu trúc đề thi, bảng trọng số, hình thức và thể loại thi riêng phù hợp cho từng chuyên ngành theo yêu cầu của từng giai đoạn. 3. Hội thảo để lấy ý kiến về các cấu trúc đề thi, bảng trọng số, hình thức và thể loại thi vừa được xây dựng và thẩm định, công nhận các sản phẩm đó. 4. Các chuyên gia chuyên ngành soạn thảo các câu hỏi thi theo bảng trọng số và cấu trúc thi đã được xây dựng và thông qua. 5. Nghiệm thu các câu hỏi thô. 6. Loại bỏ các câu hỏi không đạt chuẩn quy định chung. Sửa lại một số câu cho phù hợp, viết bổ sung một số câu hỏi mới. 7. Thử nghiệm để lấy kết quả đánh giá và hoàn thiện hơn các câu hỏi thi. 8. Lưu trữ các câu hỏi thi theo lĩnh vực kiến thức và các độ dễ khó khác nhau trong ngân hàng dữ liệu. 9. Trước khi tổ chức thi các chuyên gia căn cứ theo yêu cầu và mục tiêu đào tạo của từng đợt thi tổ hợp đề thi theo đúng yêu cầu về độ khó của câu hỏi thi và các yêu cầu về kiến thức sinh viên cần đạt được. 10. Sau khi thi, kết quả thi phải được phân tích xử lý và đánh giá để có các thông tin phản hồi như đã nêu trong quy trình và nguyên tắc kiểm tra đánh giá. 11. Sau khi có các kết quả xử lý phân tích, các câu hỏi thi được hoàn thiện lại. 12. Hàng năm có tổ chức viết thêm các câu hỏi thi để bổ sung ngân hàng dữ liệu và đồng thời loại bỏ các câu hỏi không còn phù hợp với phát triển của mục tiêu đào tạo và năng lực thực sự của sinh viên trong từng giai đoạn. 33 Chương 2 PHƯƠNG PHÁP NGHIÊN CỨU 2.1. Những định hướng, trọng tâm nghiên cứu 2.1.1. Chuyên đề nghiên cứu thứ nhất Để đánh giá các yếu tố ảnh hưởng đến chất lượng bộ đề thi TNKQ, luận văn phải xuất phát từ việc đánh giá chất lượng của các bộ đề thực tế đã sử dụng tại nhà trường qua xử lý số liệu kết quả thi của các môn học (50 môn học). Từ kết quả thi đã được xử lý và lý thuyết về đo lường đánh giá có thể cho phép kết luận sơ bộ về chất lượng các bộ đề này (về độ tin cậy, độ giá trị…). Nghiên cứu này được thực hiện bằng phương pháp thống kê phân tích, xử lý số liệu trên phần mềm SPSS, QUEST, kết hợp với phương pháp chuyên gia qua việc thẩm định độ giá trị nội dung, độ gía trị cấu trúc… của các bộ đề thi. 2.1.2. Chuyên đề nghiên cứu thứ hai Xuất phát từ thực tế là các bộ đề thi TNKQ trong nhà trường có chất lượng không giống nhau. Câu hỏi đặt ra là “Vậy thì những yếu tố nào ảnh hưởng đến chất lượng của các bộ đề thi TNKQ”? Có thể bỏ qua các yếu tố như điều kiện bên ngoài, ta nhận thấy yếu tố ảnh hưởng lớn nhất chính là từ phía những người xây dựng bộ đề thi này. Bằng kinh nghiệm thực tiễn công tác cũng như tham khảo ý kiến của các chuyên gia trong lĩnh vực đo lường đánh giá giáo dục, tác giả mạnh dạn đề xuất một bộ công cụ đo các yếu tố ảnh hưởng đến chất lượng bộ đề thi TNKQ thực hiện trên nhóm mẫu là giáo viên tham gia xây dựng đề thi. Chất lượng một bộ đề thi nói chung phụ thuộc nhiều yếu tố nhưng chủ yếu và trực tiếp là các yếu tố tác động đến chính bản thân người ra đề. Trong điều kiện giảng dạy hiện nay, có thể khái quát thành 5 nhóm yếu tố giả thuyết có ảnh hưởng đến người ra đề, đó là: - Thời gian đầu tư cho công việc thiết kế trắc nghiệm. 34 - Động cơ của người thiết kế trắc nghiệm. - Mức độ người ra đề được trang bị kỹ thuật thiết kế trắc nghiệm. - Sự quan tâm của nhà trường. - Tính chất, đặc điểm của các nhóm môn học. Từ 5 nhóm yếu tố tác động trên, luận văn sẽ xây dựng một mẫu phiếu hỏi, lấy thông tin từ nhóm giáo viên xây dựng đề. Lưu ý là các phiếu này sẽ được đánh dấu tương ứng với chất lượng đề thi của cá nhân đó. Với kết quả xử lý 50 mẫu phiếu điều tra sẽ chỉ ra được các yếu tố có tương quan chặt trong nhóm 5 yếu tố được thăm dò. 2.1.3. Chuyên đề nghiên cứu thứ ba Trên cơ sở kết quả của hai nghiên cứu nói trên, ta sẽ tiến hành đánh giá tương quan được lượng hoá thành số giữa các mẫu phiếu đánh giá và chất lượng đề thi trong nhóm mẫu kết quả thi. Từ đó sẽ cho các kết luận cụ thể về mối quan hệ giữa các nhóm yếu tố ảnh hưởng và chất lượng đề thi. Những đánh giá này được thực hiện trên bảng trụ xoay (crosstab) kết hợp với phương pháp chuyên gia. Với những phân tích ở trên, sau khi thực hiện xong ba chuyên đề nghiên cứu, đặc biệt là chuyên đề nghiên cứu thứ ba, luận văn sẽ chỉ ra được các yếu tố ảnh hưởng thực sự tới chất lượng xây dựng đề thi TNKQ, từ đó có những đề xuất giải pháp nhằm cải thiện chất lượng xây dựng đề thi của nhà trường. 2.2. Thiết kế mẫu phiếu điều tra đối với giáo viên Để thuận tiện trong việc lượng hoá các item trong phiếu hỏi, chúng tôi sử dụng thang bậc đánh giá theo 5 mức độ đồng ý với 27 item của phiếu hỏi là các phát biểu thuận chiều, 03 phát biểu là phát biểu nghịch chiều (khi xử lý phải đổi điểm ngược lại) và 03 phát biểu mở (cung cấp thông tin khi đánh giá bằng phương pháp chuyên gia). 35 Trong bảng hỏi, 5 nhóm yếu tố đã kể trên sẽ được chia thành 30 item theo cấu trúc sau: - Thời gian đầu tư cho công việc: 03 item - Động cơ của người thực hiện: 05 item - Mức độ được trang bị kỹ thuật : 16 item - Sự quan tâm của nhà trường: 03 item - Tính chất các nhóm môn học: 03 item Qua phân bố các item trong cấu trúc trên, dễ nhận thấy yếu tố thứ 3 “Mức độ nắm vững kỹ thuật ra đề TNKQ của giảng viên” có trọng số lớn hơn cả. Điều này không phải là một nhận định quá chủ quan mà nó được xây dựng trên kinh nghiệm cá nhân, thăm dò dư luận đám đông và ý kiến của các chuyên gia có kinh nghiệm về đo lường đánh giá trong giáo dục. Mẫu phiếu dùng trong nghiên cứu của luận văn sử dụng thang bậc đánh giá được lượng hoá thành 5 mức như sau: 0 = Hoàn toàn không đúng / hoàn toàn không đồng ý 1 = Cơ bản không đúng / cơ bản không đồng ý 2 = Đúng một phần / đồng ý một phần/ phân vân 3 = Cơ bản đúng / cơ bản đồng ý 4 = Hoàn toàn đúng / hoàn toàn đồng ý Các nội dung trong phiếu đánh giá cụ thể như sau: Yếu tố “Thời gian dành cho công việc” được đánh giá qua 3 item (từ 1 đến 3) 1- Tôi đã đầu tư nhiều thời gian cho việc ra đề thi TNKQ. 2- Nhà trường bố trí thời gian đủ cho giáo viên xây dựng bộ đề thi TNKQ. 3- Tôi đã áp dụng thử bộ đề thi trước khi thi kết thúc môn học. Yếu tố “Động cơ của người thực hiện” được đánh giá qua 5 item (từ 4 đến 8) 4- Tôi thực sự hứng thú đối với việc áp dụng phương pháp thi TNKQ. 5- Tôi đã dành thời gian tìm hiểu kỹ về thi TNKQ. 6- Tôi đã chủ động áp dụng việc thi TNKQ trong môn học do mình giảng dạy. 36 7- Tôi cho rằng thi TNKQ là không cần thiết. 8- Tôi nhận thấy thi TNKQ là tiện lợi và khoa học. Yếu tố “Mức độ nắm vững kỹ thuật ra đề TNKQ của giảng viên” được đánh giá qua 16 item (từ 9 đến 24) 9- Bộ đề thi TNKQ dùng để đánh giá SV được thiết kế theo ma trận kiến thức của môn học tôi giảng dạy. 10- Bộ đề thi TNKQ tôi thiết kế có thể phân loại được sinh viên theo lực học. 11- Bộ đề thi TNKQ tôi thiết kế không quá khó, phù hợp với lực học trung bình của sinh viên. 12- Tôi hiểu rõ từng câu hỏi và có thể trả lời đúng từng câu hỏi trong bộ đề thi của mình mà không cần tới đáp án. 13- Tôi đã được tập huấn những kiến thức cơ bản về kỹ thuật ra đề thi TNKQ. 14- Các câu hỏi trong đề thi phù hợp với thời lượng của từng nội dung trong đề cương chi tiết môn học. 15- Số lượng các câu hỏi trong đề thi phân bố đều ở các nội dung và bao quát cả chương trình môn học. 16- Tôi đã bỏ ra khá nhiều thời gian để tự nghiên cứu về kỹ thuật ra đề thi TNKQ. 17- Tôi đã trao đổi về nội dung bộ đề thi TNKQ trong nhóm giảng viên của Bộ môn. 18- Bộ đề thi TNKQ của tôi được thiết kế chung cho cả nhóm môn học trong Bộ môn. 19- Sau mỗi lần thi tôi thường đánh giá chất lượng đề (các đặc tính đo lường) để bổ sung và chỉnh sửa bộ đề thi. 20- Tôi thiết kế đề thi TNKQ chủ yếu dựa trên kinh nghiêm cá nhân. 21- Tôi chưa nắm được kỹ thuật phân tích item. 22- Tôi chưa nắm được lý thuyết hồi đáp IRT. 23- Tôi biết sử dụng phần mêm SPSS để đánh giá độ tin cậy. 24- Tôi biết sử dụng phần mêm Quest hoặc Conquest để phân tích item. Yếu tố “Sự quan tâm của nhà trường” được đánh giá qua 3 item (từ 25 đến 27) 25- Nhà trường khuyến khích việc áp dụng thi TNKQ. 26- Xây dựng đề thi TNKQ được coi là một tiêu chuẩn nhằm đánh giá đổi mới phương pháp giảng dạy. 37 27- Nhà trường có hỗ trợ kinh phí thích đáng cho việc xây dựng đề thi TNKQ. Yếu tố “Tính chất các nhóm môn học” được đánh giá qua 3 item (từ 28 đến 30) 28- Môn học tôi giảng dạy phù hợp với việc thi TNKQ. 29- Tôi cho rằng đề thi TNKQ chỉ phù hợp với một số môn học. 30- Tôi cho rằng tính chất các nhóm môn học có ảnh hưởng đáng kể đến chất lượng đề thi TNKQ. Ngoài ra phiếu đánh giá còn có thêm 3 item nhằm lấy thêm thông tin: 31. Anh chị giảng dạy môn học thuộc nhóm nào? a. Nhóm Toán, Lý, Hoá c. Nhóm Ngoại ngữ b. Nhóm Văn, Chính trị xã d. Nhóm các môn Kỹ thuật 32. Theo anh chị, yếu tố nào (trong 5 nhóm yếu tố trên) có ảnh hưởng lớn nhất đến quá trình ra đề thi TNKQ của giảng viên? 33. Anh chị có kinh nghiệm như thế nào về ra đề thi TNKQ: Các item 07, 21, 22 và 29 là các phát biểu nghịch chiều, khi xử lý kết quả phải lấy điểm số theo chiều ngược lại. Các item còn lại trong bảng kẻ là các phát biểu thuận chiều, khi xử lý kết quả phải lấy điểm số dương. Các item 31, 32, 33 là các phát biểu mở nhằm cung cấp thêm thông tin cho người xử lý. Điểm số lượng hoá của phiếu hỏi bằng tổng đại số điểm của các item trong bảng kẻ (Giá trị của điểm số tổng cộng mặc định là tương quan chặt với điều kiện thuận lợi cho việc xây dựng đề thi TNKQ). 38 Chương 3 XỬ LÝ SỐ LIỆU THI VÀ KẾT QUẢ PHIẾU ĐIỀU TRA 3.1. Xử lý số liệu kết quả thi TNKQ 3.1.1. Phân tích độ khó của item Độ khó của item được dùng để tạo ra sự phân biệt giữa những người làm trắc nghiệm. Mức độ khó của item được định nghĩa dựa trên tỷ lệ người trả lời đúng item đó. Phân tích độ khó của item chỉ phù hợp cho những trắc nghiệm đánh giá thành tích hay năng khiếu, những trắc nghiệm cho phép bộc lộ tối đa năng lực của người làm trắc nghiệm. Phân tích độ khó không phù hợp cho những trắc nghiệm đánh giá nhân cách hay quan điểm thái độ. Độ khó của từng item trực tiếp ảnh hưởng đến độ tin cậy và độ giá trị (hiệu lực) của trắc nghiệm. Ví dụ, một trắc nghiệm có 50 item nhưng có 20 item quá khó (tất cả sinh viên đều nhận điểm 0 trên các item này). Như vậy, phân bố điểm của trắc nghiệm gồm 50 item này cũng giống như phân bố điểm của trắc nghiệm chỉ gồm 30 item. Khi đó, độ khó của các item đã thực sự làm giảm độ dài của trắc nghiệm. Về mặt lý thuyết, độ dài của trắc nghiệm giảm sẽ làm giảm độ tin cậy của trắc nghiệm và cũng làm giảm độ hiệu lực của trắc nghiệm [4]. Công thức tính độ khó của item: P = (Số người trả lời đúng trên item) / N P: Độ khó của item N: Tổng số người trả lời item P có gía trị từ 0,0 đến 1,0. Giá trị của P càng gần 0,0 thì độ khó của item càng tăng. Ngược lại, giá trị của P càng gần 1,0 thì độ khó càng giảm. Độ khó của item không phải chỉ có một giá trị cố định mà ngược lại mỗi khi trắc nghiệm được làm với một mẫu nào đó, ta lại có một giá trị xác định. Độ khó có thể thay đổi tuỳ thuộc vào trình độ, năng lực của người làm trắc nghiệm. 39 Một item có độ khó phù hợp nhất khi P nằm xung quanh 0,5. Tuy nhiên, để đánh giá được độ khó của item phù hợp nhất cho trắc nghiệm cần căn cứ vào mục đích của trắc nghiệm và kiểu item. Độ khó của item không chỉ nói lên mức độ nắm vững / không nắm vững (kiến thức hay kỹ năng) của người làm trắc nghiệm mà nhiều khi trả lời đúng là do đoán mò. Đối với những item có hai lựa chọn (đúng / sai) hay có nhiều lựa chọn, xác suất đoán trúng là 50% hay 25% (nếu là 4 lựa chọn). Như vậy độ khó tối ưu (optimal item dificulty) được tính theo công thức sau: Điểm giữa P do đoán đúng = 1,0 – (khả năng có thể đoán đúng) / 2 Độ khó tối ưu cho đoán đúng = điểm giữa P + khả năng đoán đúng. Độ khó của item sẽ ảnh hưởng đến điểm của trắc nghiệm. Những item quá khó (P < 0,1) sẽ làm giảm điểm trung bình, thu hẹp phạm vi điểm vì hầu hết mọi người mất điểm trên những item này hoặc có điểm là do đoán mò. Điều này có thể ảnh hưởng đến điểm số của những người làm trắc nghiệm. Những item quá dễ sẽ làm mọi người đều có điểm trên item đó, do đó sự khác nhau giữa những người đạt điểm cao nhất (được xem là có năng lực tốt nhất) và những người có điểm thấp nhất (được xem là có năng lực tồi nhất) có điểm ngang nhau ở những item này do vậy độ phân biệt sẽ có giá trị gần bằng 0. Điều này sẽ ảnh hưởng đến độ hiệu lực của trắc nghiệm. 3.1.2. Phân tích độ phân biệt của item Phân tích độ phân biệt là chỉ ra mức độ khác biệt trong cách trả lời item ở những mẫu người khác nhau. Không giống như phân tích độ khó, phân tích độ phân biệt thích hợp cho hầu hết các kiểu trắc nghiệm. Một item có độ phân biệt tốt là khi trả lời item đó, hầu hết những người có điểm trắc nghiệm cao trả lời đúng, đồng thời những người có điểm trắc nghiệm thấp trả lời sai. 40 Có nhiều kỹ thuật đánh giá độ phân biệt của item, tuy nhiên có thể xem có hai cách thường được sử dụng nhất: - Đánh giá chỉ số phân biệt của item (item discrimination index) - Đánh giá tương quan điểm item với điểm trắc nghiệm (item – total correlation) Độ phân biệt được xác định từ kết quả so sánh điểm trắc nghiệm của hai nhóm người có điểm số cao và thấp rút ra từ hai mẫu riêng rẽ hoặc từ một mẫu. Nếu lấy từ một mẫu hãy chọn (khoảng 1/3 hay 1/4 ) số người làm trắc nghiệm có điểm cao nhất và số người làm trắc nghiệm có điểm thấp nhất. Sau khi xác định được hai nhóm có điểm cao và điểm thấp, hãy tính tỷ lệ % số người trả lời đúng trên từng item cho mỗi nhóm. Chỉ số phân biệt của item được tính theo công thức sau: Số người trả lời đúng Số người trả lời đúng ở nhóm điểm cao ở nhóm điểm thấp D = ---------------------------- - --------------------------- Tổng số người trả lời Tổng số người trả lời ở nhóm điểm cao ở nhóm điểm thấp D: Độ phân biệt của item Với các trắc nghiệm đánh giá năng lực, ta có thể giải thích sự thay đổi các giá trị của D như sau: Nếu item có câu trả lời khó cho những người ở nhóm điểm thấp mà dễ cho những người ở nhóm điểm cao, thì khi đó chỉ số D là tiếp cận 1,0 (item có độ phân biệt lý tưởng). Nếu item có câu trả lời khó ngang bằng cho cả hai nhóm thì chỉ số D tiếp cận 0,0 (item không có độ phân biệt hay độ phân biệt kém). Nếu item có câu trả lời dễ cho những người ở nhóm điểm thấp mà lại khó cho nhóm người điểm cao thì chỉ số phân biệt D tiếp cận – 1,0, khi đó item vẫn có độ phân biệt lý tưởng nhưng không giống như mong đợi. 41 Theo các chuyên gia trong lĩnh vực này thì chỉ số phân biệt của từng item, được coi là thích hợp khi D lớn hơn hoặc bằng 0,3. Những item có chỉ số phân biệt nhỏ hơn hoặc bằng 0,2 nên được viết lại. Phương pháp đánh giá độ phân biệt bằng cách đánh giá tương quan giữa item và toàn bộ trắc nghiệm Nếu trắc nghiệm và item cùng đo một đặc tính hay một cấu trúc thì điểm trả lời trên item sẽ tương quan với tổng số điểm của trắc nghiệm. Cũng vậy, nếu các item cùng đo một đặc tính hay một cấu trúc thì chúng sẽ tương quan với nhau. Công thức tính tương quan điểm item và điểm của trắc nghiệm như sau: ))(( ))(()/( YX XY YXNXY R σσ ∑ −= X: Điểm của item được phân tích Y: Điểm tổng của các item còn lại (điểm trắc nghiệm) X : Điểm trung bình của item được phân tích Y : Điểm trung bình của trắc nghiệm σX : Độ lệchchuẩn của điểm trên item được phân tích σY : Độ lệch chuẩn của điểm trắc nghiệm Giá trị của hệ số tương quan càng tiệm cận 1,0 càng chứng tỏ item và trắc nghiệm có tính đồng nhất cao, tức là cùng đo một đặc tính. Với các trắc nghiệm đánh giá năng lực, giá trị tương quan càng gần 1,0 sẽ cho biết càng có nhiều người có điểm trắc nghiệm cao trả lời đúng item đó. Ngược lại giá trị tương quan càng gần -1,0 sẽ cho biết càng có nhiều người có điểm trắc nghiệm thấp trả lời đúng item đó. 3.1.3. Đánh giá độ tin cậy của bài trắc nghiệm Việc phân tích độ khó, độ phân biệt của các item trong bài trắc nghiệm như đã chỉ ra ở trên chỉ có tính chất đánh giá cục bộ, đơn lẻ trên các item. 42 Những kết quả đó chưa phản ánh hết toàn bộ độ tin cậy của toàn bộ bài trắc nghiệm. Để có kết luận một cách toàn diện về độ tin cậy của cả bài trắc nghiệm người ta thường dùng phương pháp đánh giá dựa trên mô hình tương quan Alpha của Cronbach (Cronbach’s coefficent alpha). - Sử dụng thủ tục Reliability Analysis trên phần mềm SPSS. Từ cửa sổ file dữ liệu SPSS.dat + Chọn Analyze \ Scale \ Relibility Analisis. + Chọn mode Alpha. + Chuyển các biến (item) vào hộp item. + Bấm vào hộp Statistic… + Chọn Scale. + Chọn Scale if item deleted. + Tích vào các hộp Hotenlling’s Tsquare và Tukey’s test. + Chọn continue \ Ok. Kết quả tại Out put ta có bảng mức độ tin cậy của từng item của thang đo (là các câu hỏi trong trắc nghiệm). 43 Bảng 3.1: Kết quả phân tích độ tin cậy (Reliability Analysis Alpha) của toàn bài trắc nghiệm trong đề số 1 Tên biến Varia ble Điểm trung bình của thang đo nếu item bị xoá Scale Mean if Item Deleted Phương sai của thang đo nếu item bị xoá Scale Variance if Item Deleted Hệ số tương quan của item với các item còn lại Corrected Item- Total Correlation Hệ số alpha nếu item bị xoá Cronbach's Alpha if Item Deleted c1 c2 c3 c4 c5 c6 c7 c8 c9 c11 c12 c13 c14 c15 c16 c17 c18 c19 c20 c21 c22 c23 c24 c25 c26 c27 c28 c29 c30 c31 c32 42.02 42.35 42.12 41.96 42.29 41.96 42.58 42.04 42.15 41.96 42.15 42.31 42.58 41.98 42.10 41.98 42.04 42.17 42.15 42.31 42.52 42.25 42.17 42.29 41.96 42.00 42.02 42.42 42.13 42.33 42.10 35.196 37.603 35.202 35.920 34.954 35.763 37.817 35.763 34.015 35.685 35.780 36.727 37.425 36.294 34.755 35.862 34.351 35.362 35.035 38.178 37.078 35.328 34.381 32.680 34.822 35.020 34.568 33.504 32.785 33.087 33.304 .234 .284 .159 .066 .160 .134 .328 .063 .386 .168 .030 .144 .263 .084 .269 .069 .438 .107 .178 .380 .201 .099 .300 .575 .546 .320 .416 .403 .668 .488 .604 .756 .778 .759 .760 .759 .759 .778 .761 .750 .759 .763 .772 .776 .763 .755 .760 .751 .761 .758 .781 .774 .761 .753 .741 .752 .755 .752 .748 .740 .745 .743 44 Tên biến Varia ble Điểm trung bình của thang đo nếu item bị xoá Scale Mean if Item Deleted Phương sai của thang đo nếu item bị xoá Scale Variance if Item Deleted Hệ số tương quan của item với các item còn lại Corrected Item- Total Correlation Hệ số alpha nếu item bị xoá Cronbach's Alpha if Item Deleted c33 c34 c35 c36 c37 c38 v39 c40 c41 c42 c43 c44 c45 c46 c47 c48 c49 c50 c51 c52 c53 c54 c55 c56 c57 c58 c59 c60 42.00 42.31 42.23 42.62 41.98 42.08 42.38 42.12 42.00 42.12 42.62 42.54 42.02 42.00 42.62 42.25 42.25 42.12 42.02 42.48 42.15 42.04 41.98 42.15 42.04 42.15 41.98 41.98 35.412 33.982 33.710 37.457 35.156 33.680 34.908 33.241 35.020 33.712 32.908 34.998 33.862 34.196 33.849 33.407 33.407 35.398 35.353 34.372 34.172 36.038 35.862 35.388 35.763 36.015 35.862 36.015 .196 .330 .404 .274 .322 .544 .160 .591 .320 .485 .559 .150 .624 .586 .377 .453 .453 .117 .189 .253 .354 .008 .069 .107 .063 .017 .069 .063 .758 .752 .749 .776 .755 .746 .759 .743 .755 .747 .742 .759 .746 .748 .750 .747 .747 .760 .758 .755 .751 .763 .760 .761 .761 .765 .760 .761 45 Các thông tin về độ tin cậy của toàn bài trắc nghiệm được cho trong bảng sau Bảng 3.2: Các thông số về độ tin cậy (Reliability Statistics) Hệ số tin cậy Cronbach's Alpha Hệ số tin cậy trên các item chuẩn Cronbach's Alpha Based on Standardized Items Số lượng item N of Items .805 .819 60 Qua phân tích số liệu trên bảng Output ta thấy đề thi trên dù còn có một số câu hỏi (item) chưa được tốt song độ tin cậy của toàn bộ trắc nghiệm là khá cao. Kết quả phân tích cho hệ số tin cậy của toàn trắc nghiệm α = 0,805 có nghĩa là 80,5% phương sai của điểm trắc nghiệm là phương sai của điểm số thực và chỉ có 15,5% phương sai của điểm là do sai số ngẫu nhiên của phép đo. Cũng bằng phép phân tích này, nhìn vào bảng 1 ta thấy, những item có tương quan với các item còn lại là thấp (αi < 0.30) thì cần phải xem lại, những item có tương quan qúa thấp (αi < 0) thì nên loại bỏ. Bằng cách tương tự ta có kết quả tổng hợp về độ tin cậy của 50 đề thi trong bảng dưới đây. Bảng 3.3: Hệ số tin cậy Alpha Cronbach’s của 50 đề trắc nghiệm Đề thi Hệ số tin cậy Cronbach's Alpha Hệ số tin cậy trên các item chuẩn Cronbach's Alpha Based on Standardized Items Số lượng item N of Items Đề số 1 .80 .819 60 Đề số 2 .78 .794 60 Đề số 3 .75 .760 60 Đề số 4 .60 .621 60 Đề số 5 .54 .554 60 Đề số 6 .35 .360 60 Đề số 7 .33 .345 60 Đề số 8 .84 .850 60 46 Đề số 9 .86 .872 60 Đề số 10 .65 .661 60 Đề số 11 .65 .655 60 Đề số 12 .58 .591 60 Đề số 13 .48 .492 60 Đề số 14 .47 .485 60 Đề số 15 .50 .512 60 Đề số 16 .73 .743 60 Đề số 17 .74 .750 60 Đề số 18 .70 .712 60 Đề số 19 .69 .700 60 Đề số 20 .47 .485 60