Luận văn Đánh giá quy trình thiết kế đề thi trắc nghiệm khách quan tại Khoa Khoa học Tự nhiên và Xã hội - Đại học Thái Nguyê

ông thường, sau khi dạy xong một học phần với các nội dung theo đề cương chi tiết cụ thể của học phần đó, GV nghĩ rằng sinh viên nắm vững các yêu cầu về nội dung kiến thức, kỹ năng nào thì sẽ ra đề với các câu hỏi kiểm tra vào phần đó, cho nên sinh viên đạt được kết quả thi, kiểm tra một cách tương đối. Bởi 49 vậy, trong một học phần có những mục tiêu GV kiểm tra được sinh viên nhưng cũng có những mục tiêu mà học phần đề ra GV không thể biết được sinh viên có đạt hay không và đạt ở mức nào. Với cách ra đề thi kiểm tra như vậy, kết quả thu được không phản ánh được mức độ đạt được mục tiêu về kiến thức và kỹ năng của học phần đã quy định. Phỏng vấn sâu các GV được biết, họ ít khi xác định mục tiêu đánh giá và xây dựng bảng trọng số trước khi viết câu hỏi thi, các GV cho rằng điều đó là không cần thiết vì trong quá trình dạy học và biên soạn đề họ đã biết được phần nào quan trọng hơn. Có nhiều GV cho rằng, việc xây dựng bảng trọng số chỉ cần thiết đối với các GV trẻ, ít kinh nghiệm. Tóm lại, qua việc phân tích trên thấy rằng nhiều GV không xác định mục tiêu đánh giá, không phân tích nội dung và xây dựng bảng trọng số khi biên soạn đề thi. • Về độ bao phủ, độ khó, độ phân biệt, độ tin cậy, độ giá trị và thời gian thi, kiểm tra. Trong phương pháp dạy học truyền thống, GV là người truyền thụ, cung cấp kiến thức cho sinh viên, sinh viên là người tiếp thu những kiến thức được truyền đạt. Việc ĐGKQHT thường được thực hiện thông qua các câu hỏi do GV soạn thảo, các câu hỏi này chủ yếu là câu hỏi tự luận, như vậy, một bài kiểm tra gồm 1 số ít câu hỏi cho một vài vấn đề trọng tâm, vì thế sinh viên thường hay đoán mò hoặc học tủ một số vấn đề chính còn các kiến thức khác thì bỏ qua. Mặt khác, có thể vì thành tích của cá nhân, của lớp hoặc của trường mà đề kiểm tra thường không khó lắm, sinh viên khá giỏi có thể dễ dàng hoàn thành mà không cần phải tư duy nhiều. Trong các bài thi kiểm tra, các câu hỏi thường ở mức độ nhận thức biết và hiểu là chính, câu hỏi ở mức độ vận dụng ít, nhưng lại có những bài thi có ít câu hỏi lại thường đánh giá người học ở mức độ vận dụng nhiều. Bởi vậy việc ĐGKQHT chưa thật sự khoa học và công bằng, đồng thời độ chính xác là không cao. Bài thi với những câu hỏi ở mức độ vận dụng mà không có câu hỏi ở mức độ biết và hiểu, nếu sinh viên đạt kết quả không cao thì chúng ta không đánh giá chính xác khả năng và năng lực của sinh viên có đạt mục tiêu về kiến thức và kỹ năng của học phần đề 50 ra hay không? Cách cho điểm này có ưu điểm là đánh giá được khả năng bậc cao của sinh viên khá và giỏi nhưng khó có thể phân biệt được các sinh viên có năng lực trung bình, yếu và kém vì các em này có điểm số không chênh lệch nhau. Nếu GV thiết kế các câu hỏi chỉ đo mức độ nhớ và hiểu thì nếu sinh viên nào học tủ hoặc học theo kiểu ghi nhớ máy móc thì sẽ được điểm cao, các sinh viên học theo kiểu tư duy lại chỉ được điểm trung bình. Từ trước đến nay trường chưa có một lớp bồi dưỡng nào về xây dựng đề thi theo các yêu cầu kỹ thuật, hầu hết các GV đều tự ra các đề thi tự luận, vấn đáp, thực hành. Thời gian gần đây, các GV bắt đầu quan tâm đến loại hình câu hỏi TNKQ, nhưng cũng chỉ dừng lại ở mức độ tìm hiểu và áp dụng phần nào, chưa có sự quan tâm đúng mức và nghiên cứu sâu về loại hình này. GV nào muốn xây dựng đề TNKQ thì tự đọc tài liệu và dựa trên các đề thi có trong tài liệu để biên soạn, việc soạn thảo từng câu hỏi và đề thi chưa đáp ứng được yêu cầu kỹ thuật, sự cân đối về thời gian và nội dung trong một đề thi là chưa đạt. Theo kết quả điều tra có nhiều GV nhận thức rằng việc biên soạn đề thi TNKQ sẽ cho kết quả đánh giá khách quan và công bằng, tuy nhiên vì những lý do khác nhau mà GV vẫn hiếm khi sử dụng phương pháp TNKQ để đánh giá KQHT của sinh viên. Phần phân tích dưới đây sẽ làm rõ các vấn đề trên: • Lý do GV hiếm khi sử dụng phương pháp TNKQ. Thông qua Phiếu điều tra và qua việc phỏng vấn sâu các GV cho thấy, có nhiều lý do khiến GV hiếm khi sử dụng phương pháp TNKQ để ĐGKQHT cho SV, tập trung vào một số lý do chính sau: - GV gặp khó khăn khi thiết kế câu hỏi TNKQ đạt yêu cầu kỹ thuật 51 0 10 20 30 40 50 60 70 80 90 100 Toán Tin Văn‐QL Hóa hc Sinh hc KHMT Tng % Không Có Hình 2.3. Khó khăn khi thiết kế câu hỏi TNKQ chuẩn Dữ liệu hình trên cho thấy GV ở mỗi Khoa khác nhau gặp khó khăn khi biên soạn câu hỏi TNKQ chuẩn là khác nhau. Có 66% GV ở các khoa gặp khó khăn và 34% GV không gặp khó khăn khi biên soạn bộ câu hỏi TNKQ chuẩn. GV khoa Toán Tin và khoa Sinh học gặp ít khó khăn nhất. Các GV cho rằng ở mỗi khoa có các đặc thù riêng nên sử dụng các phương pháp thi khác nhau tùy theo mục đích chương trình đào tạo và mục tiêu học phần. Nếu được tập huấn và được thường xuyên sử dụng thì GV sẽ ít gặp khó khăn hơn. - GV chưa được bồi dưỡng về cách xây dựng đề thi TNKQ Thực tế nhà trường chưa tổ chức được các buổi tập huấn cho GV về kỹ thuật xây dựng đề thi TNKQ, qua phiếu điều tra và phỏng vấn sâu cho thấy rằng nếu được tập huấn và tiếp cận với hình thức thi TNKQ sớm thì họ sẽ áp dụng hình thức thi này để ĐGKQHT cho SV. Mặt khác, có nhiều GV trẻ mới về trường công tác, chưa có kiến thức và kinh nghiệm nhiều nên đây cũng chính là lý do mà các GV này không lựa chọn phương pháp TNKQ. - Thiếu thời gian soạn bộ câu hỏi TNKQ Phần lớn các GV đều cho rằng để biên soạn bộ đề thi TNKQ cần rất nhiều thời gian, cho nên chỉ có khoảng 21% GV cho rằng có thời gian biên soạn câu hỏi TNKQ. Giải thích cho tỷ lệ trên là do một đề thi TNKQ bao gồm rất nhiều câu hỏi, các câu hỏi đòi hỏi bao phủ toàn bộ nội dung chương trình môn học, hơn nữa, để soạn được từng câu hỏi TNKQ, GV phải nắm vững kỹ thuật viết: cách lựa chọn 52 dạng câu hỏi, độ khó, độ phân biệt, thời gian thi… sao cho phù hợp với nội dung chương trình của từng học phần. Bởi vậy để soạn được 1 bộ đề thi TNKQ mất rất nhiều công sức và thời gian. 0 10 20 30 40 50 60 70 80 90 100 Toán Tin Văn‐QL Hóa hc Sinh hc KHMT Tng % Không Có Hình 2.4. Thời gian soạn câu hỏi TNKQ - Thiếu kỹ năng phân tích, ngại thay đổi: Một số GV cho rằng họ không có kỹ năng phân tích đề thi cũng như phân tích kết quả thi. Mặt khác, do thiếu các trang thiết bị công cụ như máy tính hay các phần mềm chuyên dụng cho nên việc phân tích kết quả thi gặp rất nhiều khó khăn. Một số GV khác thì lại có tâm lý ngại thay đổi, họ cho rằng các đề thi tự luận hiện nay của họ hoàn toàn có thể đánh giá chính xác năng lực của SV nên họ không muốn và không cần phải thiết kế các đề thi TNKQ… Có những GV mặc dù đã được bồi dưỡng về xây dựng đề thi TNKQ, nhưng do chưa có kinh nghiệm tự thiết kế nên họ sợ sự quản lý của nhà trường và khoa về chất lượng biên soạn đề thi của mình. Đây cũng chính là lý do mà một số giáo viên chưa sử dụng hình thức thi TNKQ. Các lý do trên đã cho chúng ta thấy tại sao các GV chưa sử dụng hoặc hiếm khi sử dụng đề TNKQ để KTĐG KQHT cho SV. • Về thang điểm của đề thi. Theo kết quả điều tra các GV cho rằng, với các câu hỏi tự luận, câu hỏi vấn đáp GV thường cho điểm cả câu, còn các ý và các chi tiết trong câu hỏi, GV cho điểm tùy theo nội dung bài làm của SV và tâm trạng của GV khi chấm thi. Nếu điểm 53 của cả lớp tương đối thấp thì SV chỉ viết hoặc trả lời đúng ý cũng có thể đạt được một số điểm nhất định mà chưa cần phân tích, bình luận. Còn nếu điểm của cả lớp tương đối cao thì SV sẽ không được điểm cao nếu không phân tích và bình luận ý đó. Mặt khác, với cùng một bài thi nhưng hai GV chấm thi khác nhau có thể cho kết quả khác nhau. Điều này dẫn đến sự thiếu khách quan và công bằng. Từ trước đến nay các đề thi tự luận và vấn đáp thường tập trung vào một số vấn đề trọng tâm bởi vậy SV thường đoán mò, học tủ một số vấn đề chính. Có những bài thi chỉ đo năng lực SV ở mức biết, hiểu và phân tích. Bởi vậy nếu đa số SV đạt điểm cao, mức điểm chênh lệch không nhiều, GV rất khó phân biệt SV có năng lực thấp với năng lực cao. SV khá giỏi có thể hoàn thành bài thi một cách dễ dàng, không đòi hỏi phải tư duy nhiều. Từ đó SV thường chỉ làm theo những kiến thức và kỹ năng mà GV đã giảng và ít em có khả năng tổng hợp vấn đề, đánh giá và sáng tạo. Cũng có những bài thi đa số SV đạt kết quả thấp. Hơn nữa các đề thi tự luận thường cho điểm cả câu, các ý nhỏ thì cho điểm tùy theo bài viết của SV và tâm trạng GV khi chấm bài. Có GV khi thấy điểm số trung bình của cả lớp thấp thì chấm nhẹ tay đi, và ngược lại, khi thấy điểm của cả lớp cao thì lại chấm chặt tay hơn, điều này cho thấy việc đánh giá KQHT của SV thiếu chính xác và đề thi cũng không được đảm bảo về lượng kiến thức. Gần đây một số Khoa Bộ môn trong trường có sử dụng hình thức thi TNKQ tuy nhiên chưa được đầu tư đúng mức. Từ việc soạn thảo các đề thi cho đến phân tích câu hỏi sau khi thi đều chưa đáp ứng được các yêu cầu kỹ thuật. Chính vì vậy có đề thi thường bao gồm các câu hỏi đơn giản, có câu hỏi lại tối nghĩa nên SV thường làm bài một cách thụ động. Có đề thi vừa dài lại vừa khó dẫn đến các SV không hiểu, làm bài thi không đủ thời gian cho nên một số câu chưa làm được thì chọn lung tung mà không kịp suy nghĩ… Như vậy, qua các phân tích ở trên chúng ta có thể thấy rằng với quy trình thiết kế đề thi TNKQ như hiện nay ở phần lớn các khoa bộ môn trong trường ĐHKH sẽ không đánh giá chính xác được năng lực của SV. 2.3.3. Thực trạng phân tích và xử lý kết quả thi 54 • Phân tích kết quả thi Hình 2.5. Tỷ lệ GV phân tích câu hỏi thi Có 34% Không 66% Kết quả điều tra cho thấy rằng khoảng 34% GV cho rằng họ có phân tích câu hỏi thi sau khi chấm bài và 66% không phân tích. Đây là một điều rất đáng quan tâm vì sau khi chấm thi hầu như các GV không bao giờ quan tâm xem đề thi của mình ra cho SV có phù hợp với mục tiêu của học phần đề ra hay không? Có bao phủ nội dung chương trình đào tạo? Có đảm bảo khách quan công bằng và phù hợp với năng lực của SV không? Thực trạng này cho thấy việc ra đề và việc kiểm tra đánh giá cho SV còn nhiều bất cập. • Phân tích độ khó Bảng 2.3. Tỷ lệ GV phân tích độ khó Mức độ GV thường xuyên phân tích độ khó Thường xuyên Thỉnh thoảng Hiếm khi Không bao giờ Tổng Tần suất 11 13 25 31 80 % 13,75 16,25 31,25 38,75 100,0 Có tới 70% GV hiếm khi và không bao giờ phân tích độ khó sau khi thi, tương ứng với 30% GV thường xuyên hoặc thỉnh thoảng phân tích độ khó của đề thi. Điều này chứng tỏ các GV vẫn coi nhẹ việc phân tích đề thi, họ cho rằng đây là việc làm không cần thiết và tốn thời gian. • Phân tích độ phân biệt 55 Bảng 2.4. Tỷ lệ GV phân tích độ phân biệt Mức độ GV thường xuyên phân tích độ phân biệt Thường xuyên Thỉnh thoảng Hiếm khi Không bao giờ Tổng Tần suất 18 13 17 32 80 % 22.5 16.25 21.25 40 100,0 Có khoảng 60% giáo viên hiếm khi hoặc không bao giờ phân tích độ phân biệt của đề thi. Điều này được giải thích bởi khi chấm thi xong GV thường không quan tâm xem với những SV khá giỏi và SV trung bình yếu có kết quả thi ra sao. Kết hợp với phỏng vấn sâu chúng tôi thu được một số lý do sau: Thứ nhất, do GV hiện nay đang phải dạy quá nhiều giờ. Thứ hai, một số GV cho rằng đề thi của họ chắc chắn đạt chất lượng nên không cần phải phân tích đề thi. Thứ ba, một số GV cho rằng việc này không có trong quy định nên họ không làm. Họ chỉ làm nếu được yêu cầu và có kinh phí hỗ trợ. • Phân tích, xử lý câu hỏi và bài thi 19 (23,6%) 61 (76.4%) 0 10 20 30 40 50 60 70 Được bồi dưỡng Chưa bồi dưỡng Hình 2.6. Tỷ lệ GV được bồi dưỡng phân tích câu hỏi thi Hình 2.6 cho thấy thông tin về các GV đã được bồi dưỡng kỹ năng phân tích câu hỏi thi và bài thi. Kết quả điều tra cho thấy, phần lớn GV tham gia khảo sát chưa được bồi dưỡng về việc phân tích và xử lý câu hỏi thi và bài thi. Chỉ có một số ít GV đã được bồi dưỡng nhưng do nhiều lý do khác nhau nên đa số họ không thực hiện công việc này. Theo điều tra, sau khi GV chấm bài thi cho SV xong thường chỉ nhận xét SV làm bài tốt nên được điểm cao và bài làm chưa tốt nên bị điểm thấp 56 hoặc họ nghe phản hồi từ phía SV là đề thi khó hay dễ. Có rất ít GV sau khi chấm bài xong tìm hiểu các vấn đề như: Mục tiêu của đề thi có đạt được mục tiêu chính của học phần không? Các câu hỏi trong đề thi có đáp ứng được mục tiêu chính của kỳ thi không? Dạng thức trong từng câu hỏi có phù hợp không? Các câu hỏi đã được diễn đạt ngắn gọn, dễ hiểu chưa?... Kết quả điều tra trên cho thấy thực trạng hiện nay đa số GV ở trường ĐHKH sau khi ra đề, coi thi, chấm thi xong hầu như không bao giờ phân tích câu hỏi thi cũng như bài thi. Nguyên nhân chính của vấn đề này là do chưa được đào tạo, bồi dưỡng kiến thức, mặt khác còn do vấn đề về thời gian và kinh phí cho vấn đề này. 2.3.4. Thực trạng chất lượng đề thi Để biết chất lượng các đề thi như thế nào, ngoài việc nghiên cứu các đề thi đã sử dụng, cần phân tích kết quả bài làm của SV. Trong khuôn khổ luận văn này, chúng tôi tập trung nghiên cứu và phân tích một vài đề thi TNKQ, phân tích kết quả làm bài của thí sinh và phân tích 01 đề thi bằng lý thuyết khảo thí hiện đại để phần nào minh họa chất lượng đề thi hiện nay ở trường. Nghiên cứu các đề thi đã sử dụng: 1. Đề thi Giải tích A1; 2. Đề thi Xã hội học đại cương; 3. Đề thi Khoa học môi trường đại cương; Trên thực tế, phần lớn giảng viên sau khi chấm bài thi/ kiểm tra xong không có sự phản hồi lại cho sinh viên về bài thi/ kiểm tra đó, không có nhận xét và rút kinh nghiệm cho sinh viên và cũng không tự đánh giá đề thi/kiểm tra của mình. Thực tế từ trước đến nay nhà trường chưa có chương trình bồi dưỡng về việc biên soạn đề thi cho các giảng viên, vì vậy việc soạn thảo các đề thi TNKQ hoàn toàn mang tính cá nhân, giảng viên hiểu về kỹ thuật xây dựng câu hỏi TNKQ đến đâu thì biên soạn đến đó, do vậy các câu hỏi thi và đề thi liệu có đáp ứng được các yêu cầu kỹ thuật? Để hiểu rõ vấn đề này cần xem xét các tiêu chí như: sự cân đối về thời gian thi, độ khó và độ phân biệt, độ phù hợp… 57 Nghiên cứu 2 đề thi dưới đây của cùng một lớp sinh viên (lớp cử nhân Quản lý xã hội K6) với 2 môn học khác nhau. Giả sử chúng ta có một nhóm mẫu 50 sinh viên mà năng lực của họ được phân bố theo dạng chuẩn như hình 2.7 sau: Pupils distribution Hình 2.7. Sự phân bố năng lực chuẩn của 50 thí sinh • Đề thi Xã hội học đại cương: Theo kết quả thi TNKQ, học phần Xã hội học đại cương với 60 câu hỏi MCQ với thời gian thi là 60 phút (xem thông tin chi tiết trong Phụ lục 2.2) với một lớp 50 thí sinh. Trung bình thời gian trả lời câu hỏi là 1phút/ 1câu. Kết quả phân tích cụ thể như hình 2.8 sau: 2 11 19 14 4 0 5 10 15 20 1 2 3 4 5 6 7 8 9 10 Kt qu thi S  th í s in h  đ t đ ư  c Hình 2.8. Kết quả thi học phần Xã hội học đại cương Nhìn hình trên chúng ta có thể thấy rằng kết quả thi lệch về bên trái. Theo kết quả thu được, có 26% sinh viên đạt điểm dưới trung bình và 66% sinh viên đạt điểm 58 trung bình. Có 2 sinh viên đạt điểm thấp nhất là 3 điểm và có 4 sinh viên đạt điểm cao nhất là 7 điểm. Như vậy có thể thấy rằng đề thi này không phù hợp so với năng lực của sinh viên. Điều này phù hợp với thông tin thu được khi tiến hành phỏng vấn sâu sinh viên, các sinh viên đều cho rằng đề thi này không khó lắm tuy nhiên nội dung quá nhiều, thời gian làm bài không đủ. Có thể kết luận rằng thời gian thi không phù hợp với số lượng và nội dung của câu hỏi thi. Với những sinh viên có năng lực cao chỉ làm được 70% số lượng câu hỏi thi đã hết thời gian làm bài. • Đề thi học phần Giải tích A1: Với 20 câu hỏi TNKQ dạng MCQ, đề thi học phần Giải tích A1 có thời gian làm bài là 90 phút (xem thông tin chi tiết tại phụ lục 2.3). Kết quả phân tích cho thấy đa số sinh viên cho rằng đây là đề thi vừa phải, tuy nhiên do thời gian làm bài tương đối nhiều (90 phút) nên hầu hết sinh viên làm được hết các câu hỏi của bài thi. Điều này cho thấy thời gian thi không cân đối với độ khó và số lượng câu hỏi (4,5 phút/1 câu). 4 7 13 17 6 3 0 5 10 15 20 1 2 3 4 5 6 7 8 9 10 Kt qu thi S  th í s in h  đ t đ ư  c Hình 2.9. Kết quả thi học phần Giải tích A1 Hình 2.9 cho thấy biểu đồ lệch bên phải, có 60% sinh viên đạt điểm khá (7 đến 8 điểm), 18% sinh viên đạt điểm giỏi (9 đến 10 điểm) và chỉ có 22% sinh viên đạt điểm trung bình (5 và 6 điểm). Điểm thấp nhất của sinh viên trong học phần này là 5 điểm và điểm cao nhất là 10 điểm. Kết quả trên cho thấy đề thi có quá nhiều câu dễ cho nên không đánh giá được năng lực của các sinh viên khá giỏi và không phân loại được sinh viên. 59 Như vậy, qua việc phân tích 2 đề thi TNKQ trên, chúng ta có thể khẳng định rằng với cùng một tập hợp thí sinh có cùng năng lực, nhưng 2 đề thi khác nhau đã cho kết quả khác nhau. Có thể tạm kết luận rằng đề thi học phần Xã hội học đại cương hơi khó. Đề thi này thiếu những câu dễ nên đa số thí sinh có kết quả dưới trung bình, thời gian của đề thi này cũng không phù hợp với số lượng và độ khó của câu hỏi thi. Đề thi này sẽ có độ phân biệt thấp vì không phân biệt được các thí sinh có năng lực khác nhau, dẫn đến độ tin cậy và độ giá trị của đề thi là thấp. Phân tích tương tự đối với đề thi Giải tích A1 ta cũng có thể kết luận rằng đề thi này là tương đối dễ và thời gian thi hơi nhiều. Như vậy, có thể nói việc biên soạn 2 đề thi trên là chưa tốt do không phù hợp và không đánh giá hết năng lực của thí sinh. • Phân tích đề thi TNKQ của học phần “Khoa học môi trường đại cương” bằng lý thuyết khảo thí hiện đại: Đây là đề thi TNKQ do giảng viên Khoa Khoa học Môi trường tự biên soạn để đánh giá KQHT của sinh viên năm thứ nhất ngành Cử nhân KHMT, trong học kỳ II năm học 2008-2009. Khi phân tích đề thi TNKQ bằng lý thuyết khảo thí hiện đại, nếu chúng ta thiết kế một đề thi tốt thì sẽ đánh giá chính xác năng lực của thí sinh như hình 2.10 sau: Pupils distribution Item distribution Hình 2.10. Sự phân bố năng lực của các thí sinh với độ khó của bộ câu hỏi tốt 60 Đề thi kết thúc học phần Khoa học môi trường đại cương bao gồm 50 câu hỏi, thời gian thi là 60 phút (xem chi tiết ở phụ lục 2.4). Sau khi chấm thi, nhập số liệu và phân tích kết quả bằng phần mềm Quest, ta có các kết quả thể hiện ở bảng 2.5, 2.6 sau: Bảng 2.5. Thông tin về kết quả tính toán các câu hỏi học phần KHMTĐC Bảng 2.6. Thông tin về kết quả tính toán năng lực của thí sinh Summary of item Estimates ========================= Mean .00 đạt SD 1.53 quá lớn SD (adjusted) 1.48 Reliability of estimate .63 hơi thấp Fit Statistics =============== Infit Mean Square Outfit Mean Square Mean .97 Tốt Mean 1.10 SD .28 Không tốt SD .74 Infit t Outfit t Mean -.12 Mean .13 SD 1.72 SD 1.68 Summary of case Estimates ========================= Mean .80 SD .99 SD (adjusted) .91 Reliability of estimate .74 Fit Statistics =============== Infit Mean Square Outfit Mean Square Mean 1.00 Mean 1.10 SD .28 SD .77 Infit t Outfit t Mean -.04 Mean .16 SD 1.33 SD 1.03 61 Căn cứ vào mục 1.6.3 trong chương 1, chúng tôi thấy rằng: SD = 1.53 là quá lớn, không đạt Reliability of estimate = 0.63 là hơi thấp Infit Mean Square có SD = 0.28 là không tốt Item Fit 27/ 1/10 22:17 all on khmtdc (N = 53 L = 50 Probability Level= .50) ----------------------------------------------------------------------------------------------------- INFIT MNSQ .45 .50 .56 .63 .71 .83 1.00 1.20 1.40 1.60 ----------+---------+---------+---------+---------+---------+---------+---------+---------+---------+ 1 item 1 . * | . 2 item 2 * . | . 3 item 3 . | * . 4 item 4 . * | . 5 item 5 . * | . 6 item 6 . | * . 7 item 7 .* | . 8 item 8 * . | . 9 item 9 . | * . 10 item 10 . |* . 11 item 11 *. | . 12 item 12 . * . 13 item 13 * . | . 14 item 14 . * | . 15 item 15 * . | . 16 item 16 . | * . 17 item 17 * . | . 18 item 18 . | . * 19 item 19 . | . 20 item 20 . * | . 21 item 21 . | * 22 item 22 . * | . 23 item 23 . * | . 24 item 24 . | . * 25 item 25 . | * . 26 item 26 . * | . 27 item 27 * . | . 28 item 28 * . | . 29 item 29 . | .* 30 item 30 * . | . 31 item 31 . | * . 32 item 32 . | . * 33 item 33 . * | . 34 item 34 . | * . 35 item 35 .* | . 36 item 36 . * | . 37 item 37 . * | . 38 item 38 . | . * 39 item 39 . * | . 40 item 40 * | . 41 item 41 . * | . 42 item 42 . * | . 43 item 43 . * | . 44 item 44 * . | . 45 item 45 . | * . 46 item 46 . | * . 47 item 47 . | * . 48 item 48 . * | . 49 item 49 . | * . 50 item 50 . | *. Hình 2.11. Sự phân bố của 50 câu hỏi trong học phần KHMTĐC Căn cứ vào sự phân bố của 50 câu hỏi cho thấy: có 15/50 câu hỏi không cùng một mô hình do chúng không tạo thành một cấu trúc. Các câu hỏi nằm ngoài khoảng 0.77-1.30. Các câu hỏi 2, 8, 11, 13, 15, 17, 18, 24, 27-30, 32, 38 và 44 này chưa tốt, 62 cần phải loại bỏ hoặc chỉnh sửa để chúng có cùng một cấu trúc với những câu hỏi còn lại. Item Estimates (Thresholds) 27/ 1/10 22:17 all on khmtdc (N = 53 L = 50 Probability Level= .50) ------------------------------------------------------------------------------------------- 4.0 | | | | | | | 44 3.0 | XXXXX | | 1 | XX | 26 | 4 | 2.0 | XX | 19 20 | 39 | 14 33 XXXX | XXXXX | 11 49 XXXXXXXXXXXX | 41 1.0 XXXXXX | 29 45 XX | X | 32 X | X | XXXXX | 27 42 47 .0 XXX | 18 | 5 43 X | 13 22 31 50 X | 17 38 | 37 X | 24 25 35 | 3 15 21 -1.0 X | 2 6 10 30 | | 7 8 | | 16 48 | | 12 40 -2.0 | | | | 36 34 23 | | | 28 -3.0 | | | | 9 46 | | | -4.0 | ------------------------------------------------------------------------------------------- Each X represents 1 students Hình 2.12. Ma trận so sánh năng lực thí sinh với độ khó của các câu hỏi thi Căn cứ vào hình 2.12 – so sánh năng lực thí sinh và độ khó của câu hỏi, cho thấy thông tin đề thi này tương đối dễ so với năng lực của các thí sinh. Các câu hỏi có độ khó nằm trong khoảng -3.5 đến 3.2 trên thang logit còn năng lực của thí sinh 63 nằm trong khoảng -1.0 đến 2.8 trên thang logit. Có 19 câu hỏi: 3, 15, 21, 2, 6, 10, 30, 7, 8, 16, 48, 12, 40, 36, 34, 23, 28, 9 và 46 là quá dễ so với năng lực của thí sinh (chiếm 38%)). Cần bổ sung thêm các câu hỏi có độ khó nằm trong khoảng từ 0 đến 1.8 trên thang logit (vì có nhiều thí sinh có năng lực trong khoảng này.) Qua việc phân tích đề thi TNKQ học phần Khoa học môi trường đại cương bằng lý thuyết khảo thí hiện đại, chúng tôi thấy rằng đề thi này chưa phù hợp với năng lực của các thí sinh, các câu hỏi thi chưa tạo thành một cấu trúc do có quá nhiều cá thể ngoại lai. Độ tin cậy của đề thi này không cao, dẫn đến độ giá trị của đề thi thấp, hay nói cách khác, đề thi này chưa đạt yêu cầu của một đề thi TNKQ. 2.4. Kết luận chương 2 Việc phân tích thực trạng quy trình thiết kế đề thi TNKQ tại trường ĐHKH đã tồn tại những vấn đề cơ bản sau: - Đề thi khó có khả năng bao phủ chương trình học, tiêu chí đánh giá chưa rõ ràng, quy trình chấm điểm chưa đảm bảo. Thậm chí có đề thi còn chưa phù hợp với chương trình học (về nội dung, độ khó, thời gian thi…). - Các đề thi được biên soạn phần lớn dựa theo kinh nghiệm chủ quan cá nhân chứ chưa đúng theo quy trình. - Chưa chú trọng đến chất lượng của đề thi. Với thực trạng trên, để nâng cao hiệu quả của việc thiết kế đề thi TNKQ tại đơn vị, cần có các biện pháp cụ thể để khắc phục. Qua thăm dò ý kiến của các GV, họ đều mong muốn nhà trường bồi dưỡng kiến thức về việc biên soạn các đề thi TNKQ, việc phân tích và xử lý kết quả thi TNKQ. 64 CHƯƠNG 3: MỘT SỐ BIỆN PHÁP NÂNG CAO HIỆU QUẢ QUY TRÌNH THIẾT KẾ ĐỀ THI TNKQ TẠI TRƯỜNG ĐHKH - ĐHTN Phân tích thực trạng ở chương 2 đã cho ta thấy những tồn tại trong quy trình biên soạn và thiết kế đề thi TNKQ tại đơn vị, chúng tôi xin đề xuất một số biện pháp cụ thể sau: 3.1. Nguyên tắc đề xuất biện pháp Các biện pháp nhằm nâng cao hiệu quả quy trình thiết kế đề thi TNKQ ở trường Đại học Khoa học – Đại học Thái Nguyên được xây dựng dựa trên một số nguyên tắc sau: - Đảm bảo phù hợp với các giai đoạn cơ bản của quá trình đào tạo cho SV (tổ chức thi, xử lý kết quả, điều chỉnh hoạt động dạy học… theo mục tiêu học phần đã đề ra). - Đảm bảo nâng cao chất lượng, hiệu quả của việc thiết kế đề thi TNKQ được chính xác và tin cậy hơn. - Đảm bảo góp phần cải thiện quá trình giáo dục trong Nhà trường. - Đảm bảo phù hợp với mục tiêu kiến thức trong chương trình chi tiết các học phần; nội dung kiến thức trong các đề thi kiểm tra phải bao phủ nội dung kiến thức quy định của học phần. 3.2. Một số biện pháp nâng cao hiệu quả quy trình thiết kế đề thi TNKQ