Hai phương pháp đánh giá chất lượng câu hỏi trắc nghiệm

Entry này là một phần của nội dung “tập huấn” mà tôi sẽ trình bày sáng mai tại một trường đại học trong TP HCM. Đại khái, có một trường nọ muốn xây dựng một ngân hàng đề thi tiếng Anh để làm tăng hiệu quả và chất lượng của công tác dạy – học của trường. Và trong mấy năm liền, BM này đã có những cố gắng viết/ tập hợp và phân loại những câu hỏi kiểm tra môn tiếng Anh theo một thiết kế được xác định sẵn. Đến nay, họ đã có được một tập hợp kha khá những câu hỏi được phân loại, và cũng đã thực hiện phân tích câu trắc nghiệm (item analysis) để tìm ra độ khó, độ phân cách của các câu trắc nghiệm của mình.

Mặc dù đã có những cố gắng nhưng BM vẫn lúng túng không rõ mình làm như vậy đã thực sự tốt chưa. Một số những câu hỏi đang được đặt ra là: Làm sao biết những câu hỏi của mình là thực sự tốt? Những tiêu chí cần đạt cho một câu hỏi tốt (một bài kiểm tra tốt) là gì? Quy trình đánh giá một câu hỏi hoặc một bài kiểm tra được thực hiện ra sao?

Các bạn có quan tâm đến vấn đề này cũng có thể search trên trang blog này nhiều bài viết khác của tôi về kiểm tra, đánh giá, và trắc nghiệm. Và nếu ai đọc mà có thắc mắc và muốn trao đổi thêm thì xin mail cho tôi nhé, vtpanh@gmail.com.
----
(i) Phương pháp “chuyên gia” (kiểm tra chéo)

- Phải có bản đặc tả trước khi xây dựng bài kiểm tra
- Hai chuyên gia xây dựng hai bài kiểm tra tương đương trên cùng một bản đặc tả
- Nhất thiết phải xây dựng xong đáp án trước khi kiểm tra chéo
- Chuyên gia đóng vai thí sinh (không được cung cấp đáp án) để làm bài. Thời gian hoàn tất bài kiểm tra của chuyên gia chỉ được bằng từ 1/2 đến 2/3 thời gian của thí sinh. Nếu chuyên gia phải tốn thời gian bằng hoặc hơn thời gian của thí sinh thì sẽ đánh giá không chính xác năng lực của thí sinh (quá khó hoặc quá ít thời gian).
- Những câu sai sẽ là cơ hội để hai chuyên gia trao đổi lại và đi đến thống nhất.
- Những tiêu chí đánh giá chất lượng câu hỏi/ bài kiểm tra: phù hợp với đối tượng và mục đích kiểm tra; có giá trị (kiểm tra được chính xác những gì mình muốn kiểm tra; điểm số có ý nghĩa rõ ràng, không gây tranh cãi); và đáng tin cậy (cho điểm số ổn định, không có những thay đổi bất thường khi thay đổi bối cảnh kiểm tra hoặc người chấm bài, vv). Ngoài ra, bài kiểm tra còn cần khả thi trong điều kiện của trường/ khoa/ bộ môn.

(ii) Phương pháp “thực nghiệm” (thử nghiệm trên mẫu)

- Mẫu thử nghiệm và đề kiểm tra phải thực sự tương đương với kỳ thi thật
- Sau khi thử nghiệm, cần thực hiện phân tích dữ liệu ứng đáp để tính độ khó và độ phân cách theo định nghĩa dưới đây:
- Độ khó = số thí sinh trả lời đúng/ tổng số thí sinh trả lời câu hỏi
- Độ phân cách = điểm trung bình của nhóm giỏi – điểm trung bình của nhóm yếu (tính trên đơn vị câu)
- Ý nghĩa của kết quả phân tích:
- Độ khó từ 0.2 đến 0.9 là dùng được, nhưng đa số nên nằm trong khoảng 0.3 đến 0.8. Những câu nằm ngoài phạm vi trên cần xem xét để điều chỉnh lại độ khó.
- Độ phân cách tốt khi có giá trị 0.3 trở lên. Tuy nhiên độ phân cách chỉ cần thiết cho những bài thi có tính cạnh tranh, hoặc cần phân biệt rõ các trình độ (vd placement test). Tuyệt đối không sử dụng câu có độ phân biệt âm. Độ phân biệt dưới 0.2 cũng có thể cần xem xét lại.

Ngân hàng câu hỏi (5): Quy trình viết/ lựa chọn câu trắc nghiệm

Giá trị thực sự của một ngân hàng câu hỏi phụ thuộc trước hết và trên hết vào giá trị của các câu hỏi trong ngân hàng. Vì vậy, khả năng chọn lựa hoặc viết những câu hỏi trắc nghiệm là kỹ năng quan trọng và cần thiết nhất trong việc xây dựng một ngân hàng câu hỏi.

Tài liệu hướng dẫn viết câu trắc nghiệm của IIEP* (UNESCO, 2005) đưa ra quy trình viết (lựa chọn) câu trắc nghiệm rất phức tạp bao gồm các bước như sau:

• Xây dựng bản đặc tả (specifications) hay còn gọi là bản thiết kế (blueprint) của bài trắc nghiệm.
• Xây dựng ma trận chi tiết cấu trúc bài trắc nghiệm (nội dung và thang mức độ năng lực nhận thức)
• Xác định hình thức trình bày và các lời chỉ dẫn trong bài trắc nghiệm
• Xác định loại hình và định dạng câu hỏi trắc nghiệm phù hợp với mục tiêu cụ thể của việc kiểm tra
• Viết/ thu thập các câu trắc nghiệm theo yêu cầu đã xác định
• Phản biện/ điều chỉnh những câu trắc nghiệm đã viết/chọn bằng phương pháp chuyên gia
• Biên tập ngôn ngữ (biên tập lần 1)
• Chuẩn bị lên khuôn bài trắc nghiệm hoàn chỉnh
• Thử nghiệm câu trắc nghiệm
• Phân tích kết quả thử nghiệm
• Biên tập chính thức dựa trên kết quả thử nghiệm (biên tập lần 2)
• Đánh giá chất lượng bài trắc nghiệm sau khi sử dụng
• Huấn luyện giám khảo

Để giản tiện và dễ nhớ, có thể gộp lại quy trình đã nêu thành 4 giai đoạn như sau:
- Giai đoạn thiết kế: gồm xây dựng bản đặc tả và ma trận cấu trúc bài trắc nghiệm, xác định hình thức trình bày, loại hình và định dạng câu hỏi sao cho phù hợp với mục tiêu của việc kiểm tra
- Giai đoạn thực hiện bằng phương pháp chuyên gia (tạm gọi là vòng 1): gồm viết/thu thập câu trắc nghiệm, phản biện/ điều chỉnh câu trắc nghiệm bằng phương pháp chuyên gia, và biên tập ngôn ngữ
- Giai đoạn thực hiện bằng phương pháp thực nghiệm (tức vòng 2): gồm thử nghiệm trên mẫu, phân tích kết quả và biên tập lại các câu chưa tốt theo các thông số kỹ thuật thu được từ việc thử nghiệm
- Giai đoạn sử dụng và cập nhật: các câu hỏi trắc nghiệm khi sử dụng thật sẽ tạo ra các thông số kỹ thuật chính xác hơn so với những thông số kỹ thuật từ việc thử nghiệm; những thông số này cần được lưu lại trong cơ sở “siêu dữ liệu” của ngân hàng.

Có thể thấy, việc viết/ thu thập câu trắc nghiệm để đưa vào ngân hàng câu hỏi là một công việc đòi hỏi rất nhiều thời gian và công sức, và là một vòng lặp liên tục không bao giờ ngưng. Ngoài ra, mặc dù việc viết câu trắc nghiệm và xây dựng ngân hàng đề thi phải theo một quy trình chặt chẽ, khoa học với những số liệu thực nghiệm và các phương pháp phân tích nặng tính kỹ thuật, nhưng về bản chất viết câu trắc nghiệm vẫn là một nghệ thuật đòi hỏi rất nhiều kinh nghiệm và sự cải thiện dần dần.

Những số liệu thực nghiệm và quy trình chặt chẽ của việc viết câu trắc nghiệm chỉ có tác dụng giúp ta ý thức về những nhược điểm còn tồn tại trong các câu hỏi, chứ không phải là công thức thần thánh chỉ cần áp dụng một lần là ta có thể có được những câu hỏi tuyệt hảo, có thể sử dụng mãi mãi.
---
* Item writing for tests and examinations, Graeme Withers, UNESCO IIEP 2005

Ngân hàng câu hỏi (4): Thiết kế xây dựng ngân hàng câu hỏi

Một ngân hàng câu hỏi trắc nghiệm không giống với một nhà kho nơi ta có thể đem đồ đạc vào chất cho đến khi đầy, mà tương tự với một siêu thị nơi hàng hóa được trưng bày theo những nguyên tắc phù hợp để phục vụ cho các đối tượng có liên quan, tức khách hàng và các nhân viên phục vụ và quản lý siêu thị. Vì vậy, việc xây dựng một ngân hàng câu hỏi đòi hỏi phải có một thiết kế kỹ lưỡng để thuận lợi cho việc vận hành về sau.

Theo Millman and Arter (1984, trích lại theo Cohen-Swerdlik 2009, Chap 8*), việc thiết kế một ngân hàng câu hỏi đòi hỏi phải xác định đầy đủ thông tin về những vấn đề sau:

1. Những thông tin liên quan đến câu hỏi
1.1. Thu thập/ phát triển câu hỏi
- Nguồn gốc của các câu hỏi (viết mới hay sử dụng những câu hỏi có sẵn từ nơi khác)
- Loại câu hỏi (những hình thức nào được chấp nhận, câu hỏi đã được định cỡ - calibrated – hay chưa, những thông số kỹ thuật sẽ cần cho từng câu hỏi)
- Kích thước của ngân hàng (tổng số lượng câu, số câu của mỗi loại)
- Việc thử nghiệm câu hỏi (câu hỏi sẽ được thử nghiệm ra sao, tỷ lệ số câu được thử nghiệm, mẫu thí sinh để thực hiện thử nghiệm vv)

1.2. Phân loại câu hỏi
- Cấu trúc hệ thống phân loại (nội dung, mục tiêu, các thông tin khác)
- Những thông số kỹ thuật của từng câu hỏi

1.3. Quản lý ngân hàng câu hỏi
- Phân quyền sử dụng ngân hàng (ai được quyền thêm, xóa, sửa câu hỏi; ai được quyền sử dụng câu hỏi hoặc bài kiểm tra)
- Cập nhật ngân hàng câu hỏi khi có thay đổi
- Xác định và loại trừ những câu trùng lặp
- Tần suất cập nhật các siêu dữ liệu (sau mỗi lần sử dụng hay định kỳ cập nhật)
- Quản lý những câu hỏi ở các định dạng khác ngoài định dạng văn bản (ví dụ: hình ảnh, âm thanh)
- Quản lý nhóm các câu hỏi trong cùng một tập hợp (ví dụ, một đoạn văn bản kèm theo những câu hỏi đọc hiểu dựa trên trích đoạn đó)

2. Những thông tin liên quan đến đề thi
2.1. Tạo đề thi
- Tạo đề tự động hay tạo đề bằng tay
- Các quy luật chọn câu hỏi nếu tạo đề tự động (tần suất sử dụng lại các câu hỏi đã sử dụng, chọn ngẫu nhiên hoàn toàn)
- Quy luật lựa chọn thay thế nếu không có câu hỏi nào đáp ứng những yêu cầu được đưa ra
- Quyền được từ chối những câu hỏi đã chọn tự động
- Quy luật nhận diện những thí sinh đã thi nhiều hơn một lần để tránh gặp lại những câu hỏi cũ
- Những ràng buộc dựa trên thông số kỹ thuật khi lựa chọn câu trắc nghiệm (ví dụ, độ khó, độ phân cách, độ tin cậy, phân phối điểm số)
- Quy luật sắp xếp câu hỏi trong bài thi (hoàn toàn ngẫu nhiên, sắp xếp theo nhóm, theo thứ tự của các thông số kỹ thuật như độ khó, vv)
- Xuất đề thi (in đề thi ra giấy, tạo đề thi trên máy tính, vv)

2.2. Những thông tin liên quan đến việc tổ chức thi, chấm điểm và báo điểm
- Khả năng tổ chức thi trực tuyến (quyền tiếp cận, khả năng tương tác, nguyên tắc tương tác)
- Khả năng chấm khách quan bằng máy (công thức tính điểm, sử dụng điểm trừ, phạt khi đoán sai, cho điểm khi đúng một phần, vv)
- Chấm điểm câu trắc nghiệm tự luận (chấm bằng máy hay do người chấm, thang thứ tự sử dụng để chấm điểm)
- Khả năng báo điểm (đơn vị lưu giữ: điểm từng câu, từng phần hay cả bài; điểm của từng thí sinh, toàn bộ thí sinh trong một đợt thi; thời gian lưu giữ điểm thi)
- Nội dung và định dạng phiếu báo điểm; nơi nhận điểm (thí sinh, nhà trường, hay cả hai)

2.3. Những thông tin liên quan đến dữ liệu ứng đáp sau thi
- Những thông số nào cần thu thập (độ khó, độ phân cách, quy tắc lưu trữ các thông số đã thu thập được)
- Nhóm chuẩn (có sử dụng nhóm chuẩn hay không, nếu có thì sử dụng những thông số nào)

Tất cả những thông tin thiết kế nêu trên (chỉ liên quan đến phần mềm, chưa tính đến cấu hình phần cứng của máy tính) cần phải được xác định chính xác để có thể phát triển (hoặc thu thập) những câu hỏi trong ngân hàng cũng như xây dựng phần mềm phục vụ việc quản lý ngân hàng câu hỏi.
---------
* Psychological testing and assessment: An introduction to tests and measurement (7th ed), McGraw-Hill 2009.

Xây dựng ngân hàng ... (3): Tạo “nhóm chuẩn” và xây dựng “điểm tiêu chuẩn” của bài trắc nghiệm như thế nào?

Một ngân hàng câu hỏi trắc nghiệm chuẩn hóa (standardized) đòi hỏi mỗi câu hỏi trắc nghiệm phải có các thông số cần thiết, ví dụ như độ khó (độ dễ), độ phân cách, và chỉ số B (đã được đề cập trong bài trước). Nhưng làm sao có được những thông số này?

Trong lý thuyết trắc nghiệm cổ điển (CTT), việc “chuẩn hóa” các câu hỏi bắt đầu bằng việc chọn một “nhóm chuẩn”, tức norm group trong tiếng Anh. “Nhóm chuẩn” ở đây được hiểu là nhóm đại diện tiêu biểu cho những thí sinh là đối tượng của bài trắc nghiệm, và kết quả thực hiện (performance) các câu hỏi trắc nghiệm của họ được sử dụng để tính toán các thông số cần thiết cho từng câu hỏi. Kết quả này gọi là “norm”, tức “chuẩn mực” của bài trắc nghiệm (không phải theo nghĩa “tiêu chuẩn” mà mọi người phải phấn đấu làm theo, mà hiểu theo nghĩa xã hội học, tức một hành vi nào đó mà đa số đều làm).

Dưới đây là phần định nghĩa và thảo luận về khái niệm “chuẩn mực” của các tác giả trước đây, được trích lại trong bài của Rodríguez (1997):

Norms are statistics that describe the test performance of a defined group of pupils (Noll, Scannell & Craig, 1979). As Brown (1976) noted, potentially there are a number of possible norm groups for any test. Since a person's relative ranking may vary widely, depending upon the norm group used for comparison, Brown claimed that the composition of the norm group is a crucial factor in the interpretation of norm-referenced scores.

"Chuẩn mực" là những số thống kê nhằm mô tả kết quả thực hiện bài trắc nghiệm của một nhóm người học được xác định trước (Noll, Scannell & Craig 1979). Theo Brown (1976), mỗi bài trắc nghiệm có thể có nhiều nhóm chuẩn tiềm năng. Vì thứ hạng tương đối của mỗi cá nhân đều có mức độ dao động rất lớn, phụ thuộc vào nhóm chuẩn được sử dụng để so sánh, nên Brown cho rằng cấu trúc của nhóm chuẩn là yếu tố then chốt trong việc diễn giải điểm số của các bài “trắc nghiệm chuẩn mực” NRT (hoặc, theo cách gọi của tôi, trắc nghiệm quy chiếu nhóm chuẩn).

Quá trình tạo nhóm chuẩn và xây dựng “norm” cho một bài trắc nghiệm được Rodriguez gọi là “norming”, tạm dịch là “xây dựng chuẩn”. Một số tác giả khác gọi quá trình này là standardization, tức tiêu chuẩn hóa, với cùng nghĩa như “norming” ở trên. Rodriguez giới thiệu quy trình “xây dựng chuẩn” gồm 9 bước do Crocker và Algina đưa ra năm 1986 mà ta có thể tóm tắt thành 4 bước như sau:

1. Xác định tổng thể có liên quan và các số thống kê cần có.
2. Xác định sai số chọn mẫu và ước lượng kích thước mẫu.
3. Thiết lập một quy trình chọn mẫu từ tổng thể, thực hiện việc chọn mẫu và thu thập dữ liệu, sau đó tính toán các giá trị số thống kê của nhóm có liên quan và sai số chuẩn.
4. Xác định loại “điểm tiêu chuẩn” sẽ sử dụng và xây dựng bảng quy đổi từ điểm thô sang “điểm tiêu chuẩn”.

Trong 4 bước vừa nêu, 3 bước đầu hoàn toàn liên quan đến việc chọn mẫu mà bất kỳ cuốn sách dạy thống kê căn bản trong giáo dục hoặc xã hội học đều có đề cập kỹ lưỡng. Riêng bước số 4 có liên quan đến việc xây dựng ngân hàng câu hỏi trắc nghiệm chuẩn hóa (standardized test), và sẽ được thảo luận kỹ hơn trong phần dưới đây.

Trước hết, cần giải thích khái niệm “điểm tiêu chuẩn” (tiếng Anh là standard scores, standardized scores hoặc normative scores). Điểm tiêu chuẩn là một loại điểm quy đổi (derived hoặc converted) dựa trên khái niệm phân bố chuẩn trong thống kê, trong đó mỗi điểm số có thể được diễn giải như một vị trí trên phân bố điểm số và cho phép ta biết được vị trí tương đối của nó khi so sánh với điểm số của những cá nhân khác. Để biểu thị vị trí này, người ta dùng độ lệch chuẩn làm đơn vị tính cho từng điểm số.

Có nhiều loại điểm tiêu chuẩn khác nhau, nhưng tất cả đều quy đổi từ loại điểm tiêu chuẩn gốc gọi là điểm z. Theo Brown (2005:123) z score là số đo trực tiếp khoảng cách từ một điểm số đến điểm trung bình, tính bằng đơn vị độ lệch chuẩn. Điểm z có trung bình bằng 0 và độ lệch chuẩn là 1. Thang điểm này có 3 độ lệch chuẩn ở mỗi bên của điểm trung bình với các giá trị là -3, -2, -1, 0, 1, 2, 3.

Muốn quy đổi từ điểm thô sang điểm tiêu chuẩn đã chọn, trước hết cần phải biết được trung bình và độ lệch chuẩn trong phân bố điểm của nhóm chuẩn (là nhóm đã được xác lập ở trên). Sau đó, áp dụng các công thức quy đổi sang loại điểm tiêu chuẩn đã chọn.
Công thức quy đổi từ điểm thô sang điểm z như sau:

z = (x-M)/s
trong đó x là điểm thô, M là điểm trung bình, và s là độ lệch chuẩn (tính theo điểm số của nhóm chuẩn đã chọn).


(còn tiếp)

Links:
1. http://ericae.net/ft/tamu/Norm.htm
2. http://web.sau.edu/WaterStreetMaryA/NEW%20intro%20to%20tests%20&%20measures%20website_files/norms_and_the_meaning_of_test__s.htm

Xây dựng ngân hàng câu hỏi trắc nghiệm (2): Những thông số cần có trong ngân hàng câu hỏi

Một ngân hàng câu hỏi trắc nghiệm theo nghĩa rộng nhất có thể chỉ đơn thuần là một tập hợp các câu hỏi được lưu giữ và sắp xếp để thuận tiện cho việc sử dụng. Theo nghĩa này, thì một ngân hàng câu hỏi thậm chí có thể là bản cứng (trên giấy), chứ không cần có một cơ sở dữ liệu điện tử. Nhưng ngày nay, với sự hỗ trợ mạnh mẽ của máy tính, để được xem là một ngân hàng câu hỏi thì bắt buộc mỗi câu hỏi này còn phải kèm theo những thông số kỹ thuật nữa. Theo lý thuyết trắc nghiệm cổ điển CTT, những thông số đó gồm có: độ khó, độ phân biệt, và chỉ số B.

1. Độ khó
Thông số cơ bản, cũng là điều tối thiểu một ngân hàng câu hỏi phải có, là độ khó/độ dễ của câu hỏi, tiếng Anh gọi là item facility, ký hiệu là IF (ngày xưa gọi là item difficulty). Độ khó này không phải là phán đoán chủ quan của người ra đề (mặc dù đây cũng là một loại thông tin cần thiết trong ngân hàng, nếu có), mà là một con số có được từ thực tế sử dụng (ngôn ngữ của thống kê là “dữ liệu thực nghiệm” – empirical data), tức kết quả kiểm tra của người học trên từng câu (khoa học trắc nghiệm gọi là “dữ liệu đáp ứng” – response data).

Tính độ khó của một câu hỏi trắc nghiệm vô cùng đơn giản, vì nó chỉ là một bài toán chia: lấy số người làm đúng chia cho tổng số người làm. Giá trị của nó là từ 0 (không có ai làm đúng) đến 1 (tất cả mọi người đều làm đúng), nhưng thông thường hai trường hợp này rất hiếm khi xảy ra. Độ khó lý tưởng của một câu trắc nghiệm thì tùy thuộc vào mục đích của người sử dụng, nhưng thông thường người ta thích dùng những câu từ 0.3 (tương đối khó) đến 0.7 (tương đối dễ). Đôi khi có thể nới rộng phạm vi ra từ 0.2 đến 0.9, nhưng ít khi vượt quá mức này, vì lúc ấy chúng trở nên quá khó hoặc quá dễ, và điều này sẽ ảnh hưởng đến độ phân biệt của câu hỏi trắc nghiệm. (Độ phân biệt là một thông số khác, sẽ được đề cập ở phần sau của entry này).

2. Độ phân biệt
Là một thông số quan trọng khác của câu hỏi trắc nghiệm, và cũng rất đơn giản cả về khái niệm lẫn về tính toán. Tiếng Anh gọi độ phân biệt (có người gọi là độ phân cách) là item discrimination, ký hiệu là ID. Đây là một chỉ số đo khả năng phân biệt giữa người làm giỏi và người làm kém của từng câu trắc nghiệm, được tính bằng trung bình điểm từng câu trắc nghiệm của nhóm giỏi trừ trung bình điểm của nhóm kém.

Giá trị của độ phân biệt dao động từ -1 (tất cả mọi người giỏi đều làm sai, điểm trung bình là 0, trong khi tất cả mọi người kém đều làm đúng, điểm trung bình là 1) đến 1 (tình trạng ngược lại). Độ phân biệt được xem là tốt nếu nó có giá trị từ 0.3 trở lên, và tất nhiên là càng cao thì càng tốt. Tuyệt đối trong đề thi không được có câu có độ phân biệt âm (vậy mà trên thực tế thi cử của VN thì vẫn có đấy các bạn ạ, vì thỉnh thoảng tôi vẫn có cơ hội để phân tích số liệu thi cử mà).

Người ta lấy điểm tổng của một bài thi có nhiều câu để làm căn cứ xác định nhóm giỏi và nhóm kém. Tất cả thí sinh được sắp xếp theo thứ tự điểm tổng, và nhóm giỏi được xác định là 1/3 (tức 33%) số thí sinh có điểm cao nhất, còn nhóm kém là 1/3 có điểm thấp nhất. Tuy nhiên, tùy theo tình hình thực tế, người ta cũng có thể lấy một tỷ lệ thấp hơn 33% nhưng không dưới 25% để có được một giá trị cao hơn cho độ phân biệt của từng câu.

3. Chỉ số B
Độ khó là một thông số cơ bản của câu trắc nghiệm và được dùng cho mọi loại trắc nghiệm, còn độ phân biệt thì chỉ sử dụng cho loại “trắc nghiệm chuẩn mực”. Đây là thuật ngữ do cố GS Dương Thiệu Tống đưa ra, nhưng không rõ nghĩa; tôi đề nghị một cách dịch khác là “trắc nghiệm quy chiếu nhóm chuẩn”, trong đó “nhóm chuẩn”, tức “norm group”, là để chỉ nhóm đại diện tiêu biểu cho các thí sinh là đối tượng kiểm tra của bài trắc nghiệm. Đáp ứng của nhóm chuẩn trên bài trắc nghiệm sẽ được sử dụng để tính các thông số cần thiết của câu trắc nghiệm theo các nguyên tắc thống kê. Loại trắc nghiệm này – tiếng Anh là norm-referenced test – được dùng để so sánh các thí sinh với nhau, ví dụ như trong kỳ thi tuyển sinh đại học, cần biết ai giỏi hơn ai để ra quyết định lựa chọn người học trong trường hợp không có đủ chỗ cho mọi thí sinh.

Trong giáo dục còn một loại test khác ngày càng được xem là quan trọng, đó là criterion-referenced test mà cố GS DTT gọi là “trắc nghiêm tiêu chí” (mà tôi đề nghị dịch là trắc nghiệm quy chiếu tiêu chí, trong đó tiêu chí là một căn cứ khách quan bên ngoài để quy chiếu những đáp ứng của thí sinh trên bài kiểm tra). Đối với loại trắc nghiệm này thì độ phân biệt không có ý nghĩa, vì nếu nội dung kiểm tra là quan trọng (ví dụ trong tiếng Anh cần phải dạy cho học sinh biết cách dùng mạo từ), thì nếu mọi thí sinh làm không được (tức độ khó là 0), câu hỏi đó vẫn có ý nghĩa và vẫn phải sử dụng. Trong trường hợp này, để đánh giá giá trị của câu trắc nghiệm, người ta dùng chỉ số B.

Ký hiệu B trong tên gọi chỉ số B là từ viết tắt của tên người đặt ra nó vào năm 1972 là Brennan. B-index được tính toán giống như người ta tính ID, nhưng thay vì so sánh giữa nhóm giỏi và nhóm kém dựa trên kết quả tổng điểm trên cùng một bài thi, thì người ta so sánh giữa nhóm đậu và nhóm rớt trên bài thi đó, dựa trên mức điểm sàn. Ví dụ, một bài thi được quy ước là phải đạt 70% số câu đúng mới được xem là đat, thì mọi thí sinh đạt từ 70/100 điểm trở lên sẽ thuộc nhóm đậu, còn dưới 70 điểm sẽ thuộc nhóm rớt. Chỉ số B-index có giá trị 0.5 chẳng hạn, sẽ được hiểu là số thí sinh thuộc nhóm đậu làm đúng câu này cao hơn số thí sinh thuộc nhóm rớt là 50%. Câu có B-index càng cao thì càng có khả năng phân biệt được thí sinh “thành thạo” và “không thành thạo”.

Tài liệu tham khảo
http://www.grin.com/en/doc/269580/using-the-right-tool-for-the-job-an-analysis-of-item-selection-statistics

The B- Index
The B-index was developed by Brennan (1972) and is based on the concept of discriminating between upper and lower groups in norm-referenced testing. These upper and lower groups are typically defined as the upper and lower twenty-seven percent. Brennan developed an application of discrimination that was appropriate for mastery tests. In a mastery-test context, upper and lower groups are defined by whether or not they are classified as masters. Therefore, B is the difference in the difficulty of the item for the mastery and non-mastery groups. For example, a B value of 0.50 would be interpreted as the proportion correct is .50 higher in the mastery than in the non-mastery group. Larger B values can be interpreted as greater discrimination between mastery and non-mastery groups for that specific item.

(còn tiếp)

Xây dựng ngân hàng câu hỏi trắc nghiệm (1): Những điều cần biết

Lẽ ra tôi phải viết bài về thị trường và nhà nước trong giáo dục đại học, nhưng do yêu cầu của công việc tại cơ quan nơi tôi làm việc hiện nay, nên tôi tạm đổi sang chủ đề mới này – xây dựng ngân hàng câu hỏi trắc nghiệm. Mục đích của tôi là chia sẻ kiến thức đến mọi người (như mục đích của trang blog này), đồng thời ghi và lưu lại những ý tưởng tản mạn của tôi liên quan đến việc xây dựng một ngân hàng câu hỏi trắc nghiệm cho ngôi trường mà tôi đang công tác hiện nay (sau khi rời khỏi VNU-HCM, that is).
---------
Ngân hàng câu hỏi (item bank)

Rất nhiều trường đại học tự nhận là mình có một ngân hàng câu hỏi để sử dụng cho các kỳ thi, nhưng không phải ai cũng hiểu rõ ngân hàng câu hỏi có nghĩa là gì. Điều này cũng dễ hiểu, vì đã có nhiều định nghĩa khác nhau về ngân hàng câu hỏi, phản ảnh sự phát triển của khoa học trắc nghiệm. Ví dụ, có thể xem xét hai định nghĩa dưới đây:

collection of text items that may be easily accessed for use in preparing exams (Ward & Murray-Ward 1994).
tập hợp những câu hỏi dưới dạng văn bản có thể dễ dàng truy cập để sử dụng khi xây dựng đề thi.

collection of text items that may be easily accessed for use in preparing exams … normally computerized for ease of item storage and to facilitate generation of new tests. Each item is coded according to competency area and instructional objective, as well as empirically derived data such as measure of item difficulty and discrimination. (McCallon & Schumacker 2002)
tập hợp những câu hỏi dưới dạng văn bản có thể dễ dàng truy cập để sử dụng khi xây dựng đề thi … thường được tin học hóa để dễ dàng lưu giữ và thuận tiện khi tạo ra các đề thi mới. Mỗi câu hỏi được mã hóa theo từng lãnh vực nội dung và mục tiêu giảng dạy, cũng như những dữ liệu được thu thập qua thực nghiệm như những số đo về độ khó và độ phân cách của từng câu hỏi.

Có thể thấy, những định nghĩa về ngân hàng câu hỏi được đưa ra trước thập niên 1990 của thế kỷ trước, khi máy tính chưa trở nên phổ biến, thì một ngân hàng câu hỏi được hiểu một cách khá đơn giản để chỉ một tập hợp các câu hỏi có sẵn, được sắp xếp theo một cách phân loại nào đó, được sử dụng mỗi khi làm đề thi để tiết kiệm thời gian và tránh sai sót. Tại VN hiện nay vẫn còn nhiều nơi hiểu và làm theo định nghĩa này.

Tuy nhiên, nếu chỉ có một “ngân hàng câu hỏi” theo như định nghĩa đầu tiên sẽ có giá trị hết sức hạn chế, và không đóng góp nhiều cho việc đánh giá đúng năng lực người học. Từ khi máy tính trở nên quá phổ biến trong mọi lãnh vực của đời sống thì một ngân hàng câu hỏi phải được hiểu như một cơ sở dữ liệu được quản lý trên máy tính, bao gồm (1) một tập hợp các câu hỏi với các thông tin cần thiết của từng câu hỏi, và (2) một phần mềm giúp lưu trữ, bổ sung, sửa đổi các câu hỏi, và tạo đề thi từ dựa trên những câu hỏi trong ngân hàng theo những yêu cầu định sẵn.

Các phần mềm này hiện nay hoàn toàn có thể thực hiện được tại VN, và trên thực tế đã có nhiều phần mềm quản lý ngân hàng câu hỏi trên thị trường với những mức giá khác nhau.

Cần chú ý rằng đối với một ngân hàng câu hỏi chuẩn hóa thì dữ liệu trong ngân hàng không chỉ là các câu hỏi với những thông tin phân loại theo nội dung và mục tiêu giảng dạy, mà còn là những thông số kỹ thuật tức những số liệu ứng đáp (response data) thực nghiệm của từng câu hỏi trên đối tượng thực, gọi là siêu dữ liệu (metadata). Ít nhất, mỗi câu hỏi cần có hai thông số cơ bản từ việc phân tích câu trắc nghiệm theo phương pháp cổ điển, đó là độ khó (hoặc đúng hơn là độ dễ - facility index) và độ phân cách của từng câu. Công thức tính các thông số này khá đơn giản và có thể dễ dàng tính được trên một bảng tính (spreadsheet) của Excel.

Hiện nay, có rất các phần mềm chuyên dụng để phân tích câu hỏi trắc nghiệm với những khả năng phân tích khá phức tạp, trong đó có cả một số phần mềm do Việt Nam phát triển. Nhiều phần mềm trắc nghiệm chuyên nghiệp của nước ngoài thậm chí đã tích hợp cả khả năng lưu trữ và quản lý ngân hàng câu hỏi với khả năng phân tích dữ liệu ứng đáp của từng câu trắc nghiệm (2 trong 1). Đa số các phần mềm của VN chưa làm được điều này, mà chủ yếu chỉ tập trung vào phần mềm quản lý câu hỏi trắc nghiệm. Phần phân tích sau khi thi thường phải thực hiện độc lập rồi sau đó các thông số kỹ thuật mới được nhập vào trong ngân hàng.

---
Tài liệu tham khảo
Sclatter, N. and M. MacDonald (2004). "Putting interoperability to the test: building a large reusable item bank". In Research in Learning Technology, vol 12, number 3, 2004 (pp. 205-213) - URL: http://repository.alt.ac.uk/607/