Квизы и экзамены

Квизы и экзамены

Решил сформулировать тут свои некие правила проведения срезов, экзаменов и вообще любых проверок с вариантами ответа.

Правило 1: тест должен составляться так, что если ты прослушал все (или большинство) лекций хотя бы по одному разу, то тест либо экзамен ты должен сдавать на 90%, не задумываясь (не особо напрягая мозг и память).

Пример плохого вопроса, не соответствующего этому правилу (предположим, речь идет о курсе по основам HTTP-протокола):

1. Какое назначение у статус-кода 425:
A. URI Too Long  
B. Unprocessable Entity  
C. Too Early

(Правильный ответ - C) Что здесь плохого? То, что ни один студент не должен тратить свое время на заучивания назначений всех кодов HTTP. Достаточно запомнить их группы и 5-10 самых общеупотребительных.

Правильный вопрос выглядел бы как-то так, и на него ответит любой, кто хотя бы одним ухом слушал лекцию или работал с HTTP-кодами:

1. Для чего используются статус-коды группы 3xx?
A. Ошибка клиента
B. Ошибка сервера
C. Перенаправление

Правило 2: если соблюдается правило 1, то в тесте с вариантами ответа правильный вариант должен быть абсолютно очевиден (не должно быть ощущения "спорный момент").

2. Чем является JSON?
A. Текстовый формат обмена данных  
B. Формат представления данных при передаче по HTTP  
C. Формат конфигурационных файлов  

Академическое определение, которое я скопипастил из вики - вариант А. Но чувствуете минуту замешательства при взгляде на ответы? Я - да, т.к. JSON можно описать и как формат обмена данных, и как формат представления данных и как формат конфигов (почему нет?). Таких вопросов быть не должно. Вопрос должен быть абсолютно очевиден для человека, хоть раз видевшего издали JSON в лекции или вживую.

Правильный вариант этого вопроса выглядел бы так:

2. Чем является JSON?  
A. Текстовый формат обмена данных  
B. Язык программирования  
C. Регистр процессора  

Еще один пример плохого вопроса:

3. Кто является автором цитаты "FORTRAN — это не цветок, а сорняк: он вынослив, иногда расцветает и произрастает в каждом компьютере" ?
A. Alan J. Perlis.  
B. Thomas C. Gale  
C. Alan Kay  

Что тут плохого? А то, что ни один студент и ни один нормальный здравомыслящий человек, ценящий свое время, не обязан помнить абсолютно ничьи точные слова и цитаты, как бы известны они не были. Правила, факты - да. Но не цитаты и не 100% точные формулировки.

Правило 3: если предоставленный ответ отвечает на открытый вопрос, но не совпадает с образцом - это корректный ответ. При сомнениях можно запросить уточнения, но не следует ожидать даже 50% точного воспроизведения образцового ответа или определения из учебника.

Вспоминаю свой устный экзамен по физике на 2 курсе, когда в заключительном вопросе меня попросили сформулировать определение какого-то физического понятия. Я это сделал, а затем повторил еще раз, сформулировал другими понятиями, показав на примере, как это можно вывести от базовых аксиом. Мои определения были достаточно корректными, однако в голове экзаменатора было другое определение и именно его он ждал. Возвращаясь к нашему примеру с JSON, преподаватель ждал ответ "Текстовый формат обмена данных", а получил: "Формат представления данных в формате ключ-значение".
Является ли это достаточно корректным ответом? Абсолютно, особенно если уточнить.

Этим личным правилам я стараюсь и буду следовать всякий раз, когда мне выпадает оказия каким-либо способом передавать или проверять знания.