Основные составляющие теста — это вопросы и дистракторы (варианты ответов). Если они непонятны пользователю или сами дают ему подсказки, это повлияет на образовательные результаты. Хуже того — снизит качество теста.

Мы собрали несколько рекомендаций, чтобы вы этого избежали.

Длинный текст вопроса путает и пугает пользователя. Вопрос кажется сложным, особенно если в нём много подчинительных связей. По возможности сокращайте.

Любая информация, которая не относится к сути вопроса — лишняя. Исключение: если вы проверяете умение пользователя находить суть в сложных документах — например, договоре или законопроекте.

Вопросы, сформулированные через «не», превращают тест в игру на внимательность. Чаще всего их можно переделать или использовать другой тип вопроса — об этом дальше.

Бывает так, что вопрос сам наводит на правильный вариант ответа или сформулирован слишком очевидно. Это плохой вопрос, потому что проверяет внимательность вместо знаний.

Пользователю будет проще представить ситуацию, чем абстракцию — это поможет понять и воспринять вопрос. Можно описать одну ситуацию и создать внутри неё серию вопросов, чтобы погрузить в контекст.

Сделайте варианты ответов примерно одной длины, равновероятными по содержанию и работающими именно на знания, а не на хитрость или догадливость. Выделяющийся ответ сразу привлечёт внимание.

Если правильный ответ — это идеальный компромисс, или он звучит «научнее», или единственный грамматически сочетается с вопросом, его сразу раскусят.

Неправильные ответы не должны быть шуточными или очевидно неверными. В сложных темах такие трюки сразу видно, и они раздражают.

В рамках этого курса мы можем рассказать только базовые правила тестов: как их формулировать и не навредить обучению.

Работа с данными, проверка валидности и достоверности, выборка и сложные диагностические модели внутри тестирования — темы для отдельного курса, который мы когда-нибудь обязательно сделаем.