Итоги конкурса
авторов тестовых заданий
к олимпиаде “Телетестинг”

В этом году по инициативе газеты “Первое сентября” впервые состоялся Всероссийский конкурс авторов тестовых заданий. Подробная информация об условиях этого конкурса, требованиях к оформлению заявок и самих конкурсных вариантов была опубликована как в самой газете “Первое сентября”(см. № 113 от 21.11.98, № 119 от 05.12.98 и № 3 от 16.01.99), так и в ее предметных приложениях (см. 41-е ноябрьские номера приложений “Информатика”, “Математика”, “Физика”, “История”, “Русский язык”, “Литература”, “Биология”, “Химия” и “География”). В этой публикации мы приводим результаты конкурса и описываем методику, по которой эти результаты были получены.

Победители конкурса

Итак, 3 июня 1999 года в Министерстве образования РФ состоялось итоговое заседания жюри конкурса. В него вошли известные специалисты в области образовательного тестирования, руководители специализированных московских научных лабораторий и научно-практических центров тестирования, члены научно-методического семинара и координационного совета по тестированию при Министерстве образования РФ: И.С.Ковалева (РАО РФ), В.В.Масленников (МИФИ), А.О.Татур (МИПКРО), В.А.Хлебников (МПГУ), М.Б.Челышкова (ИЦПОКО), А.Г.Шмелев (МГУ). Практически со всеми этими специалистами читателей “Первого сентября” уже знакомили в рамках опубликованного нами “круглого стола” по проблемам тестирования, который газета проводила в январе 1999 года (“ПС” № 3 от 16 января 1999 г.).

Согласно протоколу, подписанному указанными членами жюри, победителями конкурса признаны:

Указанные победители награждаются денежными премиями из фонда газеты “Первое сентября” (фонда олимпиады “Телетестинг”):

за 1-е место – 3 тысячи рублей,
за 2-е и 3-е места – по 1 тысяче рублей.

Мы также рассчитываем на награждение победителей особыми грамотами за подписью ответственных представителей Министерства образования России.

Ниже читатель может познакомиться с кратким описанием условий конкурса, сведениями об участниках и с методикой подведения итогов.

Условия конкурса (краткое изложение)

Авторы готовили от 40 до 60 заданий по предмету, стараясь обеспечить разнообразие тем (из заданного перечня) и уровней трудности (три уровня трудности), а также возможность быстрого ответа (в среднем до одной минуты). Задания предполагали четыре варианта ответа. Подробные условия конкурса и правила оформления конкурсных материалов изложены в предметных приложениях к газете “Первое сентября”, опубликованных в сентября – ноябре 1998 года.

Количество участников

До 15 января 1999 года было прислано 212 пакетов с предложениями по девяти предметам. То есть в конкурсе приняли участие 212 индивидуальных авторов и авторских коллективов, в среднем более 20 участников по каждому предмету. Отдельные конкурсы по литературе и обществоведению не состоялись, так как по этим предметам было прислано менее восьми вариантов. Авторы представляли 127 городов и населенных пунктов Российской Федерации. Количество допущенных участников по отдельным предметам (ряд участников были отстранены, так как не выполнили формальные требования к конкурсным материалам): биология – 37, математика – 33, физика – 22, география – 20, химия – 19, информатика – 18, русский язык и литература – 17, история России – 15. Подробная информация о результатах каждого участника будет опубликована в соответствующих предметных приложениях к газете “Первое сентября”.

Первый этап отбора: экспертная оценка

Первым этапом отбора явилась экспертная оценка. В ней приняли участие 18 экспертов (по два на каждый предмет) – это опытные авторы (сотрудники МГУ и корреспонденты “Первого сентября”), уже работавшие до этого два года по составлению тестовых заданий для олимпиады “Телетестинг”. В компьютерный апробационный банк тестовых заданий, которые затем предъявлялись на олимпиаде “Телетестинг-99”, включались лишь те задания, которые были признаны двумя экспертами пригодными для использования в олимпиаде. Эксперты руководствовались на первом этапе следующими экспертными критериями:

• корректность (наличие единственного правильного ответа);
• соответствие стандартам (приближенно, кроме заданий третьего уровня трудности);
• оригинальность;
• ясность;
• скорость ответа;
• наличие правдоподобных дистракторов (ложных, отвлекающих ответов);
• наличие разумного уровня трудности (не слишком трудные и не слишком легкие).

Следует отметить, что эксперты выявили в целом низкое качество тестовых заданий, представленных на конкурс. Многие участники, увы, пока явно оказались новичками в этом деле.

В результате отбора заданий по каждому предмету удалось получить от 300 до 500 тестовых заданий, включенных в банк олимпиады “Телетестинг-99” наряду с заданиями прошлых лет, прошедшими полный цикл апробации и способными выполнить функцию “ядерного подмножества”, обеспечивающего надежную и валидную оценку знаний участников олимпиады.

Второй этап отбора тестовых заданий

В олимпиаде приняло участие свыше 5500 человек из 58 городов РФ, которые выполнили в общей сложности около 1100 предметных тестов. Поскольку по каждому предмету в течение сеанса (40 минут) предъявлялось от 50 до 70 заданий, то в среднем на каждое задание ответили 170 человек. По собранной базе данных для каждого задания и каждого автора рассчитывались следующие индексы:

а) коэффициент дискриминативности;
б) индекс трудности;
в) количество тем, по которым данному автору удалось составить удачные задания;
г) среднее время, затрачиваемое участниками на авторские задания.

Коэффициент дискриминативности (внутренней валидности) рассчитывался в данном случае как четырехклеточный фи-коэффициент корреляции между двумя бинарными переменными – “правильность ответа * попадание в высокую или низкую группу по тесту”. В крайние группы (“высокая” и “низкая”) включались испытуемые, показавшие процентильный балл соответственно выше 70 и ниже 30 (то есть тридцать процентов сверху и снизу распределения тестовых баллов). Для всех пунктов было установлено пороговое значение фи-коэффициента, равное 0.2 (значимое на уровне не ниже p<0.05 при любой реально встречавшейся численности выборки испытуемых, которым предъявлялось данное задание). У авторов засчитывались только те задания, которые давали значимое положительное значение этого коэффициента дискриминативности, то есть задания, которые реально работали на различение успешных и неуспешных (подготовленных и неподготовленных) участников.

Индекс трудности просто отражал процент испытуемых, сумевших дать правильный ответ на данное задание (из числа тех, кому это задание предъявлялось). В число удачных автору засчитывались задания, на которые испытуемые давали не менее 25% (не ниже теоретического порога случайного угадывания) и не более 85% правильных ответов, то есть слишком легкие и слишком трудные задания отбрасывались.

Индекс успешности пакета заданий

Для простоты понимания механики подведения итогов конкурса всеми его участниками жюри воспользовалось упрощенным подходом к формированию индекса успешности. Смысл этого коэффициента сводится к тому, что он учитывает отношение количества удачных заданий (соответствующих экспертным критериям, а также статистическим данным о трудности и дискриминативности) к общему числу заданий, разрешенному в пакете. Поскольку условиями конкурса разрешалось присылать варианты, включающие до 60 заданий, то в абсолютном большинстве случаев в знаменателе этого коэффициента стояло одинаковое число 60 (при этом предполагается, что те участники, которые прислали менее 60 заданий, просто не использовали всех возможностей по представлению широкого и разнообразного пакета заданий). Но были и такие участники, которые присылали больше 60 заданий, и при этом их задания оказывались весьма эффективными. Жюри посчитало неправильным дисквалифицировать таких участников, просто в знаменателе в данном случае устанавливается число реально предоставленных ими заданий. Например, у одного из участников по физике было выявлено более всего удачных заданий (29), но он прислал не 60, а 132 задания в своем пакете. В результате этот участник занял только 4-е место (по относительному выходу годных). В то же время победитель по истории прислал даже 180 заданий, но 80 из них оказались годными (!), то есть он выступил эффективнее всех других участников – он как бы прислал 3 варианта по 60 заданий, в каждом из которых было порядка 27 годных (больше, чем в каждом из вариантов, представленных другими участниками).

Для уточнения позиции реальных претендентов на место в призовой тройке А.Г.Шмелевым и А.О.Татуром был разработан (утвержденный затем всеми членами жюри) уточненный формализованный индекс удачности присланных конкурсных пакетов тестовых заданий в виде следующей формулы:

Индекс = 1 + A2/A1 + 0.05*(B2/B1-ABS(C-T)/T),

• где    А1 – число заданий, присланных автором на конкурс,
  при значениях A1<60 принималось значение А1=60;
• A2 – число заданий, признанных удачными: прошедшими первичную экспертную оценку, а также показавшими в олимпиаде “Телетестинг-99” оптимальную трудность (в пределах от 25 до 85 процентов правильных ответов) и значимый коэффициент дискриминативности (>0.2);
• B1 – число тем, предусмотренных для данного предмета по инструкции для авторов;
• B2 – число тем, по которым данному автору удалось составить удачные тестовые задания;
• C – среднее время (в сек.), затраченное участниками на решение тестовых заданий данного автора;
• T – оптимальное время (с учетом числа заданий и длительности сеанса) на одно тестовое задание.

Именно в соответствии с указанным индексом жюри конкурса и объявило по каждому из восьми предметов указанных выше победителей.

Ваше мнение

Мы будем благодарны, если Вы найдете время высказать свое мнение о данной статье, свое впечатление от нее. Спасибо.

"Первое сентября"