И для сильных, и для слабых такие тесты – крайне грубый измерительный инструмент

С просьбой прокоментировать результаты прошедшего
эксперимента мы обратились к Владимиру Хлебникову, директору Центра тестирования при Министерстве образования, ответственному за организацию и технологию проведения ЕГЭ.

Все успели, но какой ценой

– Во всех пилотных регионах с гордостью говорят о том, что жалоб и нареканий по поводу организации эксперимента не было. Как удалось этого добиться, невзирая на сжатые сроки подготовки?
– В этом году условия и схема проведения эксперимента оказались крайне неблагоприятными. Только в середине апреля министр образования подписал приказ, поручающий Центру тестирования принять участие в эксперименте по ЕГЭ. О финансировании говорить не приходилось. За оставшиеся полтора месяца нужно было разработать массу инструкций, нормативных документов, правил, растиражировать бланки ответов и пропуска, съездить во все пилотные регионы и провести инструктаж организаторов.
Как ни странно, все успели. Даже самарцы, которые подключились позже всех, не подкачали. Но чего это стоило и какой ценой все это далось, говорить не приходится.
В каждом населенном пункте была предусмотрена своя резервная школа (на случай, если заминируют базовую), обеспечена охрана порядка, открыт пункт медицинской помощи, продумана доставка детей к месту сдачи экзамена. Было открыто большое количество базовых школ, что отчасти решило транспортные проблемы.
Детей заранее ознакомили с правилами сдачи ЕГЭ, проинструктировали по поводу заполнения бланков.

Невзирая на запрет

– На первом этапе подготовки к эксперименту предполагалось, что экзамены должны проходить на нейтральной территории, в присутствии независимых наблюдателей. На практике эксперимент проходил в базовых школах, вузах, а в иных пилотных регионах журналистов и даже представителей вашего центра вообще не пустили на порог. Что там творилось за закрытыми дверями – вот уж действительно “большой секрет для маленькой компании”.
– Для наблюдения за ЕГЭ Минобразования и Центр тестирования выделяли своих инспекторов. Естественно, они могли побывать лишь в отдельных базовых школах и увидеть только надводную часть айсберга. Очевидно, что их приводили туда, где все было безупречно, то есть устраивали потемкинские деревни.
В некоторые улусы Якутии, находящиеся в приполярной зоне, наблюдатели физически не могли попасть из-за того, что вертолеты туда летают раз в неделю.
В силу территориальной распыленности в некоторых базовых школах Якутии тестировался... один человек. Будем надеяться на честность организаторов.
Все розовые бланки с ответами на вопросы “А” и “Б” доставлялись в Москву на спецмашинах и здесь обрабатывались. В Якутии смогли отсканировать бланки на местах и отправить материалы в Москву и Якутск.
Одним из самых “тонких” мест эксперимента была проверка письменной части “С”, которая осуществлялась в областных центрах. Во избежание злоупотреблений каждая работа проверялась не менее чем двумя экспертами. При большом расхождении оценок назначался третий специалист. Эти результаты также отправлялись в Москву по каналам Интернета.
Что же касается инцидента в Чувашии, в которой были поданы сотни апелляций на результаты ЕГЭ по математике, то здесь ситуация оказалась непредсказуемой: при проверке эксперты выставили много одинаковых оценок. И компьютер автоматически их отбросил.
Невзирая на запрет программы, мы подсоединили оценки за часть “С” к результатам, выставленным за розовые бланки. В итоге процент отличников по математике в Чувашии вырос с 2 до 6 процентов.

Достоверность результатов под сомнением

– Эксперимент еще раз доказал несовершенство и условность пятибалльной шкалы оценок. Можем ли мы судить об уровне подготовки наших выпускников по имеющимся данным?
– В этом году для одного и того же теста, предмета, ученика были введены две независимые системы шкалирования: 5-балльная и 100-балльная. Методика 100-балльного шкалирования считается более научной, поскольку, в отличие от пятибалльной, учитывает не только количество выполненных заданий, но также их сложность.
Поскольку было принято политическое решение прошкалировать результаты ЕГЭ с учетом среднестатистических данных по России, то считать сложившуюся картину достоверной и показательной по большому счету нельзя.
Кроме того, в пилотных регионах нашлись несколько человек, которые выполнили тесты по математике на 99–100%. По идее таких результатов быть не должно: это свидетельствует либо о неграмотно составленных задачах, либо о нарушении секретности. Дай Бог, если среди ответивших на “все сто” оказались действительно одаренные ребята.
Сегодня мы можем реально сравнить уровень подготовленности Чувашии и Марий Эл по математике (по стобалльной шкале), поскольку и в том и в другом регионе по этому предмету был проведен эксперимент с тотальным участием школьников.
Сравнить уровень подготовки, например, по физике учащихся из Якутии и Самарской области невозможно, потому что там проходил выборочный эксперимент.
Достоверность измерений результатов ЕГЭ зависит не только от масштабов эксперимента, но и от качества тестов, от методики шкалирования.
Необходимо также иметь представления о том, насколько реальные знания ученика отличаются от так называемого эталонного теста. В этом году такого теста не было. Для его разработки потребуется не менее двух лет.

– Что еще должно поменяться в ближайшем будущем для того, чтобы ЕГЭ отражали реальную картину знаний?
– На мой взгляд, тест должен быть разделен на две части – обязательную аттестационную, которая содержит только задания типа “А” и “Б”, и вузовский тест с более сложными заданиями “А”, “Б” и “С”.
Нужно разработать такие формы заданий, которые бы позволили человеку раскрыть свои способности.
Гистограммы, составленные по результатам ЕГЭ, свидетельствуют о том, что количество “средних” у нас резко превышает число “слабых” и “сильных”.
Целесообразно составлять особые тесты для каждой из названных категорий.
Давать слишком легкие вопросы способному ученику или слишком сложные – отстающему не имеет смысла.
В этом году была сделана попытка все смешать: 13 заданий типа “А”, 7 заданий типа “Б”, 3 задания типа “С”. Что здесь можно измерить, какая здесь может быть надежность и точность? И для сильных, и для слабых такие тесты – крайне грубый измерительный инструмент.

Добровольность опасна?

– Как вы оцениваете прошедший эксперимент и как вам видятся его перспективы?
– Для меня так и осталось загадкой, почему те руководители органов управления образованием, которые, еще ничего не зная о ЕГЭ, о технологиях и процедурах его проведения, о КИМах, уже в ноябре прошлого года дали согласие на участие в эксперименте. Непонятно, какую гипотезу стремилось проверить Минобразования в ходе эксперимента?
Я не понимаю смысла экзамена, предполагающего добровольное участие выпускников. Эксперимент предполагает тотальное участие, иначе его результаты непоказательны. В Самаре разрешат школьникам – участникам эксперимента участвовать в традиционных экзаменах. Зачем же превращать серьезное дело в проходной двор, в аттракцион? Форму итоговой аттестации должно определять Минобразования своим приказом.
Вузы нужно убедить в том, что к ним с высокими баллами придут неслучайные люди. При нынешнем уровне тестов убедить их в этом будет трудно.
Вузы рано или поздно отвоюют себе право проводить дополнительные туры испытаний.

– Не опасаетесь ли вы, что единые экзамены, постепенно захватывая все новые и новые территории России – по доброй ли воле, или по приказу сверху, – вытеснят в конце концов централизованное тестирование?
– Наоборот, я глубоко убежден, что единые экзамены просто не выживут без централизованного тестирования. Безупречные контрольно-измерительные материалы по ЕГЭ появятся не ранее чем через 2–3 года при условии их массовой апробации.
Для разработки эталонных тестов, о которых я уже говорил, в экзаменационные задания, помимо обычных, можно было бы вставлять экспериментальные, не подлежащие проверке. Сделать это в условиях ЕГЭ нереально: представьте себе, каким будет взрыв родительского возмущения, когда обнаружится, что несколько заданий никак не оценены.
Отсюда вывод: для разработки тестовых заданий по ЕГЭ необходимо использовать ту базу данных, которая уже применялась ранее на аналогичных мероприятиях, то есть на централизованном тестировании.
Централизованное тестирование в будущем может стать полигоном для школьников, организаторов, педагогов. Если бы его не было, его следовало бы придумать.
Кроме того, централизованное тестирование может служить своеобразным барометром ЕГЭ.
С одной стороны, с помощью результатов апрельского централизованного тестирования можно будет прогнозировать степень подготовленности к ЕГЭ. С другой – подтвердить или опровергнуть достоверность оценок, полученных за ЕГЭ. Ведь одноразовая акция опасна тем, что можно подтасовать результаты.

– Чем вы объясняете задержку финансирования из центра?
– Объявление о конкурсе на закупку программно-технических средств по обеспечению ЕГЭ было опубликовано 23 апреля в газете “Коммерческие торги”. Прием заявок продолжался в течение 45 дней и был продлен еще на неделю по просьбе участников торгов – до 15 июня, то есть под конец первого этапа эксперимента. С победителями тендера будет заключен контракт на поставку оборудования в пилотные регионы. Компьютеры, сканеры и другая техника реально поступят в места назначения в конце августа – сентябре. В это время придет пора объявлять конкурс на оборудование на следующий год.
Особенность нашей работы состоит в том, что приходится принимать решения в условиях неопределенности: сколько будет пилотных регионов, в каком масштабе будет проводиться эксперимент-2002, мы должны знать не позднее ноября нынешнего года. Тогда подготовка к эксперименту пройдет организованно, и финансирование поступит своевременно, и в ходе самих экзаменов будет меньше “сюрпризов”.

Ваше мнение

Мы будем благодарны, если Вы найдете время высказать свое мнение о данной статье, свое впечатление от нее. Спасибо.

"Первое сентября"