Александр Шмелев: “Авторы в целом удачно составили тесты...”

Интервью с членом рабочей группы
при Министерстве образования по обеспечению ЕГЭ

– Хотелось бы знать ваше мнение о едином экзамене, теперь уже состоявшемся. Что показали оценки?

– В едином экзамене, в котором применяется измерительный тестовый подход, традиционные школьные отметки – «пять», «четыре» и т.п. – вторичная вещь, они зависят от тестовых баллов. Баллы отражают количество решенных заданий с учетом их трудности. Например, каждый экзаменуемый по русскому мог получить балл от 0 до 49. Всего было 24 задания. За трудные открытые вопросы давалось сразу несколько очков. Так вот, оценка «два» выставлялась тем, кто набрал меньше 14 очков, «три» – тем, кто показал от 14 до 27 очков, оценка «четыре» – от 28 до 38, оценка «пять» – свыше 38. Таким образом, частота встречаемости разных баллов является более информативным результатом при использовании метода тестов, чем процент выставленных оценок, так как при определении указанных выше границ комиссия руководствовалась сложившимися многолетними представлениями о процентах двоечников, троечников и т.п. В силу этого граница между двойкой и тройкой задавалась таким образом, чтобы двоечников было не более 10 процентов по каждому предмету.
Таким образом, анализ частоты встречаемости разных баллов в проведенных экзаменах показал, пожалуй, три факта:
1. В ходе единого экзамена выявлен гораздо больший разброс в уровне подготовки между сильными и слабыми учащимися, чем в ходе любых других испытаний аналогичного типа (с использованием метода тестов).
2. В точных и естественных науках указанный разрыв оказался еще сильнее, чем в гуманитарных.
3. Различия между регионами есть, но они не образуют пропасти.
Более высокий разброс баллов в ЕГЭ неудивителен. Ведь раньше в централизованном тестировании принимали участие только уверенные в своих силах добровольцы, планирующие поступать в вузы, а тут впервые имел место полный охват всех выпускников, включая тех, кому тройки выставляются каждый год весьма условно – с изрядной натяжкой. И различие между предметами тоже объяснимо. Например, по русскому нижняя граница тройки оказалась в районе 29 процентов, а по математике опустилась до 17 процентов от максимального балла, принятого за сто процентов. Некоторые, возможно, будут утверждать, что это происходит из-за различий между тестами по разным предметам. Но ведь достижения средних учеников оказались по разным предметам близкими – в районе 50 процентов от максимальной суммы очков (к чему, кстати, и стремились разработчики тестов), так что по трудности тесты на самом деле примерно равны. С моей точки зрения, более содержательное и интересное объяснение состоит в том, что программные требования по гуманитарным предметам в большей мере сориентированы на общекультурный стандарт (социальную норму), в то время как требования по естественно-научным дисциплинам в большей мере сориентированы на профессиональную специализацию: те, кто готовится применять естественно-научные знания в своей будущей работе, этим требованиям удовлетворяют, но остальные отстают очень далеко. Таким образом, измерительный подход дает обществу ценную обратную связь о том, что собой на самом деле представляют школьные программные требования, где пролегает разумная граница между обязательным минимумом и профилирующим содержанием. Я вообще-то предлагал уже в этом году ставить по ЕГЭ два разных балла по двум разным субтестам. В этом случае какой-нибудь медалист из гуманитарного класса мог получить по математике пятерку (например, 90 баллов) по базовому субтесту (по минимуму содержания) и только тройку (например, 40 баллов) по конкурсному субтесту (для профильных вузов).
Тем самым, несмотря на относительно незначительную статистику и ограниченное число регионов в 2001 году, уже сейчас единый экзамен дает определенную пищу для ума педагогам и особенно методистам.

– Есть ли разница между оценками в Чувашии и в остальных регионах?

– Да, больше всего было организовано экзаменов в Чувашии. Но и в Чувашии ряд экзаменов можно было выполнять в традиционной форме, тем самым, например, историю и обществознание в форме ЕГЭ там сдавали очень мало выпускников. А математику в Марий Эл по методике ЕГЭ сдавать должны были все. Правда, в этой республике проводилась в такой форме только математика. Слишком серьезных различий между республиками не выявлено. В Чувашии оказалось меньше двоечников по русскому языку, но примерно настолько же и меньше отличников по математике, чем, например, в Марий Эл. Интересно, что результаты в Ростовской области оказались в целом даже ниже, чем в далекой Якутии, что доказывает хотя бы то, что среднегодовая температура не определяет успехи в учебе. В этом можно также усмотреть позитивный итог эксперимента.

– Была ли коррекция шкалы оценок по ходу экзаменов?

– Это обычная практика для метода тестов. Авторы в целом удачно составили тесты ЕГЭ (хотя по математике и физике не хватило легких заданий), но точно определить границы между оценками им было трудно, так как никто в нашей стране никогда не проводил в таких масштабах тестирование на сплошных выборках (проводили раньше только на добровольцах). Поэтому предварительно заданные границы корректировались на основе реально собранной статистики. И надо подчеркнуть, что коррекция никогда не предпринималась в сторону ужесточения требований к отстающим, наоборот, только в сторону смягчения. Интересно, что среди достаточно обширной и разнородной по составу комиссии фактически не было острых споров о том, как скорректировать границы.

– Может ли что-то сказать ректору, который принимает абитуриентов по результатам единого экзамена, пятерка за тест?

– А вот вузы, по замыслу разработчиков проекта, вообще не должны принимать во внимание школьную шкалу – пятерки, четверки. Это все только дань школьным аттестатам. Вузы должны работать со стобалльной шкалой. Именно баллы по стобалльной шкале проставляются в свидетельство (сертификат), который абитуриент направляет в вузы. Поэтому сама по себе пятерка ректору ни о чем не говорит. Ей может соответствовать и балл 75, и балл 99, а это, согласитесь, весьма различный уровень подготовки. До сих пор я убеждаюсь в том, что большая часть тех ректоров, которые возражают, совершенно не разобрались в том, как им предлагается пользоваться результатами ЕГЭ на самом деле. Итак, самое главное: ректор вовсе не обязан зачислять всех, кто получил пятерки по ЕГЭ. Если ректору подали заявление больше отличников по ЕГЭ, чем у него бесплатных мест, то он очень легко устраивает внутри группы отличников заочный конкурс сертификатов, и в этом случае граница отбора в его конкретный вуз может быть установлена значительно выше уровня пятерки, например, на уровне 90. А в другом вузе, куда направили заявления небольшое число отличников, граница отбора может оказаться ниже уровня пятерки, например, на уровне 60.

– Какова реальная цена троек и четверок, не завышены ли они?

– Многие считают, что тройка, четверка и т.п. обозначают у нас в стране какой-то определенный объективно отмеренный уровень знаний. Но ведь это не так! Это фикция! В массе исследований было показано, какие разные отметки выставляют разные преподаватели за одни и те же экзаменационные работы и ответы. Среднее отклонение по статистике достигает почти одного балла по пятибалльной (на самом деле четырехбалльной) шкале. А смотрите, чего стоят школьные пятерки и «золотые медали» на вступительных экзаменах в мало-мальски сильный вуз при наличии конкурса? Тогда о чем мы говорим? О фикциях, о мифических величинах, которые существуют лишь в массовом сознании, но не на практике, они существуют лишь по механизму мифа. Назначение измерительного подхода, который мы внедряем в ЕГЭ, как раз и состоит в том, чтобы развеять этот миф, ибо он стал вредным для нашей школы в силу своей неадекватности, в силу, извините, лживости. Давайте начистоту! Кто считает, что тройка – это положительная отметка? Такое понимание сохранилось лишь в письменных бюрократических отчетах. Проведите реальные опросы общественного мнения, и вы получите то, что подразумевают люди под тройкой фактически: это фиксация того, что подготовка «ниже среднего». А теперь посмотрите на статистику отметок по ЕГЭ (она опубликована в Интернете на сайте www.ege.ru ). Здесь мы видим, что число двоек и троек – чуть больше половины от общего числа отметок. Это означает, что никакого «натягивания» в рамках ЕГЭ не произошло. Но наряду с этим комиссия сознательно стремилась сократить травматичный эффект двойки. И сделано это было даже на фоне того, что в этом году при наличии двойки за ЕГЭ и тройки в годовом табеле в аттестат проставляется тройка. И сделано это было правильно!

– Не слишком ли малый процент заданий надо было выполнить, чтобы получить положительную оценку?

– По моему убеждению, в будущем вообще не должно быть никаких двоек за ЕГЭ, только положительные отметки. Пусть все, что ниже 50 по 100-балльной шкале, станет областью «большой тройки». У одного ребенка это будет «почти четверка», то есть тройка с баллом 49, а у другого будет тройка – как нынешняя двойка с баллом 15, например. Что касается требований учебника и сравнительного уровня подготовки, то специалисты считают, что тесты должны составляться с учетом и того и другого. У нас, однако, еще до сих пор не преодолен крен (и это проявилось в тестах ЕГЭ) в сторону требований программы или учебника, а не среднего уровня усвоения. Именно поэтому нижнюю границу тройки иногда пришлось устанавливать ниже той, которую предполагали авторы. Именно поэтому для многих слабых учащихся уровень тестов был высоковат, было мало легких заданий, с которых должен начинаться любой педагогически грамотный тест, ведь именно в этом случае тест перестает давить. Все это уже очень глубоко изучено в экспериментальной науке о конструировании тестов – в тестологии, которая у нас в стране практически никому не известна, ее до сих пор не преподают толком нигде – ни в педвузах, ни в университетах.

– Не давили ли психологически на ребенка те задания, которые он выполнить не мог?

– А что больше давит на ребенка – сотня заданий, из которых он может реально справиться лишь с тридцатью, или один-единственный, но намеренно «засыпной» вопрос предвзятого экзаменатора, думаю, особых аргументов не нужно. Я мог видеть собственными глазами, как дети выходили из тех вузовских аудиторий в Йошкар-Оле, где они выполняли очень трудный для большинства тест по математике. Я поговорил со многими из них. Они выглядели не слишком усталыми, но озадаченными тем, что к части «С» (где трудные задания, требующие обоснования) было очень непросто даже подступиться, но все-таки они были серьезными и довольными, что участвовали в настоящем экзамене, «без дураков», а не в откровенной профанации, не в спектакле, в котором результаты уже заранее известны и роли розданы, с чем многие дети, увы, уже слишком хорошо знакомы по своей школьной практике.
Эксперимент по проведению ЕГЭ-2001 выявил очень много мелких неточностей и шероховатостей и в методике, и в процедуре. Теперь многим совершенно ясно, что ЕГЭ нельзя полностью базировать на процедуре, устоявшейся в рамках централизованного тестирования. Специалисты уже составили длинные списки тех позиций, по которым в следующем году необходимо сделать коррективы.
Конечно, окончательные выводы делать пока рано. Еще предстоит июльский тур – для тех, кто, не являясь выпускниками этого года, придет в вузы, зачисляющие только по результатам ЕГЭ. Еще предстоит проанализировать, как вузы построят свою работу с результатами ЕГЭ. Еще предстоит очень многое сделать, чтобы защитить ЕГЭ от риска профанации, чтобы повысить защищенность процедуры от подтасовок. Здесь, по моему убеждению, которое только укрепилось, нам все-таки не обойтись без компьютерных технологий, подобных «Телетестингу». Но промежуточный вывод может, по-моему, звучать оптимистично: первый шаг сделан.

Ваше мнение

Мы будем благодарны, если Вы найдете время высказать свое мнение о данной статье, свое впечатление от нее. Спасибо.

"Первое сентября"