ПОЛИТИКА ОБРАЗОВАНИЯ 
 

«Результаты ЕГЭ были засекречены неспроста»

– Почему, на ваш взгляд, был засекречен значительный блок информации о ЕГЭ?
– Существуют перечни материалов, которые подпадают под гриф «для служебного пользования». Материалы, связанные с федеральным экспериментом, не могут предназначаться «для служебного пользования». Из тех графиков, которые были опубликованы, видно, что результаты ЕГЭ были засекречены неспроста. Почему? Когда говорят про эксперимент, подразумевается, что он должен быть научным. Всемирный банк дал деньги под разработку объективной методики оценки знаний. Но с точки зрения науки ЕГЭ не эксперимент. У эксперимента должна быть программа, гипотеза, смета, критерии успешности или неуспешности, теоретические вопросы, которые проверяются в эксперименте. Но ведь ничего этого нет! И не предвидится. Значит, можно определенно сказать, что ЕГЭ не эксперимент. И не наука. Но претендует занять место науки. И это плохо...
– Известно, что баллы переводились в оценки только в конце эксперимента. Эта практика принята во всем мире?
– Во всем мире правила перевода определяются до начала эксперимента, а не после. Иначе вместо объективной оценки знаний все решают сами чиновники.
– Ярослав Кузьминов в прошлом году взял в Высшую школу экономики несколько детей, набравших на ЕГЭ по 100 баллов. Он признает, что это не блестящие ученики, хотя, по его словам, и не из самых худших. Действительно, и в 2002 году дети из разных сельских школ получили оценку в 100 баллов. Насколько реальна эта оценка?
– Это вообще нереально. В настоящем тесте, если десять–двенадцать человек получают сто баллов, это значит, что их «недомерили». Да, среди выполнявших тест могли быть гении, но этим гениям надо было давать дополнительные задания.
– Ректор Новгородского университета, например, уверял, что у него хорошо сдали ЕГЭ потому, что на экзамен пришли ученики профильных школ…
– Об этом можно говорить в рамках отдельного города или области. Но когда информация обобщается, выявляются закономерности, с которыми никто спорить не может. И потому, когда мы смотрим на эти графики, мы видим, что в них отражено то, о чем не говорят вслух.
– Вы предполагаете, что модель определенного шкалирования была заранее заказана?
– Этого я не знаю. Но я знаю, что эти графики демонстрируют модель меритократического оценивания. Поощряются те, кому надо помочь войти в пять процентов счастливчиков, те, кто будет обучаться по первой категории ГИФО, то есть бесплатно. Именно этот процент должен получить средства на учебу в вузе за счет бюджета, все остальные должны заплатить. То есть богатые будут учиться бесплатно, а бедные – платить.
– Этот график кажется вам как математику неестественным?
– На сто процентов. Переверните его – и тогда он выглядит более естественно.
– Что это значит?
– Такой график указывает на методику, не подходящую для перевода баллов. Здесь график просто подтянули к необходимому результату за счет перемены осей. Этого делать нельзя.
– Такое лукавство возможно в математике?
– Сколько хотите. Есть классические книги, например, «Как обманывать с помощью статистики».

РЕЗУЛЬТАТЫ ПО РУССКОМУ ЯЗЫКУ
– Допустим, в тесте по русскому языку было 62 задания. За каждое правильно решенное задание испытуемый получает один балл. Если вы сделали правильно 20 заданий, вы получаете балл 20, а если 62 – то 62. Тест рассчитан на какую-то группу. И в этой группе средний балл должен равняться именно среднему уровню подготовленности ученика. В случае тестов ЕГЭ по русскому языку основная масса участников – она называется модальный класс – выполнила 42–43 задания. Следовательно, задания были облегченными. В обычном тесте средний балл равнялся бы 31–32. Это аксиома тестологии. Баллы 42–44 явно завышены на 10–11 баллов. В пятибалльной шкале это завышение как минимум на один балл. Если дети знают русский язык на тройку, складывается видимость, что они знают его на четверку. Ясно, что здесь асимметрия в левую сторону, то есть в сторону положительных баллов.
– Но это сделано с какой-то целью?
– Совершенно верно. Сделано, чтобы создалась видимость, что наши дети знают русский язык довольно неплохо. Сделали это министерские эксперты. Может быть, мотив политический – бог с ней, с математикой, но если уж и язык родной дети не будут знать – это совсем нехорошо. Но эти результаты оказались завышены, и в вузе им никто не поверит.
Теперь результаты, связанные с формой. Когда появилась свободная форма, часть С, то завышенных баллов стало больше – процент правильных ответов резко возрос. В правильном тесте здесь такое невозможно. Мы видим существенное влияние субъективного фактора. Из этого я бы сделал вывод, что часть С совершенно не нужна. Ее можно спокойно выбрасывать из ЕГЭ и сэкономить на этом миллионы рублей. Часть С позволяет сильным ученикам набирать неоправданно высокий балл. Это, может быть, и хорошо для них, но для тестолога это катастрофа. Такую методику надо выбрасывать.

МАТЕМАТИКА
– Если авторы шкалы оценок по русскому языку постарались сделать так, чтобы все дети закончили школу с видимостью знания предмета, то авторов заданий по математике это не волнует. Их интересуют вопросы поступления в вуз. Тех, кто поступает в вуз, оказалось очень мало. И здесь график растянут. Перед нами асимметрия, но зато примененный метод помогает прогнозировать, кто попадет в вуз, а кто не попадет. Всех остальных валят в одну кучу. Если выполнил три задания – двойка. Из-за того, что использована такая неудачная шкала перевода, только после 12–21 балла идет более или менее понятная логика распределения баллов.
– Почему вы считаете, что шкала выявляет только тех, кто хочет поступить в вузы?
– Потому что процент правильных ответов среди тех, кто набрал много баллов, низкий. При профотборе делают именно такие тесты, которые «чувствительны» в этой зоне повышенной трудности. Но в таком случае это не КИМ, это метод для отбора в вуз. То есть полная противоположность замыслу ЕГЭ. Математики сделали ЕГЭ только для приема в вузы – оценить результаты именно школьного общения этот тест не позволяет. Если отметкам ЕГЭ по русскому языку в вузах не поверят, то математика, похоже, оказалась более действенным инструментом. Правда, мы все равно не знаем ни его надежности, ни точности.

ИСТОРИЯ РОССИИ
– Графики по истории России вообще дают очень странную картину. По всей видимости, задания разных вариантов просто не стыковались. Иначе говоря – задания оказались в разных городах разными по трудности. И из-за этого на графике возникли такие зубцы. Вообще эти КИМы не проверялись на равную трудность параллельных заданий. В принципе итоговые баллы не должны зависеть от того, какой вариант попадется. А у нас зависят. Это приговор. Этот график отличается тем, что здесь много низких баллов. Если у нас было 50 заданий, то средний балл – на уровне 18 заданий. Средний балл должен быть на уровне 25. Это значит, вероятнее всего, что варианты по истории были затруднены за счет оригинальных нетипичных заданий, к которым, видимо, стремились разработчики. Тут они перебрали.
– Один из руководителей регионального образования в своем думском выступлении заявил, что общественность не должна оценивать тесты – это бессмысленно. Как вы относитесь к идее общественной оценки тестов? Возможно ли это?
– Спорную идею внести тестирование на российскую почву продвигают люди, большинство из которых никогда тестами не занимались. Тесты могут делать только профессионалы. Но их общественная оценка должна быть.
– В чем она может заключаться, если общественность все равно не понимает, в чем суть?
– На Западе существуют общественные советы по развитию, применению, соблюдению моральных принципов тестов. Есть обученные специалисты, которые могут проверять тесты. Этого у нас пока нет.

ЕГЭ – 2002:
Распределение первичных баллов по русскому языку и математике

Доля участников ЕГЭ по РУССКОМУ ЯЗЫКУ в зависимости от величины первичных баллов. Июнь 2002 г., участников 77066 человек

Доля участников ЕГЭ по МАТЕМАТИКЕ в зависимости от величины первичных баллов. Июнь 2002 г., 257200 человек

В идеологии ЕГЭ изначально провозглашены две цели: получение школьного аттестата и поступление в вузы. Но распределение первичных баллов ЕГЭ-2002 (например, по русскому языку и математике) наглядно демонстрирует, что цели эти в сегодняшней модели ЕГЭ – взаимоисключающие. Создатели КИМов по русскому языку скорее ориентировались на то, чтобы школьные аттестаты получили все выпускники, а создатели КИМов по математике – на то, чтобы оценки по математике имели ценность для вузов. Удастся ли разрешить это противоречие в будущем?..

Доля участников ЕГЭ по РУССКОМУ ЯЗЫКУ в зависимости от величины первичных баллов за задания в свободной форме. Июнь 2002 г., участников 77066 человек

Часть С могла бы удовлетворить обоим требованиям, потому что она подразумевает возможность свободного творческого ответа на задания ЕГЭ (а значит, отказ от механистического тестового оценивания). Однако на графике мы видим, что всем участникам, приступившим к части С, были завышены оценки. Таким образом, с помощью части С слабый ребенок может повысить свою оценку на ЕГЭ, что само по себе неплохо. Однако, в то же время это дает возможность манипулировать результатами ЕГЭ на региональном уровне, добиваясь видимости хороших оценок на ЕГЭ.

Ваше мнение

Мы будем благодарны, если Вы найдете время высказать свое мнение о данной статье, свое впечатление от нее. Спасибо.

"Первое сентября"