ЕГЭ и олимпиады: чьи оценки точнее?

На днях в ИРО ГУ ВШЭ были представлены результаты независимого статистического анализа итогов ЕГЭ и олимпиад. Исследование проводилось по заказу Рособрнадзора.
В основе анализа – первичная база данных по ЕГЭ с 2008 года, включая протоколы сдачи и даже оригиналы работ школьников. Помимо статистических процедур исследователи проводили частные экспертизы и кейс-стади, кроме того, происходила сверка с демографическими данными по стране, предоставленными ВЦИОМ. О результатах докладывал Иван Ященко, проректор Московского института открытого образования.

Олимпиада олимпиаде рознь

Докладчик выразил несогласие с распространенной идеей о том, что олимпиады выявляют таланты, а ЕГЭ их гробит. На самом деле по задумке реформаторов олимпиады должны были скомпенсировать ситуацию для одаренных детей – как отметил Ященко, многие очень талантливые ребята просто не в состоянии грамотно заполнить тестовый бланк, даже в клеточки не попадают. Другое дело – вышло так, что олимпиады стали выполнять функцию социального лифта для другого контингента.
Иван Ященко представил аудитории график, показывающий, что олимпиады различаются между собой по такому признаку, как число победителей, впоследствии «проваливших» ЕГЭ, то есть получивших пятьдесят баллов и меньше.
В целом, по данным статистики, среди победителей олимпиад успешно сдают ЕГЭ около 90 процентов. Поэтому таких олимпиад, чьи победители не подтвердили своего успеха на ЕГЭ, оказалось немного, и что удивительно, в их число попали самые массовые.
Что касается разбивки данных по школьным предметам, то хуже всего обстоит дело с физикой, химией и информатикой. Именно по этим предметам дети-олимпиадники чаще всего срывают ЕГЭ.
По мнению Ященко, такие результаты диктует сама предыстория возникновения некоторых олимпиад. Например, когда в технических вузах случается недобор, объявляют олимпиаду с относительно низкими критериями и всем раздают сертификаты – только для того, чтобы добрать нужное число поступивших.
Короче говоря, необходимо провести анализ имеющихся олимпиад, осуществить их проверку. Уже в апреле планируется ряд специализированных мероприятий, нацеленных на экспертизу российских школьных олимпиад. А то у нас так:

– На одной всероссийской олимпиаде для школьников детям задают вопрос о том, какова должна быть оптимальная толщина бутерброда, один сантиметр или три, – рассказывает докладчик.

Академические результаты студентов-младшекурсников

Еще один инструмент оценки качества школьного образования – результативность по обучению на первых двух курсах. В технических вузах абитуриенты, поступившие с результатом ЕГЭ в 70 и более баллов, демонстрируют гораздо лучшие результаты, чем поступившие по олимпиадной льготе. Корреляция есть.
У этого явления есть причина, считает Иван Ященко: для того чтобы на первом курсе делать успехи, надо уметь работать. По мнению докладчика, ЕГЭ учит человека быть безошибочным, уметь концентрировать внимание. Так что и в вузе усидчивые хорошисты, заработавшие свои баллы потом и кровью, выигрывают у блестящей, но ненадежной интеллектуальной элиты.
Тем не менее заведующий кафедрой высшей математики НИУ ВШЭ Алексей Макаров назвал существующие ныне правила приема абитуриентов в вузы чудовищными. Руководству любого вуза, заявил докладчик, надо планировать и понимать, кого они, собственно, принимают и что стоит за числовыми границами.
Анализ выявил абсолютную некорректность суммирования баллов по русскому языку и математике. Специализаций, где не требуется математика, осталось очень мало: математика нужна и психологам, и менеджерам, не говоря уж об инженерах и представителях естественно-научных специальностей.
Но допустим, человек поступает в технический вуз, и учитывается суммарный балл, который может быть получен множеством разных способов. Например, суммарная по русскому и математике в 8 баллов может получиться из тройки по русскому и пятерки по математике, тройки по математике и пятерки по русскому, из двух четверок. Данные ЕГЭ показывают, что детей, у которых выше оценка по русскому, значительно больше. Значительно меньше тех, у кого поровну, и очень мало учеников, у которых математика выше, чем русский. Именно таких абитуриентов очень ждут в технических вузах, но больше шансов имеют другие, поднявшие свой суммарный балл за счет русского языка. Вывод: подсчет не вполне сбалансирован.
Кроме того, большой риск перекоса для поступающих на естественно-научные специальности. По мнению Ивана Ященко, разница между 90 и 100 баллами по математике незначительна, к тому же будущему биологу или экономисту сто баллов совершенно ни к чему, но ученик «продолжает вхолостую работать только для того, чтобы вытянуть свои баллы», тогда как мог бы грамотно распределить силы и больше заниматься профилирующим предметом.
Короче говоря, по мнению аналитиков, «вузы принимают и учат не тех». Заявления вузов о том, что они на первых курсах компенсируют пробелы в знаниях, чуть ли не начинают учить физику за седьмой класс, вызывают у экспертов сомнения. Тем важнее сохранить уровень требований к математике, физика-то и химия в этом плане уже «просыпались», как выражаются ученые.
Докладчики предложили Рособрнадзору следующие пути преодоления этих проблем: либо использовать для оценивания взвешенную сумму баллов, либо производить отбор с одновременным проверочным заданием по математике. Эти предложения отторгнуты не были, однако в связи с предвыборными и выборными хлопотами их рассмотрение и внедрение было отложено. Так что в этом году студентов будут принимать на тех же условиях, что и в прошлые годы.

Всем сомневающимся в корректности проведения госэкзамена

Большой вопрос: можно ли верить данным ЕГЭ, если данные, полученные аналитиками, почти совпадают с официальными данными ВЦИОМа: порядка 8% реального списывания? Самое частое нарушение – реальное списывание на экзамене. Иван Ященко отметил, что в 2011 году «от интернета было больше шума, чем настоящего вреда», а именно – верхняя граница списывания через сеть – всего один процент.
В качестве доказательства тому, что списывание не сыграло большой роли, был приведен пример. Задача по математике, очень простая по записи, но трудная по решению, то есть в решении нет никаких формул, можно спокойно записать его в SMS и отправить кому угодно. Так вот, эту идеальную задачу для списывания решили всего 1800 человек на всю страну – примерно столько же, сколько в предыдущие годы. Так что если решить, что списали все, включая выпускников интернатов, то этот результат в общем масштабе незначителен.
Иван Ященко еще более успокоил собравшихся, когда рассказал, что во время пробного экзамена всех, кто пытался что-то выложить в сеть, быстро отследили по сетям и поймали. Можем и это.
Также обсуждался вопрос качества «ручной» проверки части С. Подготовка экспертов у нас поставлена так хорошо, что абсолютное большинство работ проверено в целом одинаково, и это говорит о высоком профессионализме экспертов. Конечно, есть выпадающий из нормы сегмент, и в нем наблюдаются расхождения. Докладчики подчеркивают, что это не обязательно коррупция или пристрастность, вероятно, один учитель склонен завышать, а другой – занижать оценку. Красноречивый пример – задание повышенной сложности по математике из раздела С. Два балла из трех ставится тогда, когда логически задача решена верно, но есть ошибки в финальных вычислениях. Но почему-то в некоторых регионах на два балла по этому заданию приходится абсолютный пик. Что же, это серьезный методический прокол во всем регионе, если поголовно все дети отлично решают логарифмические уравнения и дружно ошибаются в вычислениях? Или субъективный взгляд эксперта на решение?

Кое-что о человеческом факторе

Кстати, в докладе не раз подчеркивалось, что неудачные результаты ЕГЭ в общей массе рисуют обычную, стандартную картину: так же, мол, было и в советские годы, у нас никогда не было большого числа успешных математиков, такие результаты мы получаем из года в год, график без разрывов. Вместе с тем по ходу семинара становилось ясно, что результаты ЕГЭ сравнивать по годам неправомерно. Эксперты называют это некалиброванным экзаменом, иными словами, строгое сравнение по периодам невозможно. Кроме того, следует уйти от средних чисел и начать плотно работать с распределением баллов по региону. Но почему-то люди склонны отдавать предпочтение средним числам.
Это очень большая проблема – критерии оценки успешности образования в регионе. Даже если судить только по ЕГЭ, объективной оценки не найти. Например, существуют регионы, где на ЕГЭ много двоек, но там же наибольший процент детей, сдавших успешно. Большое расслоение, но справедливо ли оценивать регион только по числу двоечников? Между тем образовательная политика в регионах неоднородна, всяк судит по-своему.
Под конец – неожиданные факты. Исследование выявило особую категорию детей, сдающих всего два экзамена, – это дети, не рассчитывающие на высшее образование. В регионах таких детей насчитывается подчас до четверти. Но это ладно – оказывается, далеко не все дети страны сдают ЕГЭ по обязательным предметам. Куда же они потом деваются? Сказать можно одно: в высшую школу они не попадают.

…Что же, возразить компетентным профессионалам чрезвычайно сложно: все идет по плану, «косяки» закономерны и не фатальны. Да, нужно найти способ обнародовать хоть какие-то результаты, несмотря на закон о защите персональных данных; да, хорошо бы применять кластерный подход для оценки регионов; да, пора искать пути преодоления дискриминации талантливых детей при поступлении в вузы. Но за словами докладчиков проступал еще какой-то ЕГЭ-подвох, самый, может быть, главный, но слышен он был только на уровне ощущения.