КРУГ ВОПРОСОВ

Рейтинги: нас считают, но с нами не считаются…

Новый год начинаем со старой темы – рейтинги в образовании. Потому что пока мы не получим ответы на вопросы, кто их заказывает, кто и как производит, какое влияние оказывают рейтинги на жизнь тех, кто участвует, – ранжирование разного рода будет восприниматься как бессмысленное и беспощадное. Эксперты и практики рейтингов в образовании собрались на итоговый семинар Института развития образования НИУ ВШЭ, который состоялся 24 декабря.

Рейтингов в образовании свыше трехсот…

Учитывая остроту вопроса, итоговую встречу года провели в непривычном формате «круглого стола». А поскольку эксперты оценивают ситуацию в самых разных красках, от восторженных до мрачно-скептических, разговор получился жесткий.
Татьяна Мерцалова, ведущий научный сотрудник Института образования НИУ ВШЭ, предложила «разобраться со смыслами»:
– Мы размыто используем само понятие, в головах перемешиваются разные формы. На бытовом уровне рейтинг – это любой выставленный список. Между тем существуют очень разные рейтинги – линейные и кластерные, тотальные и выборочные, и у всех свое назначение. Объединяет их только метод: ранжирование объектов.
История рейтинга в российском образовании начинается с единичных прецедентов девяностых годов, затем вслед за нацпроектами двухтысячных последовало развитие системы оценки качества. Тогда же появились и первые закрытые рейтинги – для внутреннего пользования ведомств.
– И до сих пор, заметим, не все готовы рассекретить свои рейтинги, – добавляет Мерцалова.
Первым открытым рейтингом, созданным не только для управления, но и для информирования населения, стал рейтинг субъектов Федерации по показателям развития образования.
В этом году и субъекты Федерации, и образовательные организации, и местные органы управления обязаны вывешивать у себя на сайтах рейтинги школ, вузов, детских садов и других образовательных организаций, во многом из-за жестко подведенной правовой базы.
По оценкам Минобра, в настоящий момент существует более трех сотен рейтингов в сфере образования. Независимые рейтинги, по оценке Татьяны Мерцаловой, представлены тремя группами. Во-первых, стихийные пользовательские рейтинги с «родительских» сайтов. Они действительно независимы, оперативны, но совершенно чужды методике, очень субъективны и ненадежны.
Во-вторых, влиятельный поставщик рейтингов – «Социальный навигатор» агентства «РИА Новости». Есть и другие игроки, которые активизируются в зависимости от их собственных интересов: например, РОСНОУ или Российский союз ректоров.

Информационный шум или средство управления?

Рано или поздно наступает момент, когда рейтинг перестает работать и даже становится опасным. Например, серьезная проблема современных рейтингов – в их однообразии. Почти все концентрируют внимание на учебных успехах учащихся, и только единицы предлагают какие-то другие характеристики.
Марк Агранович, исполнительный директор Межрегиональной ассоциации мониторинга и статистики образования, уверен: повальное увлечение рейтингами уже представляет опасность – это реальная угроза и системе образования, и экспертному сообществу.
– Мы живем в условиях массового кустарного производства рейтингов. Во многих из них заранее задаются неверные ориентиры: эффекты от образования носят отложенный характер, конечный результат оценить сложно, поэтому создатели рейтингов исходят из того, что могут рассмотреть и померить. Сейчас производят рейтинги самые дурацкие: например, по частоте упоминаний образовательной организации на ее собственном сайте.
Такого рода информационный шум угрожает окончательной потерей уважения к экспертам и к шкалам измерения вообще.
Рейтинг содержит в себе неразрешимое противоречие: с одной стороны, чем он проще и чем меньше в нем критериев, тем меньше пользы. А с другой стороны, чем он сложнее, тем хуже: больше ошибок, меньше смысла, да и пользоваться труднее. Рейтинг на семьдесят показателей вообще не способен решить ни одной практической задачи.
Кроме того, рейтинг – это еще и самообман: в заданной системе координат позаботиться о показателе проще, а о программах, учебном процессе и других важнейших вещах можно вроде как забыть.
Однако нет плохих инструментов, есть их неадекватное использование. Марк Агранович определил достаточно узкую сферу применения рейтинга в чистом виде: семьями – для выбора учебного заведения, заказчиком – при отборе исполнителя проекта, а также руководству – как рычаг управления. Именно рычаг, ни о какой объективности тут речь не идет. Как пример последнего Агранович упомянул ректора Новгородского института развития образования Владимира Аверкина:
– Он, как профессиональный шулер, менял правила по ходу дела, но с благой целью: сигналил своей области рейтингами о том, куда направить силы. Получилось эффективно.
Итак, рейтинг в России – инструмент управления образованием, хотя на самом деле рейтинг – это не более чем промежуточные данные для сравнительного анализа. Окончательное решение, в особенности по оценке эффективности и финансированию, не может приниматься, исходя из цифр, считает Агранович.
Но это, оказывается, мечты, потому что как бюджетировать результат без рейтинга, управленцы не знают. В частности, сам Владимир Аверкин попросил уточнить: а как без рейтинга выяснить, какой субъект Федерации лучше выполняет указ президента? С другой стороны, «давать деньги по рейтингам, без учета контекста, бессмысленно», – заявил Виктор Болотов.
Разногласие это означает, что люди одной страны мыслят управление совершенно по-разному! Мейнстрим же пока у нас такой: делить на лучших и худших, лучшим давать больше, худшим меньше, создавать конкуренцию – и люди начинают шевелиться. Да, за последние места никого не расстреливают, разве снимают. Но эффект-то налицо!

«Всего лишь информация» – но кто ж поверит?

Исполнительный директор Центра социальных рейтингов «РИА Новости» Наталья Тюрина говорила о том, что рейтинг – одна из форм выявления приоритетов, один из способов представления информации. Пока у «Навигатора» нет ни практики проведения подобных исследований, ни кадров, которые имеют достаточный опыт разработки инструмента. По словам Тюриной, заказчиком рейтинга сейчас может выступить любой субъект, который готов платить. Добрые намерения и трансляции социальных истин роли не играют – всегда есть чей-то интерес и финансовая составляющая. Разные рейтинги берутся как раз из того, что есть разные заказчики и ценности.
Николай Шугаль, заместитель директора Института статистических исследований и экономики знаний ВШЭ, рассказал о нюансах работы с рейтингами образования:
– Действительно, рейтинги – лишь полуфабрикаты для дальнейшего шевеления мозгами, но прежде всего это достоверная система показателей, открытая и понятная методология. Мы пытаемся вести модульную структуру исследования, чтобы работали общие показатели, с другой стороны, учитываем уровни: у каждой ступени свои правила в регионе. Для более узких вопросов ведем тематические рейтинги; по конкретным проблемным областям – субрейтинги.
Наталья Тюрина, как представитель конкурирующей фирмы, не могла удержаться от вопроса: а кто финансирует такие глобальные исследования? Выяснилось, что такие рейтинги ведутся по заказу Минобрнауки и на бюджетные деньги, но никаких следов этого заказа в продукте не видно.
Каково же будущее рейтинга в образовании? Все зависит от того, какую линию развития выберет руководство. По мнению Аграновича, перед профессиональным сообществом стоят три важнейшие задачи: прежде всего ликбез начальства по поводу того, что можно и что нельзя делать с рейтингом. Затем создание общественной структуры по аккредитации рейтинга – чтобы как можно скорее прекратить вал халтуры. Наконец, весьма желателен переход от рейтингов к индивидуальным конструктам.
– Мы дошли до такой степени информационной открытости, что каждый потребитель сам может выстроить рейтинг в базе данных. Если продолжить сегодняшний тренд, то чуть ли не каждый может, базируясь на открытых базах данных, быть автором собственного рейтинга.
Значит, лучшее, во что может переродиться рейтинг, – это не заранее посчитанный столбец, а матрица для пользователя: работай сам, определяйся со своими приоритетами, выбирай то, что нужно именно тебе.
А вот заниматься при помощи рейтинга поиском худших, даже для благой цели помочь им, – худшая линия развития.

Оценка качества – чья это монополия?

Разумеется, Аграновичу возражали: конфликт интересов! Задача не настолько простая, чтобы даже квалифицированный потребитель умел с ней работать. Людям надо давать только верхний срез, а не «почему» и «что на что» влияет. То есть держатели информации не хотят ограничивать собственную монополию и выводить рейтинг на уровень доступного конструкта. Но если так, то рано или поздно с этим в общем-то удобным и достойным инструментом поступят, как с надоевшей игрушкой. Увлечение им достигнет апогея, его будут использовать во всех уместных и неуместных случаях, затем и вовсе забудут.
Другой прогноз: наоборот, каждый регион за большие деньги будет рейтинговать свои институты. Причины описаны выше.
В целом же эксперты солидарны в том, что пока независимая оценка качества приносит новые и новые проблемы. Президент один раз велел составить рейтинг, а вылилось все в систематический сбор данных, тогда как именно общественные инструменты оценки качества вообще не реализуются. А если реагировать на каждый рейтинг, управление образования больше ничем не сможет заниматься.
…Одного на встрече не прозвучало, хотя, вероятно, эта мысль промелькнула в голове у каждого: болезненная страсть руководства навести порядок, расставить все по полочкам, всех выстроить в ряд очень похожа на типичное проявление невроза. Попытка загнать в рейтинг все и вся – расписка в беспомощности и сильнейшем стрессе нашей системы образования.