В ФОКУСЕ ИССЛЕДОВАНИЯ

Оценка школы: увидеть педагогическую составляющую

Оказывается, справедливо оценить работу школы можно. Но управленцы к этому не особо стремятся. На семинаре Института образования НИУ ВШЭ прозвучал доклад «Использование контекстных данных в системе управления качеством образования: теоретические основания, опыт разработки и апробации инструментария» и состоялась дискуссия.

Статистические упражнения

Развитие системы оценки качества, в том числе мониторингов и рейтингов, закреплено в ФЗ «Об образовании в РФ» №293, ст. 97, вдогонку разработан ряд постановлений, правил, рекомендаций, недавно прошла презентация новой концепции ОСОКО.
Тем не менее в среде экспертов принципы и параметры оценки качества вызывают споры. Например, самый простой рейтинг по результатам ЕГЭ уже выстроен – это «Топ-500». Казалось бы, ничего плохого в том, что теперь мы знаем, в каких школах России дети лучше сдают ЕГЭ. Но во-первых, сдают дети, и неизвестно, каков тут вклад школы; более того, уже есть исследования, согласно которым сильные школы паразитируют на родительском ресурсе. Во-вторых, достоверны ли сами результаты ЕГЭ? Ведь в 2013 году лучшие результаты по математике показала Рес­публика Ингушетия, а Санкт-Петербург оказался в хвосте рейтинга; еще парадокс: если в школе две параллели 11 классов, данные по ЕГЭ лучше, чем в школах с одной параллелью, и так далее. В-третьих, каковы последствия? Губернаторы уже упрекают отделы образования в том, что в «Топе» мало школ области, и требуют принять меры. То есть еще раз перетрясти контингент и собрать сильнейших в пару-тройку показательных школ.
По мнению Виктора Болотова, экзамен с высокими ставками, каким у нас является ЕГЭ, не может быть показателем качества работы школы или учителя.
Исак Фрумин и вовсе изрек: «Топ-500» – это наш позор на весь мир».
В общем, оценка работы школы по результатам детей самая примитивная. Ее можно повышать, просто тасуя детей, не думая ни о материальном, ни о кадровом ресурсе, не говоря уже о положении выбракованных детей.
Однако возможным такой разговор стал только сейчас, когда появились данные по контекстным исследованиям школ.

Идеология учета контекстных данных

Ее представил старший научный сотрудник Лаборатории сравнительного анализа развития постсоциалистических обществ НИУ ВШЭ, кандидат социологических наук Гордей Ястребов.
Казалось бы, очевидная вещь: успешность школы зависит от условий, в которых она находится. И та среда, та система обстоятельств, в которых идут процессы образования, хоть и не во власти работников школы, но влияют на результаты сильно. Однако это надо было научно доказать: социально-экономические факторы создают контекст, без учета которого собранные данные по результатам не являются подлинными.
Был приведен любопытный пример: в трех разных областях России, где проходило исследование, результаты детей на ЕГЭ выстроились на диаграмме в равные столбцы. Однако с учетом собранных контекстных данных эти одинаковые результаты достигнуты в разных условиях, то есть учителя школ в более депрессивных местах приложили больше усилий к достижению результата. Но заметить это без контекстного анализа было бы невозможно.
Что же такое контекстные данные? Исследователи создавали «Социальные паспорта» школ, они формировались по запросу – показатели успеваемости, кадровые и организационные характеристики учреждений, характеристики контингента – и пользовались статистическими паспортами муниципальных образований, то есть данными Росстата: степень урбанизации, состояние социальной инфраструктуры, уровень доходов населения и пр.
Высчитывалась доля учащихся как из благополучных, так и находящихся в социально опасном положении семей, доля тех, для кого русский не является родным языком, доля состоящих на различных видах учета (КДН, ОВД, внутришкольный). Собиралась статистика по учителям – возраст, категория, соотношение к числу детей. Принимался в расчет статус поселения и средняя зарплата на территории. Все это помогло описать социальный контекст исчерпывающе и создать индекс социального благополучия школы.

Индекс социального благополучия школы

Он помогает сделать видимыми вклады различных контекстных показателей. Да и без индекса ясно, что положительные результаты дают дети из образованных семей и школ, в которых кадровый потенциал высокий. И наоборот: дети из семей, в которых русский неродной, дети из бедных неблагополучных семей учатся плохо. Но если мы отводим школе хоть какую-то компенсирующую и дополняющую роль в развитии нересурсных детей и хотим как-то определить этот вклад, нам нужен инструмент. Индекс социального благополучия школы (ИСБШ) высчитывается по формуле:
85 + 15 «доля учащихся из семей, где оба родителя имеют высшее образование» – 15 «доля учащихся из неполных семей» – 55 «доля учащихся, состоящих на различных видах учета» – 15 «доля учащихся, для которых русский язык не является родным».
Он позволяет определить коридор приемлемых значений показателей результата для образовательных учреждений с заданными параметрами. А выпадение фактических показателей результата за пределы приемлемых значений – потенциальный маркер «успешности» и/или «неуспешности».
К тому же он позволяет одновременно учитывать (контролировать) целый ряд параметров функционирования школ – не только социальный контекст, но и ресурсное обеспечение школ, их организационные характеристики.
Кроме того, ИСБШ можно использовать в качестве средства первичной диагностики, и это касается любых процедур, имеющих своим следствием возможные вмешательства в систему.
То есть становится возможной дифференцированная политика в отношении разных групп школ. Определение школ для применения мер адресной поддержки (специальные нормативы финансирования и оплаты труда, направление квалифицированных кадров и др.). Определение школ для поощрения за эффективность в своих условиях. Выявление школ для реализации программ улучшения образовательных результатов, поощрение школ, принимающих неблагополучных учеников, и так далее.
Об этих преимуществах доложила Марина Пинская, соавтор исследования. Проблему слабых школ она изучает уже несколько лет.

Добавленная ценность школы

Тем не менее ей возражали: зачем же нам пытаться учитывать то, на что силами образования повлиять невозможно. К тому же нельзя считать представленный перечень контекстных характеристик исчерпывающим: а фактор наличия дошкольного образования на территории, учреждений допобразования? Наконец, не дай бог по результатам такого анализа давать дополнительное финансирование – это ведь сразу увеличится количество одиноких бедных матерей; подделать контекстные данные очень легко. Однако Марина Пинская настаивала на необходимости адресной политики по отношению к разным типам школ:
– Понятно, что образование – наследуемое благо, все идет из семьи. Но какая логика в том, что мы поощряем результативные школы, если это не их заслуга? Надо знать тех, кто не справляется, и оказывать им помощь. Формульное финансирование, учитывающее социальный контекст, практикуется во всем мире. Например, «взвешенные ваучеры» в Чили; подушевое финансирование по формуле с дополнительным весом для неблагополучных учеников, при котором «вес» каждого ученика определяется уровнем образования его родителей в Нидерландах; увеличение расходов на ученика в группах наиболее неблагополучных школ и в наиболее депревированных территориях Франции и Греции. Везде пытаются максимизировать шансы слабой группы.
А значит – ценят вклад школ и учителей, работающих со слабыми детьми. Для нас это все еще «распыление ресурсов» – что-то дать слабым. Не для того существует хвост рейтинга по успеваемости, он – чтобы клеймить слабых, то есть решать дисциплинарные, а не педагогические задачи. Однако эксперты показали, насколько изменится рейтинг «Топ-500», если к нему применить контекстный анализ. «Хвост» сразу начинает подниматься.
Итак, пока у нас рейтинги – средство решения политических задач. Их заказывают, чтобы обосновать некое непопулярное решение. Но в ближайшем будущем мониторинги войдут в плоть системы образования, и к этому надо готовиться.
Грядет и Национальный мониторинг учебных достижений.