Качество общего образования

Проблематика оценки качества общего образования вследствие реализации крупных государственных проектов наиболее ярко проявилась в Российской Федерации с начала нулевых годов XXI века. Это было связано с появлением такого общенационального инструмента проведения преобразований в различных направлениях социально-экономического развития, как «национальные проекты». Впервые о национальном проектировании было объявлено президентом РФ В. В. Путиным 5 сентября 2005 года на расширенном совещании с членами правительства, руководством Федерального собрания РФ и членами президиума Госсовета. До этой даты действия федерального правительства главным образом затрагивали либо лишь обеспечение текущего нормативного правового регулирования различных отраслей, либо осуществление методической поддержки или некоторых локальных проектов в различных регионах путем реализации небольших отраслевых федеральных целевых программ. В основном же реформирование осуществлялось на уровне субъектов РФ.

Однако практика национальных проектов предполагала иной подход — сквозные меры масштабных реформ, единые для всех регионов. Благодаря позитивной конъюнктуре на рынке углеводородов финансирование национальных проектов в разы превысило объемы федеральных целевых программ и потребовало выработки общих показателей эффективности национальных проектов.

Первые показатели эффективности национального проекта «Образование» касались главным образом лишь оценки целевого назначения затрачиваемых ресурсов. Если речь шла о поддержке инновационных проектов школ, в качестве показателя эффективности рассматривалось количество поддерживаемых школ в каждом регионе. Если осуществлялись выплаты классным руководителям, говорилось об объемах перечисленных учителям средств. Лишь спустя несколько лет разговор зашел о необходимости оценивать не только целевое назначение спланированных ресурсов, но и эффекты от таких затрат, видеть, насколько результаты в самом деле системно сказываются на функционировании системы образования. Так среди показателей результативности национальных проектов появились показатели оценки качества образования.

Строго говоря, одними из показателей оценки качества образования можно считать показатели единого государственного экзамена (ЕГЭ). Эта форма государственной итоговой аттестации также стала всеобщей вместе с развитием национального проектирования. Однако правительству не удалось найти релевантной формулы сравнения регионов по результатам ЕГЭ, очевидные риски фальсификации результатов при таком подходе были труднопреодолимы. При этом всегда возникал соблазн замерить результаты образования в международном контексте, ориентироваться на некую внешнюю, независимую «линейку» оценки качества образования. И действительно, с каждым годом появлялось все больше и больше инструментов такого сравнения. Все они применялись различного рода общественными движениями или организациями, чья деятельность затрагивала интересы разных стран. Россия охотно принимает участие практически во всех международных сопоставительных исследованиях качества образования.

Согласно этому документу, «средневзвешенный результат Российской Федерации в группе международных исследований, средневзвешенное место Российской Федерации (не ниже)» определяется посредством вычисления средневзвешенного (среднеарифметического) места РФ по результатам специально отобранных восьми популярных международных исследований качества образования. При этом «за бортом» рассмотрения остается ряд других исследований, в которых Россия также принимает участие — компьютерная и информационная грамотность обучающихся (ICILS), оценка уровня гражданского образования (ICCS), оценка учебно-предметных компетенций (SAM).

Для простоты восприятия приведем пример используемых в методологии конкретных значений восьми рейтингов, представленных в таблице 1, на 2015−2016 годы

и соответствующих вычислений средневзвешенного показателя качества образования в РФ по утвержденной методике (Приказ Министерства просвещения РФ № 590/219, п. 4.2.1 «Формула расчета показателя»):

Подставим в формулу (1) значения из четвертого столбца таблицы 1 и получим средневзвешенную оценку РФ на 2015−2016 годы по качеству общего образования:

Однако интерпретировать этот результат очень непросто. Если посчитать, что РФ заняла в среднем по всем восьми исследованиям примерно 13-е место в рейтинге, то возникает вопрос: «13-е место из какого количества стран?». Формула (1) усредняет места без учета объемов выборок, в которых они получены. Иными словами, 10-е место из 100 стран — не то же самое, что 10-е место из 10 стран. В первом случае речь идет о попадании в десятку сильнейших, а во втором — о попадании в самый конец списка.

Ясно, что в формуле среднего арифметического слагаемые должны быть принципиально сравнимы между собой. В нашем варианте (без учета количества участников того или иного исследования) места становятся в общем случае несравнимыми, а применение формулы (1) — чисто формальным. Но существует серьезное допущение, при котором значение удается интерпретировать корректно. Если предположить, что все не участвовавшие страны показали бы результат хуже нашего, тогда, очевидно, мы сохранили бы все свои места, и оценка стала бы корректной.

Итак, можно подытожить, что действующая оценка средневзвешенного показателя качества общего образования в РФ сверхоптимистична (или попросту завышена).

Первое, что можно предложить для получения хоть сколько-нибудь реальной оценки общего образования в России по результатам данных восьми международных исследований — нормировать среднее место РФ на среднее количество стран-участниц. То есть образовать другой показатель, равный отношению среднего места () к среднему количеству стран-участниц:

В итоге получим уже интерпретируемый показатель, по структуре чем-то напоминающий формулу классической вероятности:

После подстановки в формулу (2) данных четвертого и пятого столбцов таблицы 1 получим нормированную средневзвешенную оценку РФ на 2015−2016 годы по качеству общего образования:

Это уже реальная оценка места РФ — «мы занимаем примерно 24-е место из первой сотни стран», или лучше так: «мы оказались в первых 24% всех стран», не уточняя, сколько их было на самом деле. Но этот вывод не про среднее! Здесь речь идет скорее о некотором виртуальном мега-исследовании, объединяющем все восемь исследований, где растворены друг в друге предметы, возрасты респондентов и методики. Отношение средних не есть среднее, так что получилась все-таки достаточно эфемерной величиной.

Еще одним очевидным недостатком данного показателя является принципиальная невозможность оценить вклад каждого отдельного исследования — слишком уж здесь все перемешано. Впрочем, этим недостатком обладает и ненормированный показатель из-за несравнимости мест при разных объемах выборок.

Теперь попробуем поступить ровно наоборот: сначала нормировать результаты по каждому исследованию, т. е. образовать для всех восьми рейтингов соответствующие доли

(между прочим, уже сравнимые между собой), а затем их усреднить, образовав улучшенный средневзвешенный показатель качества образования:

Вычисления по последней формуле (3) с данными таблицы 1 дают нам следующее значение показателя:

что может быть интерпретировано как «в среднем по методикам оценки качества общего образования РФ находится в первых 21,7% стран мира» или «в среднем по методикам оценки качества общего образования РФ занимает 22-е место из первой сотни стран». Интересно, что результат оказался сравним с предыдущим, но чуть выше.

Нельзя сказать, что последний вариант абсолютно идеален с точки зрения содержания. Мы должны понимать, что 6-е место из 20 стран будет пропорционально трансформировано в 30-е место из 100 стран — таково свойство примененной нормировки, и в этом есть своя логика «реальности». Вместе с тем входящие в сумму слагаемые представляют собой нормированные доли общего среднего и теперь легко интерпретируются по значимости вклада.

До сих пор мы обсуждали способы нормировки показателя качества образования в РФ в попытке получить интерпретируемый результат. Во всех трех случаях — в исходном министерском варианте формулы (1) и двух нормированных формулах (2) и (3) — мы в том или ином виде использовали формулу среднего арифметического, т. е. вычисляли суммы рейтингов восьми международных исследований с равными весами, считая исследования равноправными между собой. Однако если условно переписать формулу (1) в терминах самих международных исследований, согласно таблице 1, то получим такой результат:

или в форме средневзвешенного относительно включенности каждой из трех различных методологий:

Конечно, здесь приведена условная сумма, показывающая лишь, с какими весами (долями единицы) были учтены те или иные международные исследования в итоговом показателе качества. Нетрудно заметить, что результаты исследования в методологии TIMSS, входящие в сумму с весом, определяют половину всего показателя качества.

Таким образом, уместно говорить именно о средневзвешенном результате, даже при использовании формулы среднего арифметического. Разумеется, в этой связи чисто гипотетически было бы интересно понять, почему были выбраны те или иные весовые коэффициенты и чем исследование TIMSS для нас оказалось значимее, чем, например, PISA.

Приведенные выше две модифицированные формулы (2) и (3) оценки качества образования нельзя воспринимать как абсолютно исключающие друг друга варианты, скорее наоборот — они поддерживают друг друга в разных аспектах. Например, легко доказать, что при равных объемах стран-участниц (когда количество участников во всех восьми исследованиях оказалось одним и тем же) значения формул (2) и (3) вообще всегда совпадают:

Нам представляется, что для усредненной оценки качества образования по порядку величины пригодны обе формулы, но последняя позволяет провести более детальный покомпонентный анализ. Также, в отличие от ненормированного действующего варианта формулы (1), здесь появляется возможность отслеживать динамику показателя качества образования, хотя вопросы репрезентативности выборок учащихся до сих пор остаются краеугольным камнем всей системы подобных международных исследований.

По всей видимости, учитывая большой общественный резонанс относительно результатов оценки качества образования, а также беспрецедентность такого сравнения, целесообразно использовать различные подходы. Возможно, благодаря применению альтернативных подходов могут быть сделаны разные управленческие выводы, и в дальнейшем за счет сравнительного анализа результатов и последующих принятых решений оценка качества образования станет более адекватной.

1. Federal Service for Supervision in Education and Science. (2016). PISA-2015. Retrieved from link. (In Russian).
2. The Ministry of Education of the Russian Federation. (2019). The Order N 590/219 About assessment methodology and Basic Education quality assessment criteria approval in general education organisations based on the practice of International Studies of quality of students training. Retrieved from link. (In Russian).
3. The Ministry of Science and Higher Educaion of Russian Federation. (2016a). PIRLS-2016. Retrieved from link. (In Russian).
4. The Ministry of Science and Higher Educaion of Russian Federation. (2016b).TIMSS-2015. Retrieved from link. (In Russian).