ШКОЛЬНЫЙ АВТОБУС. ФОРМУЛА

Качество общего образования

О методиках и результатах интерпретируемой оценки
DOI 10.22394/2078−838Х−2020−3−32−37
  • Игорь Михайлович Реморенко
    д. п. н., доцент, ректор Московского городского педагогического университета (129 226, Москва, РФ, 2-й Сельскохозяйственный проезд, д. 4, корп. 1).
  • Сергей Алексеевич Зададаев
    к. физ.-мат. н., доцент, руководитель департамента математики Финансового университета при Правительстве Р Ф (125 993, Москва, РФ, Ленинградский пр-т, д. 49).
Аннотация
В исследовании обсуждаются различные подходы к проведению и интерпретации оценки качества общего образования в общеобразовательных организациях РФ на основании результатов ряда международных исследований (PIRLS, TIMSS и PISA). Предложены две альтернативные модификации утвержденного Министерством просвещения РФ средневзвешенного показателя качества образования и приведены их смысловые интерпретации на примере результатов оценки качества образования РФ в соответствующих международных исследованиях 2015−2016 гг.

Ключевые слова: Квалиметрия, оценка качества образования, международные исследования PIRLS, TIMSS, PISA.
Введение
Проблематика оценки качества общего образования вследствие реализации крупных государственных проектов наиболее ярко проявилась в Российской Федерации с начала нулевых годов XXI века. Это было связано с появлением такого общенационального инструмента проведения преобразований в различных направлениях социально-экономического развития, как «национальные проекты». Впервые о национальном проектировании было объявлено президентом РФ В. В. Путиным 5 сентября 2005 года на расширенном совещании с членами правительства, руководством Федерального собрания РФ и членами президиума Госсовета. До этой даты действия федерального правительства главным образом затрагивали либо лишь обеспечение текущего нормативного правового регулирования различных отраслей, либо осуществление методической поддержки или некоторых локальных проектов в различных регионах путем реализации небольших отраслевых федеральных целевых программ. В основном же реформирование осуществлялось на уровне субъектов РФ.
Оценка средневзвешенного показателя качества общего образования в РФ сверхоптимистична или завышена
Однако практика национальных проектов предполагала иной подход — сквозные меры масштабных реформ, единые для всех регионов. Благодаря позитивной конъюнктуре на рынке углеводородов финансирование национальных проектов в разы превысило объемы федеральных целевых программ и потребовало выработки общих показателей эффективности национальных проектов.

Первые показатели эффективности национального проекта «Образование» касались главным образом лишь оценки целевого назначения затрачиваемых ресурсов. Если речь шла о поддержке инновационных проектов школ, в качестве показателя эффективности рассматривалось количество поддерживаемых школ в каждом регионе. Если осуществлялись выплаты классным руководителям, говорилось об объемах перечисленных учителям средств. Лишь спустя несколько лет разговор зашел о необходимости оценивать не только целевое назначение спланированных ресурсов, но и эффекты от таких затрат, видеть, насколько результаты в самом деле системно сказываются на функционировании системы образования. Так среди показателей результативности национальных проектов появились показатели оценки качества образования.
Утвержденная методология и проблема интерпретации результатов
Строго говоря, одними из показателей оценки качества образования можно считать показатели единого государственного экзамена (ЕГЭ). Эта форма государственной итоговой аттестации также стала всеобщей вместе с развитием национального проектирования. Однако правительству не удалось найти релевантной формулы сравнения регионов по результатам ЕГЭ, очевидные риски фальсификации результатов при таком подходе были труднопреодолимы. При этом всегда возникал соблазн замерить результаты образования в международном контексте, ориентироваться на некую внешнюю, независимую «линейку» оценки качества образования. И действительно, с каждым годом появлялось все больше и больше инструментов такого сравнения. Все они применялись различного рода общественными движениями или организациями, чья деятельность затрагивала интересы разных стран. Россия охотно принимает участие практически во всех международных сопоставительных исследованиях качества образования.
Почему были выбраны те или иные весовые коэффициенты и чем TIMSS для нас оказалось значимее, чем PISA
Согласно этому документу, «средневзвешенный результат Российской Федерации в группе международных исследований, средневзвешенное место Российской Федерации (не ниже)» определяется посредством вычисления средневзвешенного (среднеарифметического) места РФ по результатам специально отобранных восьми популярных международных исследований качества образования. При этом «за бортом» рассмотрения остается ряд других исследований, в которых Россия также принимает участие — компьютерная и информационная грамотность обучающихся (ICILS), оценка уровня гражданского образования (ICCS), оценка учебно-предметных компетенций (SAM).

Для простоты восприятия приведем пример используемых в методологии конкретных значений восьми рейтингов, представленных в таблице 1, на 2015−2016 годы
Таблица 1.
и соответствующих вычислений средневзвешенного показателя качества образования в РФ по утвержденной методике (Приказ Министерства просвещения РФ № 590/219, п. 4.2.1 «Формула расчета показателя»):


(1)
Подставим в формулу (1) значения из четвертого столбца таблицы 1 и получим средневзвешенную оценку РФ на 2015−2016 годы по качеству общего образования:
Однако интерпретировать этот результат очень непросто. Если посчитать, что РФ заняла в среднем по всем восьми исследованиям примерно 13-е место в рейтинге, то возникает вопрос: «13-е место из какого количества стран?». Формула (1) усредняет места без учета объемов выборок, в которых они получены. Иными словами, 10-е место из 100 стран — не то же самое, что 10-е место из 10 стран. В первом случае речь идет о попадании в десятку сильнейших, а во втором — о попадании в самый конец списка.
Ясно, что в формуле среднего арифметического слагаемые должны быть принципиально сравнимы между собой. В нашем варианте (без учета количества участников того или иного исследования) места становятся в общем случае несравнимыми, а применение формулы (1) — чисто формальным. Но существует серьезное допущение, при котором значение удается интерпретировать корректно. Если предположить, что все не участвовавшие страны показали бы результат хуже нашего, тогда, очевидно, мы сохранили бы все свои места, и оценка стала бы корректной.

Итак, можно подытожить, что действующая оценка средневзвешенного показателя качества общего образования в РФ сверхоптимистична (или попросту завышена).
Простая нормировка средневзвешенного результата
Первое, что можно предложить для получения хоть сколько-нибудь реальной оценки общего образования в России по результатам данных восьми международных исследований — нормировать среднее место РФ на среднее количество стран-участниц. То есть образовать другой показатель, равный отношению среднего места () к среднему количеству стран-участниц:
В итоге получим уже интерпретируемый показатель, по структуре чем-то напоминающий формулу классической вероятности:



(2)
После подстановки в формулу (2) данных четвертого и пятого столбцов таблицы 1 получим нормированную средневзвешенную оценку РФ на 2015−2016 годы по качеству общего образования:
Это уже реальная оценка места РФ — «мы занимаем примерно 24-е место из первой сотни стран», или лучше так: «мы оказались в первых 24% всех стран», не уточняя, сколько их было на самом деле. Но этот вывод не про среднее! Здесь речь идет скорее о некотором виртуальном мега-исследовании, объединяющем все восемь исследований, где растворены друг в друге предметы, возрасты респондентов и методики. Отношение средних не есть среднее, так что получилась все-таки достаточно эфемерной величиной.
Еще одним очевидным недостатком данного показателя является принципиальная невозможность оценить вклад каждого отдельного исследования — слишком уж здесь все перемешано. Впрочем, этим недостатком обладает и ненормированный показатель из-за несравнимости мест при разных объемах выборок.
Усреднение нормированных результатов
Теперь попробуем поступить ровно наоборот: сначала нормировать результаты по каждому исследованию, т. е. образовать для всех восьми рейтингов соответствующие доли
(между прочим, уже сравнимые между собой), а затем их усреднить, образовав улучшенный средневзвешенный показатель качества образования:



(3)
Вычисления по последней формуле (3) с данными таблицы 1 дают нам следующее значение показателя:
что может быть интерпретировано как «в среднем по методикам оценки качества общего образования РФ находится в первых 21,7% стран мира» или «в среднем по методикам оценки качества общего образования РФ занимает 22-е место из первой сотни стран». Интересно, что результат оказался сравним с предыдущим, но чуть выше.

Нельзя сказать, что последний вариант абсолютно идеален с точки зрения содержания. Мы должны понимать, что 6-е место из 20 стран будет пропорционально трансформировано в 30-е место из 100 стран — таково свойство примененной нормировки, и в этом есть своя логика «реальности». Вместе с тем входящие в сумму слагаемые представляют собой нормированные доли общего среднего и теперь легко интерпретируются по значимости вклада.
Средневзвешенное или среднее арифметическое
До сих пор мы обсуждали способы нормировки показателя качества образования в РФ в попытке получить интерпретируемый результат. Во всех трех случаях — в исходном министерском варианте формулы (1) и двух нормированных формулах (2) и (3) — мы в том или ином виде использовали формулу среднего арифметического, т. е. вычисляли суммы рейтингов восьми международных исследований с равными весами, считая исследования равноправными между собой. Однако если условно переписать формулу (1) в терминах самих международных исследований, согласно таблице 1, то получим такой результат:
или в форме средневзвешенного относительно включенности каждой из трех различных методологий:
Конечно, здесь приведена условная сумма, показывающая лишь, с какими весами (долями единицы) были учтены те или иные международные исследования в итоговом показателе качества. Нетрудно заметить, что результаты исследования в методологии TIMSS, входящие в сумму с весом, определяют половину всего показателя качества.

Таким образом, уместно говорить именно о средневзвешенном результате, даже при использовании формулы среднего арифметического. Разумеется, в этой связи чисто гипотетически было бы интересно понять, почему были выбраны те или иные весовые коэффициенты и чем исследование TIMSS для нас оказалось значимее, чем, например, PISA.
Заключение
Приведенные выше две модифицированные формулы (2) и (3) оценки качества образования нельзя воспринимать как абсолютно исключающие друг друга варианты, скорее наоборот — они поддерживают друг друга в разных аспектах. Например, легко доказать, что при равных объемах стран-участниц (когда количество участников во всех восьми исследованиях оказалось одним и тем же) значения формул (2) и (3) вообще всегда совпадают:
Нам представляется, что для усредненной оценки качества образования по порядку величины пригодны обе формулы, но последняя позволяет провести более детальный покомпонентный анализ. Также, в отличие от ненормированного действующего варианта формулы (1), здесь появляется возможность отслеживать динамику показателя качества образования, хотя вопросы репрезентативности выборок учащихся до сих пор остаются краеугольным камнем всей системы подобных международных исследований.

По всей видимости, учитывая большой общественный резонанс относительно результатов оценки качества образования, а также беспрецедентность такого сравнения, целесообразно использовать различные подходы. Возможно, благодаря применению альтернативных подходов могут быть сделаны разные управленческие выводы, и в дальнейшем за счет сравнительного анализа результатов и последующих принятых решений оценка качества образования станет более адекватной.
Литература
1. Министерство просвещения РФ: Приказ от 6 мая 2019 года № 590/219 «Об утверждении Методологии и критериев оценки качества общего образования в общеобразовательных организациях на основе практики международных исследований качества подготовки обучающихся» (с изменениями на 24 декабря 2019 года) [Электронный ресурс]. (дата обращения: 12.08.2020).

2. PIRLS-2016 [Электронный ресурс]. (дата обращения: 12.08.2020).

3. TIMSS-2015 [Электронный ресурс]. (дата обращения: 12.08.2020).

4. PISA-2015 [Электронный ресурс]. URL: (дата обращения: 12.08.2020).
General education quality. About methods and results of the interpreted assessment
  • Igor M. REMORENKO
    Doctor of Education, Associate Professor, Rector of Moscow City University (4/1, 2nd Selskokhozyaistvenny proezd, 129 226, Moscow, Russian Federation).
  • Sergey А. ZADADAEV
    Phd in Physics and Mathematics, Associate Professor, Head of Mathematics department of Financial University under the Goverment of the Russian Federation (49, Leningradsky pr., 125 993, Moscow, Russian Federation).
Abstract
The study discusses various approaches to conducting and interpreting the assessment of the quality of General education in General education organizations Russian Federation based on the results of a number of international studies (PIRLS, TIMSS and PISA). Two alternative modifications of the approved The Ministry of education of the Russian Federation of the weighted average indicator of the quality of education and their semantic interpretations are given on the example of the results of the assessment of the quality of education in the Russian Federation in the relevant international studies 2015−2016.

Key words: qualimetry, education quality control, PIRLS, TIMSS, PISA.
References
  1. Federal Service for Supervision in Education and Science. (2016). PISA-2015. Retrieved from link. (In Russian).
  2. The Ministry of Education of the Russian Federation. (2019). The Order N 590/219 About assessment methodology and Basic Education quality assessment criteria approval in general education organisations based on the practice of International Studies of quality of students training. Retrieved from link. (In Russian).
  3. The Ministry of Science and Higher Educaion of Russian Federation. (2016a). PIRLS-2016. Retrieved from link. (In Russian).
  4. The Ministry of Science and Higher Educaion of Russian Federation. (2016b).TIMSS-2015. Retrieved from link. (In Russian).
Если статья была для вас полезной, расскажите о ней друзьям. Спасибо!