РУЛЕВОЕ КОЛЕСО. ФОКУСНИКИ В ФОКУСЕ
Условия образовательной деятельности
Независимая оценка качества
DOI:10.22394/2078−838Х−2020−1−60−74
  • Семён Васильевич ЯНКЕВИЧ

    к. ю. н., заведующий Лабораторией образовательного права Института образования НИУ ВШЭ (101 000, РФ, Москва, Потаповский пер., д. 16, стр. 10).
  • Надежда Владимировна КНЯГИНИНА
    научный сотрудник Лаборатории образовательного права Института образования НИУ ВШЭ (101 000, РФ, Москва, Потаповский пер., д. 16, стр. 10).
  • Евгений Вадимович ПУЧКОВ

    аналитик Лаборатории образовательного права Института образования НИУ ВШЭ (101 000, РФ, Москва, Потаповский пер., д. 16, стр. 10).
Аннотация
Исследование посвящено системе независимой оценки качества условий осуществления образовательной деятельности (НОКО). Полученные выводы авторы обсуждают в рамках интервью с 10 респондентами-экспертами, имеющими опыт работы с системой независимой оценки качества образованиях на разных уровнях.

Авторы приходят к выводу, что на текущий день система независимой оценки качества условий осуществления образовательной деятельности не используется в качестве реального управленческого или мониторингового инструмента в регионах, результаты такой оценки представляют собой формальные отчеты, повторяющиеся из года в год и, как правило, не учитывающие особенностей локальных и региональных образовательных систем.

Эксперты, с которыми проводилось интервью, не видят смысла в текущей реализации процедур независимой оценки качества условий осуществления образовательной деятельности. У них присутствует внутреннее убеждение, что система не решает важных общественных задач, но может формально подтверждать наличие демократических институтов. Вместе с тем некоторые из экспертов отметили, что «бесполезность» процедур имеет побочный эффект для работы системы образования: организация процедур требует времени и финансовых ресурсов.

Регулирование системы НОКО на текущий момент сконцентрировано на федеральном уровне. Представляется, что федеральные критерии для независимой оценки качества условий осуществления образовательной деятельности должны носить рамочный характер, а конкретные показатели, по которым проводится оценка, устанавливаться на региональном уровне. Такой подход позволит учитывать специфику работы региональной системы образования и существующих в регионе условий и вместе с этим обеспечит использование результатов оценки при принятии управленческих решений.

Ключевые слова
Образование, независимая оценка качества образования, качество, условия, образовательная деятельность, НОКО.
Статья подготовлена по результатам экспертно-аналитического исследования «Проблемы формирования и развития независимой системы оценки качества образования, общественно-профессиональной аккредитации образовательных программ и общественной аккредитации образовательных организаций и их учет в системе государственной регламентации. Анализ правоприменения и разработка предложений по нормативным правовым изменениям» по заказу Государственной думы Федерального собрания Российской Федерации в 2019 году.
Введение
Очередной виток дискуссий о качестве школьного образования начался после публикации результатов международного исследования оценки образовательных достижений PISA-2018 (Programme for International Student Assessment), которое показало снижение качества российского школьного образования за последние годы, а также указало на тревожные для образовательной системы тенденции, касающиеся климата внутри образовательной организации (The Organisation for Economic Co-operation and Development, 2019). Авторы задаются вопросом, почему система независимой оценки качества образования (далее — НОКО), действующая в стране, или хотя бы независимая оценка качества условий осуществления образовательной деятельности (далее — НОК условий) не предоставила подтверждения или опровержения таких результатов, как и в целом не давала каких-либо значимых сигналов об изменениях в качестве образования.
Органы власти разных уровней обязаны размещать результаты НОК условий в единой федеральной информационной базе
Гипотеза представленного исследования заключается в том, что в настоящее время система НОК условий не используется в качестве реального управленческого или мониторингового инструмента в регионах, а результаты такой оценки представляют собой формальные отчеты, повторяющиеся из года в год и, как правило, не учитывающие особенностей локальных и региональных образовательных систем. Более того, представляется, что сравнение регионов между собой через единый федеральный портал подталкивает к завышению показателей НОК условий и замалчиванию выявляемых проблем. Данную тенденцию подтверждают результаты качественного социологического исследования. Выбор регионального уровня для исследования обусловлен тем, что большинство образовательных организаций, подлежащих НОК условий, имеют региональных и муниципальных учредителей.

Чтобы проверить, действительно ли НОК условий не реализует заложенный потенциал, был проведен анализ регионального законодательства и правоприменительной практики. На втором этапе исследования были проведены интервью с федеральными и региональными экспертами, задействованными в работе системы НОКО.
Методология исследования
Исследование было построено следующим образом. Во-первых, были проанализированы положения федерального законодательства и нормативных правовых актов всех субъектов Российской Федерации, регламентирующих систему НОК условий на региональном уровне.

Во-вторых, был проведен анализ правоприменительной практики на основании материалов, опубликованных на официальном сайте для размещения информации о государственных (муниципальных) учреждениях (bus.gov.ru).

В соответствии с законодательством учреждение формирует и предоставляет информацию в электронном структурированном виде, а также обеспечивает открытость и доступность документов, имеющих учредительный характер. На портале размещается информация о результатах НОК условий оказания услуг в соответствии с показателями, определенными ч. 4 ст. 95.2 Федерального закона «Об образовании в РФ» и приказами Минобрнауки и Минпросвещения России (содержание приказов идентичное).
В большинстве субъектов Российской Федерации отсутствуют внятные цели и задачи НОКО, а также самостоятельно сформированный методологический аппарат НОК условий
Данный портал был создан в соответствии с ч. 3.5 ст. 32 Федерального закона от 12 января 1996 г. № 7-ФЗ «О некоммерческих организа-циях», ч. 14 ст. 2 Федерального закона от 3 ноября 2006 г. № 174-Ф3 «Об автономных учреждениях» и Приказом Министерства финансов Российской Федерации от 21 июля 2011 г. № 86н. Функционирует с 1 января 2012 г.
Приказ Министерства науки и высшего образования РФ от 15 апреля 2019 № 31н; Приказ Министерства науки и высшего образования РФ от 15 апреля 2019 № 30н; Приказ Министерства Просвещения Р Ф от 13 марта 2019 № 114.
В-третьих, в целях выявления позитивного опыта и проблем реализации НОК условий было проведено качественное исследование — экспертное интервью. Интервью проводились в июне — сентябре 2019 г. с использованием метода неструктурированных экспертных интервью. Респонденты рассказывали о своем опыте участия в процедурах НОК условий.

В исследовании приняли участие 10 экспертов-респондентов из трех групп:

  • эксперты, имеющие опыт в управлении системой образования на федеральном уровне («федеральные чиновники»);
  • эксперты, имеющие опыт в управлении системой образования на региональном уровне («региональные чиновники»);
  • эксперты, задействованные в работе системы НОКО («эксперты системы независимой оценки»).
Правовое регулирование
В России качество образования традиционно находится в государственном поле зрения. Инструментом подтверждения качества образования считается государственная аккредитация образовательных программ. На практике она выступает как формальный инструмент государственного контроля документооборота (Янкевич и др., 2019). В некоторой степени оценивать качество образования можно на основе результатов государственной итоговой аттестации (ОГЭ и ЕГЭ), а также проводимых в школах национальных исследований качества образования, всероссийских проверочных работ, разнообразных мониторингов и региональных исследований. Обычно широкой публике результаты таких исследований и мониторингов предоставляются в обобщенном виде, а исходные данные, позволяющие провести альтернативное независимое исследование, недоступны как для широкой публики, так и для экспертного сообщества.
На негосударственном уровне проводятся отдельные независимые исследования, действует ряд организаций, осуществляющих профессионально-общественную аккредитацию (для организаций высшего образования) или конкурсы профессионального мастерства (для среднего профессионального образования). Образовательные организации проводят для себя процедуры самооценки и самообследования. Однако результаты всех этих процедур не позволяют судить о качестве образования в масштабах страны.

С принятием Федерального закона от 29 декабря 2012 г. № 273-ФЗ «Об образовании в Российской Федерации» (далее — Закон об образовании) в законодательстве появился новый инструмент: система независимой оценки качества образования. Изначально статья, регулирующая эту систему, была написана очень рамочно. Фактически в ней указывалось, что в системе образования возможна независимая оценка тех или иных показателей. Статья также охватывала национальные и международные исследования, проводимые негосударственными независимыми операторами. Для образовательной системы наличие такого института — положительное явление, так как независимость может внести существенный вклад в объективность оценки работы системы.
В дальнейшем система НОКО претерпела ряд изменений:

  • процедуры НОКО получили достаточно детализированное описание в Законе об образовании;
  • произошло разделение на НОК условий и независимую оценку качества подготовки обучающихся;
  • введен принцип конкурсного отбора операторов НОК условий.

Предметом исследования является работа НОК условий осуществления образовательной деятельности. Сейчас эта система в общих чертах работает следующим образом: общественные палаты разных уровней формируют общественные советы, которые готовят доклады с результатами НОК условий и дают рекомендации органам управления соответствующих уровней. Показатели НОК условий с 2014 г. утверждаются на федеральном уровне. В НОК условий участвуют образовательные организации разных уровней (от детского сада до университета).
Федеральный закон от 21 июля 2014 г. № 256-ФЗ.
Там же.
Общественные советы получают материалы для подготовки докладов и рекомендаций от специальной организации — оператора. Появление таких организаций-операторов — попытка ввести в работу системы дополнительного независимого игрока: оператор определяется по результатам конкурса. На практике это приводит к тому, что операторами иногда становятся организации, находящиеся за пределами субъекта Российской Федерации, незнакомые с особенностями региональной системы образования, выполняющие формальные процедуры по сбору данных, результаты которых не могут быть использованы при принятии управленческих решений. Эти операторы разрабатывают типовые формы опросов потребителей образовательных услуг по федеральным показателям и проводят базовые социологические исследования, используя результаты ответов на эти опросы.

Федеральные показатели устанавливаются приказами Минобрнауки России и Минпросвещения России (см. выше). Показатели сгруппированы по 5 критериям: 1) открытость и доступность информации об организациях, осуществляющих образовательную деятельность; 2) комфортность условий, в которых осуществляется образовательная деятельность; 3) доброжелательность, вежливость работников; 4) удовлетворенность условиями ведения образовательной деятельности организаций; 5) доступность услуг для инвалидов. Федеральные показатели раскрывают эти критерии достаточно поверхностно. Система критериев является единой для всех государственных органов, подвергаемых независимой оценке качества условий, включая медицинские организации и учреждения культуры.
Большинство критериев оценивается через долю удовлетворенных соответствующим абстрактным критерием (например, вежливость) получателей образовательных услуг (без какой-либо конкретизации). В тех случаях, когда показатель не ограничивается долей удовлетворенных потребителей, он оценивается технически. Например, комфортность условий оценивается через наличие зоны отдыха (ожидания).

Результаты НОК условий стали одним из критериев эффективности работы высших должностных лиц субъектов Российской Федерации и органов исполнительной власти субъектов Российской Федерации, осуществляющих государственное управление в сфере образования. Органы власти разных уровней обязаны размещать результаты НОК условий в единой федеральной информационной базе.
Федеральный закон от 5 декабря 2017 г. № 392-ФЗ.
Результаты анализа регионального законодательства
Обычно состояние регионального законодательства отражает то, насколько «жив» тот или иной институт на региональном уровне. Если регулирование подробное, отражает местную специфику, а жесткие федеральные ограничения по регулированию отсутствуют, то вероятно, что в отношении предмета регулирования идет активная работа.

В некоторых субъектах Российской Федерации действуют лишь программные документы, предполагающие проведение НОК условий. В тех субъектах, в которых существует соответствующее правовое регулирование, оно единообразно среди разных регионов, не отражает специфику образовательной системы региона и слабо отличается от федерального законодательства. В большинстве субъектов Российской Федерации отсутствуют внятные цели и задачи НОКО, а также самостоятельно сформированный методологический аппарат НОК условий. Учет различий между школами, включая расположение, контингент и другие факторы, не происходит.

Несмотря на федеральное регулирование, теоретически процедура НОК условий могла бы в большей степени регулироваться региональным законодателем (в том числе через формирование условий для деятельности оператора). Однако на практике этого не происходит.
Анализ регионального законодательства позволяет заключить, что система работает для генерации отчетов: результаты собираются, формализуются и конкретизируются таким образом, чтобы соответствовать критериям, заложенным на федеральном уровне. И даже «отчетная» функция системы реализуется неполноценно. Результаты НОК условий должны размещаться на едином федеральном портале (bus.gov.ru). Однако данное требование не выполняется или выполняется с существенной задержкой частью регионов (например, Московской и Калининградской областями). В ряде регионов результаты НОК условий опубликованы в отношении нескольких образовательных организаций либо организаций отдельных муниципальных образований (например, в Тульской области). Нередко аналитические отчеты о мероприятиях и результатах опубликованы на официальном сайте регионального органа управления образованием, но не размещены на портале bus.gov.ru.
Результаты исследования правоприменительной практики
По состоянию на июль 2019 г. на портале bus.gov.ru была размещена информация о процедуре независимой оценки 107 288 образовательных организаций за 2015−2019 гг. Данный показатель невозможно соотнести в процентном соотношении с общим количеством образовательных организаций в России, так как во многих образовательных организациях (и на уровне федеральных образовательных учреждений), согласно данным портала, процедура независимой оценки не проходила ни разу за 2015−2019 гг. (с учетом плана на 2019 г.), несмотря на то, что по Закону об образовании НОК условий должна проводиться не реже чем раз в три года. При этом во многих регионах НОК условий проводится ежегодно.

Количество образовательных организаций, в отношении которых была проведена НОК условий, сильно отличается от субъекта к субъекту и не коррелирует с количеством образовательных учреждений в том или ином субъекте федерации. Также некоторые регионы зачастую не проводят НОК условий или проводят для небольшого числа образовательных организаций. В 2018 г. НОК условий не была запланирована в шести субъектах Российской Федерации, а в 19 субъектах процедуру НОК условий прошло менее 100 образовательных организаций (в том числе в Красноярском крае, Ленинградской и Владимирской областях). При этом общее выполнение плана НОК условий на 2018 г. составляет всего 77% (17 763 из 23 219 образовательных организаций, в отношении которых процедура должна была быть проведена). Возможно, это следствие несовершенства процедуры публикации результатов на портале и соответствующих задержек.
Республика Ингушетия, Вологодская, Кировская, Псковская и Самарская области, Чукотский автономный округ, город Севастополь, а также на уровне федеральных образовательных организаций.
Для подробного анализа правоприменительной практики было выбрано несколько субъектов Российской Федерации, которые на протяжении последних двух лет (2017 и 2018 гг.) имели максимальное количество образовательных организаций, в которых была проведена процедура независимой оценки условий образования, результаты которой были опубликованы на портале bus.gov.ru. Все они находятся на территории европейской части России (табл. 1). Также была изучена подробная статистика по выполнению внутренних планов проведения НОК условий в данных субъектах (табл. 2).
Таблица 1. Количество образовательных организаций в анализируемых субъектах

[7] В плане на 2018 г. значатся 504 образовательных организации, однако информация еще не опубликована.
Таблица 2. Статистика по проведению НОК условий в 2017 и 2018 гг. в выбранных субъектах (по данным портала bus.gov.ru на июль 2018 г.)
Основным препятствием для всестороннего анализа результатов НОК условий как внутри субъекта федерации, так и среди нескольких субъектов являются сильные качественные и количественные различия между публикуемыми на портале bus.gov.ru документами. Результаты НОК условий, для подготовки которых привлекались аналитические или исследовательские агентства, представляют собой наиболее детальные доступные документы. Например, в отчете по региональным образовательным организациям Иркутской области за 2018 г. (54 общеобразовательные организации и 44 организации дополнительного образования) содержатся как рекомендации отдельным образовательным организациям, так и общие рекомендации, выделяющие наиболее часто встречающиеся проблемы или ошибки, допущенные администрациями образовательных организаций.

Оценка по унифицированным критериям выставляется в виде баллов (и доступна только в виде суммы баллов по каждому укрупненному критерию), что не позволяет однозначно сравнить образовательные организации друг с другом в связи с большой дисперсией. В формулировании методик оценивания возможны ситуации, когда в разных регионах за одни и те же недостатки отнимают различное число баллов или когда 5 мелких недостатков отнимают в сумме больше баллов, чем один крупный.
URL: https://bus.gov.ru/pub/independentRating/detailsNew/50124 (дата обращения: 19.07.2019)
С другой стороны, результаты НОК условий во многих субъектах зачастую являются неполными или в них отсутствует аналитическая часть. Например, в результатах НОК условий Московской области за 2017 г. представлена лишь таблица, в которой агрегированы пожелания по каждой отдельной школе, но не представлена аналитическая работа по выявлению общих трендов и системных проблем региона. Отчет Челябинской области за 2017 г. не содержит каких-либо рекомендаций (НОК условий была проведена для 1373 образовательных организаций). Аналогичная ситуация с отчетом Санкт-Петербурга в 2017 г. (1294 «оцененные» образовательные организации). Отчет по результатам НОК условий Челябинской области за 2018 г. выполнен в форме презентации и не содержит конкретных рекомендаций, позволяющих сделать выводы о ситуации в регионе.
Результаты НОК условий во многих субъектах зачастую являются неполными, или в них отсутствует аналитическая часть
URL: https://bus.gov.ru/pub/independentRating/detailsNew/33981 (дата обращения: 19.07.2019)
URL: https://bus.gov.ru/pub/independentRating/detailsNew/22041 (дата обращения: 19.07.2019)
URL: https://bus.gov.ru/pub/independentRating/detailsNew/21084 (дата обращения: 19.07.2019)
URL: https://bus.gov.ru/pub/independentRating/detailsNew/43381 (дата обращения: 19.07.2019)
В большинстве случаев отмечается формальный подход при демонстрации результатов и выработке рекомендаций. Даже сравнительно небольшой период для исследования (два года) и ограничение по числу субъектов позволили выявить широко распространенные факты использования одинаковых формулировок для описания основных недостатков. Так, среди 68 отчетов из Республики Татарстан общая рекомендация «улучшение материально-технической базы» встречается не менее чем в 30 отчетах (примерно 44%), а в Московской области такая рекомендация дана 437 образовательным организациям (примерно 12%). При этом лишь в немногих из муниципальных образований дается конкретное описание того, в чем заключаются недостатки материально-технической базы в каждой школе. Так, в отчетах Муслюмовского муниципального района Республики Татарстан отмечается: «…необходимо пополнить современным оборудованием, требуются интерактивные доски, проекторы, принтеры, новые ноутбуки для учителей, качественные парты, шкафы и столы в класс-кабинетах. Во многих учреждениях лампы накаливания либо устаревшие лампы дневного освещения необходимо заменить новыми лампами дневного освещения. Недостаточна обеспеченность спортинвентарем, нужны лыжи, мячи, гимнастические маты. Необходимо обновить или построить хоккейные корды (Михайловская средняя общеобразовательная школа, Баюковская, Амикеевская, Мари-Булярская основные общеобразовательные школы)». Такие отчеты позволяют органу управления образованием как на уровне муниципалитета, так и на уровне региона принимать более взвешенные и необходимые управленческие решения, а исследователям и аналитикам в сфере образования — получать информацию о состоянии условий осуществления образования. Хотя стоит отметить, что формулировки в вышеупомянутых отчетах Муслюмовского муниципального района Республики Татарстан успешно повторяются как минимум два года подряд, что говорит о том, что учредитель не спешит реагировать на выявленные проблемы.
URL: https://bus.gov.ru/pub/independentRating/detailsNew/3595 (дата обращения: 19.07.2019)
Как следует из анализа результатов НОК условий в разных субъектах Российской Федерации, самыми распространенными являются нарушения, связанные с информационной открытостью деятельности образовательных организаций. Например, отчет с рекомендациями по Санкт-Петербургу за 2018 г. (723 образовательные организации) полностью фокусируется лишь на этом показателе. Это может быть связано с тем, что данный показатель легче всего проверить по принципу «присутствует или отсутствует информация».

Еще одной проблемной сферой является организация обучения детей с ограниченными возможностями здоровья и детей-инвалидов. В Московской области рекомендация по улучшению работы по предоставлению услуг для детей с ограниченными возможностями здоровья и инвалидностью была дана 331 образовательной организации (9%), в Татарстане она содержится в 35 отчетах (54%), а в Краснодарском крае — в 38 (56%). В рекомендациях используются общие формулировки, которые не дают представления о реальных проблемах.
URL: https://bus.gov.ru/pub/independentRating/detailsNew/41822 (дата обращения: 19.07.2019)
Похожая ситуация наблюдается с показателями, касающимися материального обеспечения и наличия специальных служб. Конкретные рекомендации по улучшению отдельных аспектов материально-технической базы встречаются крайне редко, чуть чаще — общие указания, следующие из критериев проведения НОК условий (например, «обновить зону отдыха» или «обновить фонд учебников»). В Московской области часто школам предлагают «укреплять материально-техническую базу путем привлечения большего числа обучающихся к платным образовательным услугам». В Республике Татарстан часто используется формулировка «изыскать возможность», чаще всего в отношении организации оказания психолого-педагогической, медицинской и социальной помощи в образовательных организациях. В целом организация психолого-педагогической, медицинской и социальной помощи является проблемой для образовательных организаций Московской области — такая рекомендация выдана 998 образовательным организациям (28%).

Наиболее формальной является группа показателей, связанных с доброжелательностью работников образовательных организаций. В рекомендациях часто используются следующие формулировки: «улучшить взаимодействие с получателями услуг»; «повысить квалификационный уровень и компетентность сотрудников организации»; «повысить качество оказываемых услуг» или «повысить доброжелательность и вежливость работников организации в отношении получателей образовательных услуг».
Унифицированные федеральные показатели, единый федеральный информационный портал и учет результатов НОК условий при оценке эффективности деятельности высших должностных лиц субъекта не привел к созданию единообразной базы данных о качестве условий осуществления образовательной деятельности с возможностью представления и обобщения результатов. С другой стороны, работа этой централизованной системы не демонстрирует перспектив полезного применения результатов НОК условий: выборки организаций фрагментарны, рекомендации отсутствуют или носят типовой характер, оценка качества условий производится «широкими мазками» и не отражает специфики регионов и образовательных организаций.
Утраченная лучшая практика
Текущее состояние системы НОК условий не означает, что в принципе независимая оценка в системе образования не может использоваться потребителями образовательных услуг, образовательными организациями и органами управления образованием. Позитивным опытом реализации НОКО обладает Ямало-Ненецкий автономный округ. В Ямало-Ненецком автономном округе работы по развитию региональной системы оценки качества образования ведутся с 2004 г. Логика функционирования НОКО на региональном уровне строится от запросов заказчиков и потребителей, постановки целей и задач оценки, определения субъектов и объектов оценки, выбора процедур, определения показателей и индикаторов до проведения оценки, интерпретации полученных результатов для принятия управленческих решений, направленных на повышение качества образования.

В округе было принято решение отойти от ведомственного принципа составления рейтинга, когда все образовательные организации оцениваются по единой системе критериев, а в результате формируется итоговый рейтинг образовательных организаций субъекта Российской Федерации. Вместо этого использовалась сравнительная оценка образовательных организаций в разрезе отдельных категорий — кластеров.

Такой подход позволяет учитывать специфику характеристик и факторов, влияющих на качество предоставления образовательных услуг: территориальное расположение, направленность образовательных программ, особенности контингента обучающихся.

В рамках построения системы НОКО в Ямало-Ненецком автономном округе была разработана критериальная база, показатели и индикаторы для рейтингования образовательных организаций, выделены 8 кластеров:

  • Кластер 1. Инновационные образовательные учреждения, гимназии, лицеи, школы с углубленным изучением отдельных предметов.
  • Кластер 2. Большие городские школы с количеством учащихся в выпускных классах более 30.
  • Кластер 3. Небольшие городские школы с количеством учащихся в выпускных классах менее 30.
  • Кластер 4. Основные школы.
  • Кластер 5. Сельские школы.
  • Кластер 6. Сельские школы-интернаты.
  • Кластер 7. Начальные школы.
  • Кластер 8. Вечерние школы.
См. абз. 4 п. 3.2.1 Положения о независимой системе оценки качества работы образовательных организаций Ямало-Ненецкого автономного округа (утверждено Приказом Департамента образования Ямало-Ненецкого автономного округа от 21 марта 2014 г. № 454).
Самыми распространенными являются нарушения, связанные с информационной открытостью деятельности образовательных организаций

Для каждого кластера был сформирован свой набор критериев, показателей и индикаторов, например доля детей из числа коренных малочисленных народов Севера (кластер «Сельские школы-интернаты»), наличие двух и более профилей на старшей ступени обучения (кластеры «Сельские школы», «Сельские школы-интернаты», «Небольшие городские школы с количеством учащихся в выпускных классах менее 30»). Кроме этого, существовали и общие показатели для всех кластеров: использование в образовательном процессе интернет-ресурсов, наличие столовой, наличие пропускного режима и др.

Основной позицией анализа стало выделение показателей трех типов:

  • «точки массового прорыва» — показатели, которые имеют очень высокий уровень по всем образовательным организациям (более 90% образовательных организаций показывают значения выше среднего в кластере);
  • «точки роста» — показатели, у которых есть возможность для роста (больше 70% образовательных организаций имеют высокие значения по показателю);
  • «точки массового провала» — показатели, по которым большинство школ имеют низкий уровень (более 60% образовательных организаций получили 0 баллов).
Построение данного рейтинга было ориентировано на дальнейшее развитие образовательных организаций. В связи с этим образовательной организации необходимо было предоставить возможность понять, чем определена ее позиция в рейтинге, увидеть свои сильные и слабые стороны, спланировать шаг развития. Для удовлетворения данной потребности специалистами регионального центра оценки качества образования формировались следующие информационные продукты для каждой образовательной организации: рейтинг для директора; точки провала и точки роста образовательной организации; реестр затруднений учеников и учителей; рекомендации для каждой образовательной организации и сопоставление результатов со средними показателями в кластере похожих организаций; комплекс мер поддержки образовательных организаций, работающих со сложным контингентом и в сложных условиях.

В 2014—2016 гг. НОКО по описанной методике прошли 193 дошкольные образовательные организации, 130 общеобразовательных организаций, 39 организаций дополнительного образования и 6 профессиональных образовательных организаций.
Позитивным опытом реализации НОКО обладает Ямало-Ненецкий автономный округ
После 2016 г. Ямало-Ненецкий автономный округ уже не проводил НОКО по представленной модели. Это связано с тем, что появились унифицированные показатели НОК условий на федеральном уровне, федеральная методика не предполагала кластерного подхода к оценке деятельности образовательных организаций. Аккумулируемые данные в логике действующей модели НОК условий перестали являться для региона значимым основанием для принятия управленческих решений. В то же время проведение фактически двух независимых оценок — в соответствии с федеральным законодательством и региональной методикой — требует больших финансовых ресурсов, что заставляет регион делать выбор в пользу федеральной системы. При этом в нормативно-правовой документации и в результатах независимой оценки качества оказания услуг продолжают использоваться сформированные ранее кластеры, хотя получаемые образовательными организациями рекомендации приблизились к общероссийским — с превалированием общих формулировок и большим количеством замечаний по ведению сайтов образовательных организаций.

Сформированная в 2013—2016 гг. в Ямало-Ненецком автономном округе модель НОКО представляется эффективным инструментом управления региональной системой образования, поскольку позволяет учитывать такие особенности региональных систем образования, как территориальная дифференциация, различия в контингенте, различия в типах образовательных организаций и особенности образовательных программ. Элементы данной модели представляют интерес в целях реформирования действующей системы и построения оптимальной модели НОК условий.
См. п. 3 Порядка НОКО организаций, оказывающих услуги в сфере образования Ямало-Ненецкого автономного округа (утвержден Приказом Департамента образования Ямало-Ненецкого автономного округа от 4 мая 2016 г. № 638).
URL: https://bus.gov.ru/public-rating/api/normativedocuments/449 296 (дата обращения 25.12.2019)
Результаты анализа интервью
Федеральные и региональные чиновники, работники системы независимой оценки, а также представители образовательных организаций продемонстрировали следующее понимание системы НОКО и НОК условий.

Необходимость НОКО не оспаривается («Вообще, идея правильная — мы должны учитывать общественное мнение, а независимость оценки позволила бы нам видеть, как реально обстоит дело на местах», — говорит региональный чиновник). Однако к реализации работы системы возникает множество вопросов. «На федеральном уровне у нас возникла система, но не концепция», — говорит эксперт системы независимой оценки.

Эксперты сходятся во мнении, что по формальным признакам система НОК условий работает как часы. Информация оперативно собирается и загружается на информационный портал «Официальный сайт для размещения информации о государственных (муниципальных) учреждениях» (https://bus.gov.ru). Один из региональных экспертов, однако, указал, что перебои в работе случаются со стороны портала («плохо работает программа, зависает и выдает ошибки»). Единогласно утверждается, что со стороны регионального уровня все обязательства по работе с порталом выполняются, а система построена таким образом, что нарушения исключены. Хотя постоянные изменения в законодательстве в данной сфере вынуждают регулярно вносить изменения в региональные акты и процедуры.
Отношение к выполнению этих обязательств отличается. Эксперты системы независимой оценки, вовлеченные в реализацию процедур, утверждают, что выполняют все, что от них требуется, а также пытаются реализовать собственные проекты в не охваченных системой слотах. Складывается представление, что работа в рамках федеральных обязательств на данных, собранных внешним оператором, воспринимается как необходимая формальность. Региональные чиновники при обсуждении НОК условий задаются вопросами «кому это нужно?», «зачем это нужно?». Один из региональных чиновников предположил, что система работает «для галочки». В целом отношение к системе как к бесполезной в ее нынешней реализации встречается у всех опрошенных по этой теме экспертов в большей или меньшей степени.

Чиновники из региона, где есть средства на развитие системы образования, говорят, что предпочли бы выстраивать собственную систему независимой оценки с учетом региональной специфики, при этом часть таких процедур они реализуют, но федеральная система больше мешает, чем помогает. Исполнение обязанностей по ее функционированию отнимает время у работников системы образования, а также привносит дополнительные бюрократические процедуры. В регионе, где наблюдается бюджетный дефицит во всех сферах, включая образование, а уровень жизни достаточно низкий, чиновника в работе системы возмущает, что деньги, которые выделяются на проведение конкурса, «уходят» московской компании, имеющей большой опыт и широкий охват регионов (заказчиков) в данной сфере, способной за счет этого установить низкую цену («почти в 10 раз ниже, чем мы закладывали»), формально выполняющей все требования конкурсной документации и законодательства. Эти результаты идеально соответствуют тому, что нужно загружать на федеральный портал. Однако они являются бесполезными для региона (не учитывают специфики, являются основой для стандартных рекомендаций), а деньги, выделенные для их получения, из региона «уходят в Москву».
Один из региональных чиновников описал систему выбора оператора, который должен определяться через закупочные процедуры, как бизнес, который может осуществлять каждый, кто будет иметь доступ к программному обеспечению. Более того, обсуждая вариации системы (голосование на открытом сайте), чиновник предположил, что отзывы на таких сайтах, по его опыту, будут оставлять сотрудники образовательных организаций и другие чиновники. Это указывает в целом на недоверие к такого рода системам и их реализации.

Критерии НОК условий не устраивают никого из опрошенных. Однако, несмотря на то что на федеральном уровне была предусмотрена возможность их дополнить, этим не пользуются, а исследование воспринимается как внешнее и чужеродное: «По нашим исследованиям мы устанавливаем критерии, имеется наша прерогатива, здесь нам никто не нужен. Если говорить о критериях федерального уровня: кто проводит исследование, тот и выставляет все критериальные основы» (позиция эксперта системы независимой оценки). Возможным объяснением этому является то, что в целом неудобную и навязанную извне систему не видят смысла улучшать. Также в условиях сформированной единой системы на региональном уровне затрудняется возможность реализовывать собственные мероприятия в данной сфере, так как нужно обеспечить отсутствие двойной оценки одних и тех же параметров в рамках регионального и федерального механизмов (двойной нагрузки, дополнительных расходов).

В одном из интервью региональный чиновник указал на то, что общественные советы, которые должны осуществлять НОК условий, предоставляют «фантастически» хорошие отчеты, но разобраться в их деятельности, понять, кто отвечает за работу общественного совета, а также привлечь их к ответственности (честности) он не может.
Федеральным и региональным чиновникам и экспертам системы независимой оценки неизвестно, чтобы кто-либо использовал материалы государственного портала в управленческих практиках
В качестве препятствия к эффективному осуществлению процедур НОК условий указывается обязанность региональных органов управления образованием организовывать такую оценку и осуществлять работу с результатами в отношении организаций, подведомственных другим региональным органам власти, и частных школ. В частности, по закону органы управления образованием обязаны вырабатывать меры по совершенствованию образовательной деятельности и оценки деятельности руководителей организаций. Закон не делает исключения для частных организаций, на что региональный чиновник резонно замечает: «Мы не можем им указывать, как работать». Региональный чиновник поделился опытом, как пытался привлечь к организации НОК условий региональное министерство здравоохранения (для подведомственных данному министерству организаций). Чиновник получил отказ со ссылкой на закон о том, что министерство здравоохранения в данном случае уполномоченным органом не является. В итоге независимую оценку для этих организаций организовывало региональное министерство образования, а дальнейшая работа по устранению недостатков не велась. Аналогичная ситуация происходит в регионе с образовательными организациями сферы культуры. То есть в случае, когда учредителем выступает не региональный орган управления образованием (и не муниципалитет), а иной орган государственной власти, процедура в целом теряет смысл.

В целом федеральные и региональные чиновники, работники системы независимой оценки сходятся во мнении, что региональная система НОК условий могла бы разрабатываться и реализовываться на региональном уровне по собственным правилам, а аккумуляция данных на федеральном уровне не имеет утилитарного смысла. Федеральный чиновник отмечает, что в связи с тем, что на федеральном уровне установлен алгоритм работы системы, есть единые показатели, по которым происходит оценка, а также обязанность загружать результаты на информационный портал, необходимость находить организацию в рейтинге, выдавать рекомендации и т. д. — складывается впечатление, что органы управления образованием, образовательные организации и рядовые граждане получают возможность использовать результаты независимой оценки качества образования в своей деятельности, ориентироваться на них при принятии решений и пр. Однако на практике этого не происходит.
Существующая система независимой оценки качества образования, по мнению экспертов и региональных чиновников, направлена на рейтингование образовательных организаций, причем рейтинг не учитывает условия, в которых работает образовательная организация, например масштабность населенного пункта, удаленность, специфику контингента. По мнению одного из региональных чиновников, рейтинги в масштабах всей страны или даже конкретного региона не дают никакой пользы для управления на региональном или местном уровне. Хотя рейтингование подразумевалось на старте разработки модели системы НОКО, эксперты системы независимой оценки качества отмечают, что практическая реализация рейтингов может существенно отличаться. Рейтинги не всегда должны подразумевать абсолютное лидерство по совокупности критериев: по каждому из критериев в отдельности можно выделять лучших представителей. С другой стороны, сомнения вызывает потребность публично фиксировать аутсайдеров. Региональные чиновники и эксперты независимой оценки специально отмечают, что организации требуется помощь в улучшении своей работы, а не публичное маркирование как неуспешной и осуждение. Эксперт системы независимой оценки отмечает, что рейтинги гипотетически могут использоваться родителями обучающихся для выбора детских садов или школ, но только в крупных городах, где есть большое число образовательных организаций и возможность выбора между ними. Для большинства населенных пунктов страны эта ситуация нерелевантна: образовательных организаций в одном населенном пункте не так много (а может быть и единственная школа или детский сад), между ними не идет соревнование, родителям нет смысла обращаться к рейтингу, чтобы сформировать представление о качестве образования в «соседней школе».

Эксперты НОКО отмечают, что «независимость» в системе оценки качества образования была саботирована, когда ее результаты стали учитываться при оценке эффективности деятельности руководителей федерального, регионального и местного уровня, а в общественные советы стали входить представители, аффилированные с образовательной системой. Региональный чиновник говорит об этом: «Скорее всего, на уровне федерации при проектировании норм пытались придать системе демократичный характер. Но на практике все так отрегулировано и формализовано, что от независимости ничего не осталось, но обществу это предъявляется как независимая оценка».
Эксперты и чиновники единогласно рекомендуют обращать внимание на рекомендации, которые публикуются сейчас для образовательных организаций в результате прохождения НОК условий на государственном портале. Они практически идентичны по содержанию, не отражают специфику образовательной организации, не указывают на реальные проблемы, существующие в организации. Федеральный чиновник приводит пример: организации, в которой по результатам независимой оценки выявлен дефицит условий для обучения детей-инвалидов, рекомендуется изыскать средства и такие условия создать (вопрос о выполнимости и целесообразности не поднимается). В целом федеральным и региональным чиновникам и экспертам системы независимой оценки неизвестно, чтобы кто-либо использовал материалы государственного портала в управленческих практиках, часть экспертов сомневается, что эти данные могут использоваться хотя бы в научных целях.
Заключение
Регулирование системы НОК условий на текущий момент сконцентрировано на федеральном уровне: установлены показатели, по которым идет оценка, алгоритм работы системы, способ отбора оператора оценки, включение результатов оценки в перечень показателей эффективности высшего должностного лица субъекта и региональных органов управления образованием, публичный отчет высшего должностного лица субъекта с результатами оценки, федеральный портал для размещения информации о результатах оценки, способ формирования общественных советов и пр. В итоге возможности субъектов по выстраиванию собственных систем НОК условий существенно ограничены.

Это подтверждается анализом законодательства 50 субъектов Российской Федерации, в котором в большинстве случаев по отношению к системе НОК условий не присутствуют какие-либо специальные нормы и способы регулирования, отражающие региональную специфику.

При этом стоит отметить, что до того, как был сформирован федеральный шаблон для НОК условий, в некоторых регионах успели возникнуть собственные институты независимой оценки качества образования, которые реально использовались при управлении региональной системой образования, однако в дальнейшем они были вытеснены федеральными нормами.
Эксперты, с которыми проводилось интервью, не видят смысла в текущей реализации процедур НОК условий. У них присутствует внутреннее убеждение, что в том виде, в котором система существует, она не решает важных общественных задач, но может преподноситься как формальное подтверждение наличия демократических институтов. Вместе с тем некоторые из экспертов отметили, что «бесполезность» процедур имеет побочный эффект для работы системы образования: организация процедур требует времени и финансовых ресурсов.

Чтобы реализовывать собственные разработки, касающиеся НОК условий, необходимо встраиваться в федеральную систему, находить ниши, не охваченные федеральным регулированием. Однако представляется, что, наоборот, федеральные критерии для НОК условий должны носить рамочный характер, а конкретные показатели, по которым проводится оценка, должны устанавливаться на региональном уровне. Такой подход позволит учитывать специфику работы региональной системы образования и существующих в регионе условий и вместе с этим обеспечит использование результатов оценки при принятии управленческих решений.
Литература
1. Федеральный закон от 21 июля 2014 г. № 256-ФЗ «О внесении изменений в отдельные законодательные акты Российской Федерации по вопросам проведения независимой оценки качества оказания услуг организациями в сфере культуры, социального обслуживания, охраны здоровья и образования».
2. Федеральный закон от 5 декабря 2017 г. № 392-ФЗ «О внесении изменений в отдельные законодательные акты Российской Федерации по вопросам совершенствования проведения независимой оценки качества условий оказания услуг организациями в сфере культуры, охраны здоровья, образования, социального обслуживания и федеральными учреждениями медико-социальной экспертизы».
3. Приказ Министерства науки и высшего образования Российской Федерации от 15 апреля 2019 г. № 31н «Об утверждении показателей, характеризующих общие критерии оценки качества условий осуществления образовательной деятельности организациями, осуществляющими образовательную деятельность по дополнительным профессиональным программам».
4. Приказ Министерства науки и высшего образования Российской Федерации от 15 апреля 2019 г. № 30н «Об утверждении показателей, характеризующих общие критерии оценки качества условий осуществления образовательной деятельности организациями, осуществляющими образовательную деятельность по образовательным программам высшего образования».
5. Приказ Министерства просвещения Российской Федерации от 13 марта 2019 г. № 114 «Об утверждении показателей, характеризующих общие критерии оценки качества условий осуществления образовательной деятельности организациями, осуществляющими образовательную деятельность по основным общеобразовательным программам, образовательным программам среднего профессионального образования, основным программам профессионального обучения, дополнительным общеобразовательным программам».
6. Положение о независимой системе оценки качества работы образовательных организаций Ямало-Ненецкого автономного округа (утверждено Приказом Департамента образования Ямало-Ненецкого автономного округа от 21 марта 2014 г. № 454 «О независимой системе оценки качества работы образовательных организаций Ямало-Ненецкого автономного округа»).
7. Порядок проведения независимой оценки качества образования организаций, оказывающих услуги в сфере образования Ямало-Ненецкого автономного округа" (утвержден Приказом Департамента образования Ямало-Ненецкого автономного округа № 638 от 4 мая 2016 г. «Об организации и проведении независимой оценки качества образования организаций, оказывающих услуги в сфере образования Ямало-Ненецкого автономного округа на период 2016—2020 годов»).
8. Протокол заседания Общественного совета при департаменте образования ЯНАО по проведению независимой оценки качества условий осуществления образовательной деятельности организациями № 4 от 13 декабря 2019 г. // Официальный сайт для размещения информации о государственных (муниципальных) учреждениях [Электронный ресурс]. Доступно по ссылке (дата обращения: 25.12.2019).
9. Результаты PISA 2018 // Официальный сайт Организации экономического сотрудничества и развития [Электронный ресурс]. Доступно по ссылке (дата обращения: 15.12.2019).
10. Сведения о результатах независимой оценки качества оказания услуг организациями сферы образования Иркутской области за 2018 г. // Официальный сайт для размещения информации о государственных (муниципальных) учреждениях [Электронный ресурс]. Доступно по ссылке (дата обращения: 19.07.2019).
11. Сведения о результатах независимой оценки качества оказания услуг организациями сферы образования Московской области за 2017 г. // Официальный сайт для размещения информации о государственных (муниципальных) учреждениях [Электронный ресурс]. Доступно по ссылке (дата обращения: 19.07.2019).
12. Сведения о результатах независимой оценки качества оказания услуг организациями сферы образования Челябинской области за 2017 г. // Официальный сайт для размещения информации о государственных (муниципальных) учреждениях [Электронный ресурс]. Доступно по ссылке (дата обращения: 19.07.2019).
13. Сведения о результатах независимой оценки качества оказания услуг организациями сферы образования г. Санкт-Петербурга за 2017 г. // Официальный сайт для размещения информации о государственных (муниципальных) учреждениях [Электронный ресурс]. Доступно по ссылке (дата обращения: 19.07.2019).
14. Сведения о результатах независимой оценки качества оказания услуг организациями сферы образования Челябинской области за 2018 г. // Официальный сайт для размещения информации о государственных (муниципальных) учреждениях [Электронный ресурс]. Доступно по ссылке (дата обращения: 19.07.2019).
15. Сведения о результатах независимой оценки качества оказания услуг организациями сферы образования Муслюмовского муниципального района Республики Татарстан за 2017 г. // Официальный сайт для размещения информации о государственных (муниципальных) учреждениях [Электронный ресурс]. Доступно по ссылке (дата обращения: 19.07.2019).
16. Сведения о результатах независимой оценки качества оказания услуг организациями сферы образования г. Санкт-Петербурга за 2018 г. // Официальный сайт для размещения информации о государственных (муниципальных) учреждениях [Электронный ресурс]. Доступно по ссылке (дата обращения: 19.07.2019).
17. Янкевич С. В., Княгинина Н. В., Воробьёв В. В. Государственная аккредитация университетов: конфликт заявленных и фактических целей // Образовательная политика. 2019. № 1−2 (77−78). С. 76−86.
Independent assessment of the quality of educational activity conditions
  • Szymon V. JANKIEWICZ
    PhD in law, Director of the Center for Education Law of the Institute of Education the Higher School of Economics (16/10, Potapovskij per., Moscow, 101 000, Russian Federation).
  • Nadezhda V. KNYAGININA
    Researcher of Centre for Educational Law in the Institute of Education of the Higher School of Economics (16/10, Potapovskij per., Moscow, 101 000, Russian Federation).
  • Еvgeniy V. PUCHKOV
    Analyst of Centre for Educational Law in the Institute of Education of the Higher School of Economics (16/10, Potapovskij per., Moscow, 101 000, Russian Federation).
Abstract
The study is devoted to the system of independent assessment of the quality of educational activity conditions (NOKO). The authors discuss their findings in interviews with 10 respondents-experts who have experience working with the system of independent assessment of the quality of education at different levels.

The authors conclude that to date, the system of independent assessment of the quality of educational activities is not used as a real management or monitoring tool in the regions. the results of this assessment are formal reports that are repeated from year to year, and usually do not take into account the peculiarities of local and regional educational systems.

The experts interviewed do not see any sense in the current implementation of procedures for independent assessment of the quality of educational activities. They have an internal belief that the system does not solve important social problems, but can formally confirm the existence of democratic institutions. However, some of the experts noted that the" futility " of procedures has a side effect on the work of the education system: the organization of procedures requires time and financial resources.

Regulation of the NOKO system is currently concentrated at the Federal level. It seems that the Federal criteria for independent evaluation of the quality of educational activities should be of a framework nature, and the specific indicators that are evaluated should be set at the regional level. This approach will take into account the specifics of the regional education system and the existing conditions in the region, and at the same time will ensure the use of evaluation results in making management decisions.

Key words: education, independent assessment of the quality of education. quality, conditions, educational activities.
References
1. Jankiewicz, S. V., Кnyaginina, N. V., & Vorob’ev, V. V. (2019). State accreditaion of universities: conflicts of declared and actual goals. Education policy, 1−2 (77−78), pp. 76−86. (In Russian).
2. The Department of education of the Yamal-Nenets Autonomous district. (2014). No. 454 on the independent system for evaluating the quality of educational organizations in the Yamal-Nenets Autonomous district. Retrieved from the link (In Russian).
3. The Department of education of the Yamal-Nenets Autonomous district. (2016). No. 638 On the organization and conduct of an independent assessment of the quality of education of organizations providing services in the field of education of the Yamal-Nenets Autonomous district for the period 2016−2020. Retrieved from the link (In Russian).
4. The Department of education of the Yamal-Nenets Autonomous district. (2019). Minutes of the meeting of the Public Council under the Department of education of the Yamal Autonomous district on conducting an independent assessment of the quality of educational activities by organizations #4. Retrieved from the link (In Russian).
5. The Executive committee of Muslyumovsky municipal district of the Republic of Tatarstan. (2017). Information about the results of an independent assessment of the quality of services provided by educational organizations in the Muslyumovsky municipal district of the Republic of Tatarstan. Retrieved from the link (In Russian).
6. The Committee for education of St. Petersburg. (2017). Information about the results of an independent assessment of the quality of services provided by organizations in the education sector of St. Petersburg. Retrieved from the link (In Russian).
7. The Committee for education of St. Petersburg. (2018). Information about the results of an independent assessment of the quality of services provided by organizations in the education sector of St. Petersburg. Retrieved from the link (In Russian).
8. The Ministry of education and science of the Chelyabinsk region. (2017). Information about the results of an independent assessment of the quality of services provided by educational organizations in the Chelyabinsk region. Retrieved from the link (In Russian).
9. The Ministry of education of the Irkutsk region. (2018). Information about the results of an independent assessment of the quality of services provided by educational organizations in the Irkutsk region. Retrieved from the link (In Russian).
10. The Ministry of education of the Moscow region. (2017). Information about the results of an independent assessment of the quality of services provided by educational organizations in the Moscow region. Retrieved from the link (In Russian).
11. The Ministry of Education of the Russian Federation. (2019). No. 114 On approval of indicators. Retrieved from the link (In Russian).
12. The Ministry of Science and Higher Education of the Russian Federation. (2019). No. 31N On approval of indicators. Retrieved from the link (In Russian).
13. The Ministry of Science and Higher Education of the Russian Federation. (2019). No. 30N On approval of indicators. Retrieved from the link (In Russian).
14. The Organisation for Economic Co-operation and Development. (2018). PISA results 2018. Retrieved from the link.
15. The State Duma of the Russian Federation. (2014). No. 256-FZ About modification of separate legislative acts of the Russian Federation concerning carrying out an independent assessment of quality of rendering of services by the organizations in the sphere of culture, social service, health protection and education. Retrieved from the link (In Russian).
16. The State Duma of the Russian Federation. (2017). No. 392-FZ On amendments to certain legislative acts of the Russian Federation on improvement of an independent assessment of the quality of conditions for rendering services by organizations in the field of culture, health, education, social services and Federal institutions of medico-social examination. Retrieved from the link (In Russian)
17. The Voynovskiy the administration of the rural settlement. (2018). Information about the results of an independent assessment of the quality of services provided by educational organizations in the Chelyabinsk region. Retrieved from the link (In Russian).
Если статья была для вас полезной, расскажите о ней друзьям. Спасибо!