школьный автобус. вызов
Критическое мышление и философские дискуссии в приемной кампании в 10 класс
Опыт лицея РАНХиГС в условиях пандемии
DOI 10.22394/2078−838Х−2021−1−56−67
- Жанна Валерьевна ПодковыркинаE-mail: podkovyrkina-zv@ranepa.ruДиректор Лицея РАНХиГС, магистр государственного и муниципального управления НИУ ВШЭ (Управление образованием) (119 606, РФ, Москва, пр. Вернадского, 83, корп. 3, стр. 4).
- Александра Андреевна КонопляникE-mail: alexandra.konoplyanik@gmail.comПреподаватель курса «Философия бизнеса» в Лицее РАНХиГС, магистр философии Лондонской Школы Экономики (LSE), сертифицированный философ-фасилитатор The Philosophy Foundation (Великобритания), философ-практик (119 606, РФ, Москва, пр. Вернадского, 83, корп. 3, стр. 4).
- Иван Сергеевич КуриловичE-mail: ivan.kurilovich@gmail.comСтарший научный сотрудник Центра феноменологической философии, доцент философского факультета РГГУ, преподаватель курса «Теория познания» в Лицее РАНХиГС, кандидат философских наук (119 606, РФ, Москва, пр. Вернадского, 83, корп. 3, стр. 4).
- Анастасия Валерьевна АвдиеваE-mail: avdieva.anastasia@gmail.comПреподаватель курса «Философия бизнеса» в Лицее РАНХиГС, преподаватель курса «Основы философии» в международной Школе Летово, основатель Детского Философского клуба в Москве, член ICPIC, философ-практик (119606, РФ, Москва, пр. Вернадского, 83, корп. 3, стр. 4).
Аннотация
Статья представляет анализ опыта приемной кампании в 10 класс Лицея Российской академии народного хозяйства и государственной службы при Президенте Российской Федерации (РАНХиГС) в 2020 году в ситуации ограничений из-за пандемии COVID-19, исключающих возможность иного проведения вступительных испытаний, кроме дистанционного. Особое внимание уделено русскоязычной части устного собеседования, выстроенного по специально разработанной методологии проверки эрудиции, навыков аналитического и критического мышления и способности к открытой философской дискуссии.
Цель: анализ опыта проведения приемной кампании для нахождения наилучших критериев и методов отбора абитуриентов для обучения в Лицее.
Методология и методика исследования: статья представляет собой практико-ориентированное исследование (Case Study), состоящее из постановки задачи, практического решения и анализа полученного опыта.
Результаты: в статье описаны дискуссионные проблемы отбора контингента в селективные школы и попытка их решения.
Научная новизна статьи заключается в уникальности описанного кейса и степени его проработки.
Полученные результаты могут быть использованы при организации вступительных испытаний на аналогичные профили в старшей школе.
Ключевые слова
Приемная кампания, вступительные испытания, селективные школы, дистанционные технологии образования, философия в школе, критическое мышление, логика в школе, теория познания, практическая философия.
Цель: анализ опыта проведения приемной кампании для нахождения наилучших критериев и методов отбора абитуриентов для обучения в Лицее.
Методология и методика исследования: статья представляет собой практико-ориентированное исследование (Case Study), состоящее из постановки задачи, практического решения и анализа полученного опыта.
Результаты: в статье описаны дискуссионные проблемы отбора контингента в селективные школы и попытка их решения.
Научная новизна статьи заключается в уникальности описанного кейса и степени его проработки.
Полученные результаты могут быть использованы при организации вступительных испытаний на аналогичные профили в старшей школе.
Ключевые слова
Приемная кампания, вступительные испытания, селективные школы, дистанционные технологии образования, философия в школе, критическое мышление, логика в школе, теория познания, практическая философия.
К постановке проблемы
Ситуация с эпидемией COVID-19 в 2020 году создала условия для появления уникальных образовательных кейсов. Одному из них — видоизмененному формату вступительных испытаний в Лицей РАНХиГС — посвящена эта статья. Авторы были вынуждены в сжатые сроки разработать и опробовать новый блок вступительных испытаний. В статье они описывают свой опыт, предполагая, что он может быть интересен и значим для понимания глубинных процессов сегодняшнего школьного образования.
С 2016 года — года своего основания — Лицей РАНХиГС провел пять приемных кампаний, где каждая последующая была апгрейдом предыдущей или полной заменой отдельных ее частей. Происходило это и потому, что идеал недостижим и всякий раз хотелось что-то улучшить, и потому, что коллектив Лицея не хотел, чтобы на испытания можно было «натаскать». На сайте всегда публиковались демоверсии предыдущей кампании, по которым можно было составить представление о лицейских экзаменах и их возможных отличиях от привычных ребенку форматов. Однако определенная подвижность содержания испытаний препятствовала «дрессировке» абитуриента.
С 2016 года — года своего основания — Лицей РАНХиГС провел пять приемных кампаний, где каждая последующая была апгрейдом предыдущей или полной заменой отдельных ее частей. Происходило это и потому, что идеал недостижим и всякий раз хотелось что-то улучшить, и потому, что коллектив Лицея не хотел, чтобы на испытания можно было «натаскать». На сайте всегда публиковались демоверсии предыдущей кампании, по которым можно было составить представление о лицейских экзаменах и их возможных отличиях от привычных ребенку форматов. Однако определенная подвижность содержания испытаний препятствовала «дрессировке» абитуриента.
В статье описаны дискуссионные проблемы отбора контингента в селективные школы и попытка их решения
Все пять лет вступительные испытания в Лицей РАНХиГС состоят из двух частей: 1) письменного этапа, который включает задания по математике, русскому и английскому языкам; 2) устного этапа — собеседования. Почему Лицей проводит ресурсозатратные письменные экзамены по русскому языку и математике, если примерно в это же время выпускники 9 класса сдают обязательные ОГЭ по данным предметам? Почему просто не засчитывает оценки? Это происходит не из-за недоверия к результатам государственной итоговой аттестации, а из-за понимания того, что оценки «добывались» в течение всего последнего года, а то и двух, путем постоянных тренировок в одном-единственном формате. «Наученность», конечно, крайне важна, и ученик к 15−16 годам должен многое уметь делать, что называется, автоматически: грамотно писать, производить математические вычисления, строить фразы на иностранном языке и т. д. Но Лицею еще важно понимать, есть ли у абитуриента, помимо умения действовать в определенных границах, способность и желание размышлять над непонятным — тем, что не идентифицируется сходу как «задача такого-то типа». Поэтому задания по математике оценивают не только сформированность математического аппарата, но и способность абитуриента использовать его в заданиях, которые ОГЭ почти не охвачены. Экзамен по русскому языку — это всегда работа с предлагаемым текстом и над собственным текстом, в которой оценивается не только усвоение языковых норм, но и точность понимания коммуникативной задачи, и чувство стиля, и глубина мысли. Испытание по английскому языку представляет собой эссе-мнение (opinion essay) — формат, в основе которого лежит размышление над спорным утверждением.
Устная часть испытаний, о которой пойдет речь в этой статье, эволюционировала от слабо формализованного и не оцениваемого в баллах разговора на русском языке с абитуриентом о его интересах и мотивации до двухчастного (на русском и английском) оцениваемого в баллах диалога с довольно четко очерченным кругом вопросов, который играет очень важную (даже отсекающую) роль в конкурсе.
Проблема дистанта
Вплоть до весны 2020 года предполагалось, что формат летних испытаний останется таким же, как в 2019 году, изменится только его «начинка». Весенние ограничения на массовые мероприятия в связи с COVID-19 заставили задуматься о переносе испытаний в онлайн-формат. Казалось, что главная проблема в новых обстоятельствах — это нахождение технического решения. Но довольно быстро стало понятно, что изменить экзамен технически, не изменив содержательно, не получится: никакая платформа из доступных для использования обеими сторонами (Лицеем и абитуриентами) не могла гарантировать той «лабораторной чистоты» экзамена, которая обеспечивается в аудитории. К этому выводу организаторы пришли в итоге предварительного эксперимента на 26 участниках из числа слушателей подготовительных курсов: организованный на учебно-экзаменационной платформе, интегрированной с видео-коммуникатором, письменный экзамен, во время которого велось постоянное наблюдение за самими абитуриентами и за экранами их мониторов, показал, что результат не является «чистым». На «заданиях-маяках» были обнаружены безусловные следы обращения к приложению, которое предлагает пошаговое решение математических заданий, к ресурсам энциклопедического, словарного типа, к интернет-поисковикам, — то есть многие работы оказались не полностью самостоятельными. Нужно было готовиться к тому, что и в основную волну многие абитуриенты на письменном этапе попытаются использовать стороннюю помощь. Менять уже объявленные правила, оставляя только задания творческого типа, к которым нельзя найти подсказки в интернете, было проблематично с правовой точки зрения. Любые значимые изменения были чреваты претензиями со стороны тех семей, которые ориентировались на доступные демоверсии. Перед организаторами встала задача: как, не меняя заявленный формат, обеспечить максимальную объективность конкурса в условиях дистанционного проведения вступительных испытаний?
Именно собеседование стало рассматриваться организаторами как этап, на котором можно получить «беспримесную» информацию об абитуриенте
Письменная часть испытаний все предыдущие годы считалась в Лицее более информативной и объективной, так как наблюдение в аудиториях исключало использование гаджетов, а работы абитуриентов шифровались и передавались на проверку в обезличенном виде. В устной же части, как во всяком непосредственном живом общении, исключить из оценки субъективность было труднее. И тем не менее устный этап был очень важен для ответов на вопросы: является ли решение поступать в Лицей самостоятельным и ответственным, действительно ли абитуриенту интересны социальные науки или его привлекает что-то другое (бренд Академии, желание уйти из школы во «взрослую жизнь» и пр.), готов ли он принять лицейские «правила игры» и т. п. Кроме того, экзаменаторы оставляли в оценочных листах свои комментарии о том, как абитуриент мыслит, аргументирует, как отстаивает свою позицию и насколько способен слышать и понимать собеседника. В условиях, когда академическую честность результатов письменной части гарантировать стало невозможно, организаторы решили искать неиспользуемые резервы устного этапа, где абитуриент, находясь в тесном вербальном контакте сразу с двумя экзаменаторами, практически не имеет возможности пользоваться сторонней помощью. Именно собеседование стало рассматриваться организаторами как этап, на котором можно получить «беспримесную» информацию об абитуриенте. Ранее собеседованию по указанным выше причинам было отдано* лишь 20% от совокупной оценки. Изменить его вес и теперь было нельзя, а вот наполнить более информативным содержанием — можно.
*Распределение баллов за вступительные испытания:
1) письменный этап: русский язык — 25 баллов, математика — 25 баллов, английский язык — 25 баллов;
2) устный этап: русскоязычная часть — 10 баллов, англоязычная часть — 10 баллов;
3) индивидуальные достижения — 5 баллов.
1) письменный этап: русский язык — 25 баллов, математика — 25 баллов, английский язык — 25 баллов;
2) устный этап: русскоязычная часть — 10 баллов, англоязычная часть — 10 баллов;
3) индивидуальные достижения — 5 баллов.
Распределение баллов за вступительные испытания: 1) письменный этап: русский язык — 25 баллов, математика — 25 баллов, английский язык — 25 баллов; 2) устный этап: русскоязычная часть — 10 баллов, англоязычная часть — 10 баллов; 3) индивидуальные достижения — 5 баллов.
Итогом обсуждения концепции русскоязычной части собеседования стало техническое задание коллективу преподавателей, представляющих в Лицее «философский блок» (теория познания и практическая философия) — авторам данной статьи: подготовить «под ключ» материалы и инструкции к собеседованию, с помощью которых преподаватели-не-философы в течение 15 минут разговора по-русски смогли бы технологично оценить развитость мышления абитуриента, его эрудированность, способность формулировать и аргументировать, рассуждать о проблемах, у которых нет «правильного» решения.
Структура и методология собеседования
Ограничениями в достижении указанной выше цели были следующие факторы:
- время: 15 минут на разговор с одним абитуриентом (большую продолжительность при имевшемся количестве абитуриентов обеспечить было невозможно);
- требование однозначности критериев оценивания;
- требование прозрачности критериев оценивания для преподавателей из разных профессиональных сфер (не из философии или логики и даже не из социально-гуманитарного цикла дисциплин).
Обсуждение структуры собеседования, отвечающего поставленной цели и учитывающего все ограничения, привело к следующему решению: подготовить три обособленных блока заданий с подробными инструкциями их использования и оценивания для преподавателей. Первый блок — вопросы на эрудицию. Каждому абитуриенту должно быть предложено четыре таких вопроса в формате «блиц»: размышление должно занимать не более 30 секунд, каждый правильный ответ «стоит» 0,5 балла. Второй блок — задачи на логику и критическое мышление. Каждому предлагается одна такая задача, за правильное решение которой можно получить максимум 3 балла. На решение отводится до 5 минут. Третий блок — вопросы с философским содержанием, где оценивается не формальный ответ, а проявленные при ответе умения. Оценивается до 5 баллов, продолжительность решения-размышления — до 8 минут. Количество модификаций заданий в каждом блоке должно было обеспечить полную их обновляемость в каждой сессии. Так, в одной сессии (в разных онлайн-кабинетах) участвуют одновременно несколько абитуриентов, их количество зависит от количества экзаменующих пар, работающих в этот день, — обычно от шести до десяти. Абитуриенты из одной сессии получают абсолютно одинаковый набор заданий, абитуриенты из следующей сессии — совершенно другой. Это, с одной стороны, исключает передачу заданий между абитуриентами, а с другой — позволяет сравнивать качество ответов на одни и те же вопросы хотя бы у нескольких человек, в том числе для того, чтобы делать выводы о «годности» того или иного задания для достижения поставленных целей.
В отсутствие эффекта узнавания абитуриенты нередко отступали от задачи вообще, отказываясь от размышлений
Блиц на эрудицию был необходим, чтобы получить представление об осведомленности абитуриентов в областях знаний, приоритетных для Лицея: преимущественно в истории, искусстве, географии, литературе и обществознании. К каждому вопросу предлагалось несколько вариантов ответов. При этом не было задачи обнаружить у абитуриентов незнание малоизвестных деталей, но было стремление увидеть, насколько уверенно поступающий в Лицей чувствует себя в этих сферах, насколько его ориентация в мире адекватна представлениям педагогов Лицея о базовом уровне, отталкиваясь от которого, можно обеспечить освоение насыщенной и содержательно сложной лицейской программы. Вот некоторые типы и примеры заданий, вошедших в блок на эрудицию: общее понимание этапов человеческой истории (например: какая эпоха была раньше — Возрождения или Просвещения?); самые базовые знания об отечественной литературе (например: какое произведение из предложенного списка написал НЕ Пушкин А. С.?); понимание принципов построения правовых, политических систем, общественного устройства (например: выбрать из списка «Испания, Германия, Великобритания» государство, не являющееся монархией); географическая грамотность, без которой невозможно быть успешным в социальных науках (например: на каких континентах находятся Ливия и Боливия? Или: какая из границ более протяженная — российско-грузинская или российско-китайская?).
На этапе подготовки заданий авторы задались вопросом адекватности собственных ожиданий от эрудиции современных школьников. Должны ли они знать, кто такие шииты и сунниты? Андрей Сахаров? Зинаида Серебрякова? О чем такие знания свидетельствуют: о личной любознательности и начитанности или, может быть, о принадлежности к определенной социальной группе (разумеется, задачей экзаменаторов было оценить первое, а не второе)? Наконец, нужно ли вообще оценивать общую эрудированность в век фактического аутсорсинга части человеческой памяти всемирной паутине? Именно в силу спорности ожиданий «цена» каждого вопроса на эрудицию была равна половине процента от общей оценки абитуриента. Связано это было также и с экспериментальным характером задания: было интересно понять, насколько представления авторов заданий о том, что должен знать в этом возрасте подросток, выбирающий углубленный трек в социальных науках, отличаются от того, что демонстрируют реальные выпускники 9 класса.
Вторая часть собеседования давала абитуриенту возможность продемонстрировать свои логические и аргументативные способности вместе с навыками критического мышления. Данным компетенциям в традиционной российской школе уделяется крайне мало внимания. Главной проблемой выпускников всегда было не количество сведений, а неумение ими оперировать, то есть неумение сопоставлять, критически осмысливать, самостоятельно делать логические выводы. Авторы заданий приняли решение включить всего по одной задаче на логику в каждое собеседование, но при этом дать абитуриентам возможность рассуждать вслух, чтобы понять, как именно они размышляют. Критерии оценки этих заданий включали три пункта, каждый из которых давал претенденту на обучение в Лицее по одному баллу. При грамотном рассуждении даже без правильного ответа абитуриент мог получить один или два балла из трех, а при правильном ответе, но без его логичного обоснования три максимальных балла абитуриент получить не мог. Важен был не факт правильного ответа, пусть и верная интуиция, а именно способность «вывести», «рассудить» и сделать решение явным.
В ходе предварительного экспериментального тестирования удалось обнаружить, что при использовании классических и оригинальных задач на логику обнаруживаются радикальные расхождения в успешности решения — в зависимости от того, контекстуализированы ли они привычными социальными ситуациями (выглядят как случаи из жизни) или задаются абстрактно, — при том, что все задачи проверяют следование одним и тем же логическим законам. Показателен случай с формулировками «Задачи выбора» Питера Уэйсона (1996) в двух формах. Результаты экспериментальной группы показали, что абитуриенты в отсутствие специальной подготовки в области формальной логики в принципе не справляются с подобными задачами, когда они задаются в абстрактном виде, но неплохо справляются в представлении подобных задач* с социальной контекстуализацией.
* Пример задания в абстрактной форме. На столе лежат четыре карты. Известно, что у каждой карты с одной стороны некая цифра, а с другой равномерный окрас в некий цвет. По картам видно, что это: 7, 6, бирюзовая и пурпурная. Вопрос: каким минимальным числом переворачиваний карт можно проверить утверждение: «если карта четная, то ее обратная сторона бирюзовая»?
Пример задания в социальном контексте. Вы проверяете, не пьют ли подростки алкоголь в баре. У барной стойки с бокалами четыре человека: одному точно 22 года, другому точно 15 лет, третий точно пьет колу, четвертый точно пьет пиво. Вопрос: кого из четверых, стоящих у барной стойки с бокалами, нужно проверить, чтобы убедиться, что никто из них не нарушил запрет распивать спиртное до совершеннолетия? При этом следует потревожить как можно меньше людей.
Пример задания в социальном контексте. Вы проверяете, не пьют ли подростки алкоголь в баре. У барной стойки с бокалами четыре человека: одному точно 22 года, другому точно 15 лет, третий точно пьет колу, четвертый точно пьет пиво. Вопрос: кого из четверых, стоящих у барной стойки с бокалами, нужно проверить, чтобы убедиться, что никто из них не нарушил запрет распивать спиртное до совершеннолетия? При этом следует потревожить как можно меньше людей.
Наблюдения экзаменаторов полностью совпали с выводами самого П. Уйэсона, сделанными в 1977 году (Wason, 1977), согласно которым с задачей в абстрактном виде справляется менее 10% испытуемых в силу того, что большинство людей без специальной подготовки в логике, критическом мышлении (и, добавим мы, в программировании, где специально или опосредованно также осваивается математическая логика) не привыкли всерьез принимать формальные условия «если …, то …». Удалось удостовериться и в верности выводов последующих исследований (Cosmides, Tooby, 1992): аналогичная задача, заданная в контексте представимых социальных отношений, решается вполне успешно.
* Эксперимент был воспроизведен с тем же результатом в 1993 г.: Evans, J. S. B. T., Newstead, S. E., & Byrne, R. M. J. (1993). Human reasoning: The psychology of deduction. Hove: Lawrence Erlbaum Associates.
По итогам апробации для основной волны вступительных испытаний авторы оставили только социально контекстуализированные задачи. Этого было достаточно, чтобы понять качество логических рассуждений. Каждый экзаменатор получил от авторов правильные ответы и подробный комментарий к заданиям, который мог при необходимости использоваться для диалога с абитуриентами. Как уже было замечено выше, оценивание подобных заданий было дифференцированным — инструкции экзаменаторов содержали для каждого из заданий по три пункта, упоминание каждого из которых давало абитуриенту один балл независимо* от последовательности их упоминания и наличия наряду с правильными нелогичных и ошибочных рассуждений. Прочие задачи логического блока также представляли собой испытания на неформальную логику, на интуитивное применение методов эвристики и преодоление популярных когнитивных искажений. Задания составлялись с учетом имеющихся пособий, научных статей и обзорных работ, самая значимая из которых для авторов — книга нобелевского лауреата Дэниэля Канемана (Daniel Kahneman) «Думай медленно… решай быстро» (2014).
* Три составляющие полностью правильного ответа на задачи этого типа см. в следующем параграфе с примером полного итогового варианта заданий русскоязычной части собеседования.
Третий блок заданий был самым свободным, творческим и давал до 5 баллов, то есть до 5% накопительной оценки за все письменные и устные испытания. В нем экзаменаторы стремились понять, насколько абитуриент готов к работе с большими открытыми вопросами: способен ли выводить следствия из предложенных данных, а также способен ли в целом широко и глубоко рассуждать. Для этого авторы заданий подобрали ряд философских вопросов и цитат, например: «Воображение важнее знаний (А. Эйнштейн)»; «Много говорить о себе — тоже способ себя скрывать (Ф. Ницше)»; «Что важнее — процесс или результат?» и др. Критерий отбора цитат и вопросов состоял в неоднозначности ответа — возможности пойти как минимум по одному из двух путей и увидеть несколько линий рассуждения, осуществив более чем одну интерпретацию. Если это была цитата, абитуриенту сначала предлагалось объяснить ее в нескольких вариантах. Далее ему предлагалось занять и обосновать позицию: сделать выбор, согласиться или не согласиться с данной идеей. Наконец, абитуриенту предлагалось занять позицию, противоположную ранее озвученной, и постараться обосновать ее. Здесь оценивалась способность смотреть на ситуацию глазами другого, видеть неоднозначность и сложность той или иной темы, вопроса. В этом блоке абитуриент получал один подобный открытый вопрос из одной из трех серий: работа с высказыванием, вопрос-выбор или выведение следствий из гипотетической ситуации.
При выборе и составлении заданий мы опирались на наш опыт работы с материалами различных методических школ, членов международного движения «Философия — детям». Методология его идейного вдохновителя М. Липмана подробно описана на русском языке Н. С. Юлиной в книге «Философия для детей: обучение навыкам разумного мышления» (2005).
Какие бы высказывания или вопросы для интерпретации ни содержались в варианте, экзаменаторы оценивали ответы по следующим пяти критериям, каждый из которых давал один балл:
1. Способность понять задание и ответить именно на поставленный вопрос.
2. Готовность взаимодействовать с задачами открытого типа — давать самостоятельный обоснованный ответ.
3. Общее качество аргументации, логика: способность видеть концептуальные различия между разными возможными смыслами одного понятия, формулировать грамотные выводы из посылок, выводить цепочки причинно-следственных связей, проводить качественные аналогии, замечать противоречия.
4. Способность посмотреть на ситуацию с разных сторон, увидеть проблемы в выбранной позиции, привести контрпримеры, возразить себе.
5. Эрудированность и креативность.
Для гомогенности оценок у разных собеседующих преподавателей авторы развернуто описали задания и пояснили на примерах каждый из критериев всем членам приемной комиссии.
Какие бы высказывания или вопросы для интерпретации ни содержались в варианте, экзаменаторы оценивали ответы по следующим пяти критериям, каждый из которых давал один балл:
1. Способность понять задание и ответить именно на поставленный вопрос.
2. Готовность взаимодействовать с задачами открытого типа — давать самостоятельный обоснованный ответ.
3. Общее качество аргументации, логика: способность видеть концептуальные различия между разными возможными смыслами одного понятия, формулировать грамотные выводы из посылок, выводить цепочки причинно-следственных связей, проводить качественные аналогии, замечать противоречия.
4. Способность посмотреть на ситуацию с разных сторон, увидеть проблемы в выбранной позиции, привести контрпримеры, возразить себе.
5. Эрудированность и креативность.
Для гомогенности оценок у разных собеседующих преподавателей авторы развернуто описали задания и пояснили на примерах каждый из критериев всем членам приемной комиссии.
Пример итогового варианта русскоязычного собеседования
Рассмотрим в качестве примера один из множества итоговых вариантов комплексного задания.
Четыре вопроса на эрудицию (за каждый правильный ответ 0,5 балла, всего до 2 баллов за четыре ответа):
В каком веке появилось государство Соединенные Штаты Америки?
a. XIX век
b. XVIII век
c. XVI век
Какое произведение НЕ писал Михаил Лермонтов?
a. Герой нашего времени
b. Бесы
c. Мцыри
d. Демон
Расставьте эти реки от самой длинной до самой короткой:
a. Волга
b. Дунай
c. Нил
Что такое криптовалюта?
a. фальшивые бумажные деньги
b. электронное платежное средство
c. секретные валютные резервы на случай войны
Четыре вопроса на эрудицию (за каждый правильный ответ 0,5 балла, всего до 2 баллов за четыре ответа):
В каком веке появилось государство Соединенные Штаты Америки?
a. XIX век
b. XVIII век
c. XVI век
Какое произведение НЕ писал Михаил Лермонтов?
a. Герой нашего времени
b. Бесы
c. Мцыри
d. Демон
Расставьте эти реки от самой длинной до самой короткой:
a. Волга
b. Дунай
c. Нил
Что такое криптовалюта?
a. фальшивые бумажные деньги
b. электронное платежное средство
c. секретные валютные резервы на случай войны
Одно задание на неформальную логику и критическое мышление (до 3 баллов):
Ситуация: вы проверяете, не пьют ли подростки алкоголь в баре. У барной стойки с бокалами четыре человека: одному точно 22 года, другому точно 15 лет, третий точно пьет колу, четвертый точно пьет пиво. Вопрос: кого, потревожив минимальное количество людей, нужно проверить среди четверых, стоящих у барной стойки с бокалами, чтобы убедиться, что никто из них не нарушил запрет распивать спиртное до совершеннолетия?
Ситуация: вы проверяете, не пьют ли подростки алкоголь в баре. У барной стойки с бокалами четыре человека: одному точно 22 года, другому точно 15 лет, третий точно пьет колу, четвертый точно пьет пиво. Вопрос: кого, потревожив минимальное количество людей, нужно проверить среди четверых, стоящих у барной стойки с бокалами, чтобы убедиться, что никто из них не нарушил запрет распивать спиртное до совершеннолетия?
Имевшиеся у экзаменационной комиссии три составляющие полного правильного ответа, упоминание каждого из которых давало абитуриенту один балл:
● Достаточно проверить двоих: 15-летнего и пьющего пиво.
● 15-летнего нужно проверить, чтобы убедиться, что он пьет не алкоголь, а человека с пивом, чтобы понять, что он старше 18 лет.
● Других людей среди этих четверых проверять не нужно, так как для ответа на вопрос нам безразлично, что пьет совершеннолетний, равно как безразлично, старше ли 18 лет выбравший колу.
● Достаточно проверить двоих: 15-летнего и пьющего пиво.
● 15-летнего нужно проверить, чтобы убедиться, что он пьет не алкоголь, а человека с пивом, чтобы понять, что он старше 18 лет.
● Других людей среди этих четверых проверять не нужно, так как для ответа на вопрос нам безразлично, что пьет совершеннолетний, равно как безразлично, старше ли 18 лет выбравший колу.
Одно задание открытого типа и три направляющих вопроса к нему (до 5 баллов):
«Воображение важнее знаний (Альберт Эйнштейн)».
Вопрос 1: Как вы понимаете данное высказывание? Попробуйте найти несколько возможных интерпретаций.
Вопрос 2: Выберите одну интерпретацию из предложенных. Согласны ли Вы с этим утверждением? Почему?
Вопрос 3: Попробуйте опровергнуть занятую вами позицию.
«Воображение важнее знаний (Альберт Эйнштейн)».
Вопрос 1: Как вы понимаете данное высказывание? Попробуйте найти несколько возможных интерпретаций.
Вопрос 2: Выберите одну интерпретацию из предложенных. Согласны ли Вы с этим утверждением? Почему?
Вопрос 3: Попробуйте опровергнуть занятую вами позицию.
Ожидания — реальность
Результаты вопросов на эрудицию, как этого и можно было ожидать, имели большой разброс. Около четверти абитуриентов справились с каждым из четырех вопросов; некоторые совершили удивительные ошибки, демонстрирующие предельно искаженное понимание или полное непонимание мировой истории, географии, общественных отношений. В целом, если абитуриент давал правильный ответ, то почти всегда отвечал либо мгновенно, либо после короткого рассуждения вслух. Примечательно, что некоторые пытались искать ответ в интернет-поисковике прямо во время собеседования. Так это задание неожиданно оказалось не только испытанием на эрудицию, но и на честность, и несколько человек заработали дисквалификацию именно на этом этапе.
Следующее задание на неформальную логику и критическое мышление, которое имело правильный ответ, обнаружило, что школьники склонны опираться в ответах на свой жизненный опыт, представления о правдоподобности сценариев, на морально-ценностные суждения, а не на логику, даже если в устном комментарии экзаменатор специально четко указывал, что это задание именно на логику. Если спонтанная генерализация личного опыта или интерпретация отдельного события из жизни абитуриента противоречили логике, то у последней оставалось мало шансов. Так выяснилось, что подмена тезиса не воспринимается абитуриентами как проблема в принципе. Они проявляют невнимание к словам, которыми выражено задание: нередко считают прямой анализ высказываний и вывод заведомо проигрышным, пытаются догадаться о потаенном, почти эзотерическом или символическом их значении. Это в конечном итоге ведет к попытке догадаться, что хочет услышать экзаменатор, а не самостоятельно логически понять и выполнить предложенное задание. Как следствие, упускаются условные конструкции и прочие несущественные, на взгляд не привыкшего к критическому мышлению школьника, детали. Знакомство с текстом задания зачастую напоминало беглое сканирование, при котором выхватываются лишь главные части речи (существительные, глаголы), но игнорируются такие определяющие логический вывод слова, как «некоторые», «все», «каждый», упускаются смещения значений при использовании разных союзов — «и», «или», «либо». Предположение экзаменаторов: подобная избирательность внимания предполагает надежду на узнавание, припоминание ответа по «тегам», а не понимание и самостоятельное решение. В отсутствие эффекта узнавания абитуриенты нередко отступали от задачи вообще, отказываясь от размышлений.
Например, было задание — найти и назвать логические проблемы с высказыванием: «Вы упрекаете наш класс в плохой учебе. А я сейчас все объясню. Жизнь не только из оценок состоит, вы же прекрасно об этом знаете. В погоне за оценками мы забываем получать удовольствие от жизни. Хочу отметить, что недавний опрос ВКонтакте показал, что ученики нашего класса оценивают свою удовлетворенность учебой и отдыхом выше среднего. Вот этим я предлагаю гордиться!». Абитуриенты прямо игнорировали подмену тезиса, пускались в ценностные рассуждения о жизненных приоритетах, при этом в ответ на повторную просьбу найти именно ошибки в форме размышления, в логике и аргументации принимали это как ценностное несовпадение с экзаменатором и меняли позицию, критикуя социальные сети или ругая свое поколение.
Заметим, что это проблема именно для заданий на логику, а не для третьего блока с философскими размышлениями.
Последнее задание с открытыми вопросами философского содержания было очень интересным с точки зрения наблюдения за процессом: вопросы увлекали не только абитуриентов, но и самих экзаменаторов. Некоторые абитуриенты на свободных философских вопросах по-настоящему раскрылись, заблистали. Другие впали в замешательство, предложили посредственные рассуждения, побоялись выйти за рамки «правильно — неправильно». У абитуриентов, не преуспевших в выполнении последнего задания, возникали похожие проблемы в разных комбинациях: затруднение в создании связной последовательной цепочки аргументов; ступор от опасения дать неправильный в глазах преподавателя ответ, боязнь ему по-человечески не понравиться; отказ даже от попыток встать на иную точку зрения и аргументировать позицию, противоположную изначально занятой. Гиперкритичности к иной позиции нередко сопутствовал догматизм в отношении позиции, принятой изначально, понимание ее как единственно значимой и ценной идеи. Однако это же задание в лучших примерах ответов помогло абитуриентам проявить любознательность, аппетит к творческому исследованию, желание сделать открытие, системность мышления, способность работать с несколькими перспективами, несколькими уровнями смысла одновременно. Интересна была считывавшаяся эмоциональная реакция ребят на эти задания: кто-то загорался и получал видимое удовольствие от процесса, кто-то сжимался, закрывался и искал подвох. Формальная «цена» этой части русскоязычного собеседования в 5 баллов из 100, по мнению авторов, была ниже, чем того заслуживал объем раскрытия индивидуальности и потенциала абитуриента.
Предварительные выводы
Если принять во внимание относительно небольшое количество участников конкурса, то невозможно делать какие-либо выводы о генеральной совокупности выпускников 9 класса. Безусловно, вносили искажения в состав выборки и селективность Лицея, и его выраженная социальная направленность, и тот факт, что значительная часть абитуриентов, не продемонстрировавшая обязательный минимум на письменном испытании, не прошла в устный этап. Поэтому авторы не претендуют на выводы поколенческого уровня, у них есть лишь наблюдения и обобщения довольно локального характера, которые, тем не менее, по их мнению, обозначают направление поиска содержательных школьных дефицитов и путей их восполнения.
На этапе собеседования превосходство отличников было наименьшим
В конкурсе принимали участие 416 абитуриентов, до финального собеседования дошли только около 45%.
Мы начали с того, что проведение вступительных испытаний (и письменных, и устных) направлено на подбор контингента лицеистов, которые не только способны натренироваться на успешную сдачу единых государственных экзаменов, но и являются людьми любопытствующими, мыслящими творчески и гибко, стремящимися понять мысль другого, любящими решать нестандартные задачи и вообще любящими интеллектуальный труд. У отдельных составителей программы собеседования имелись ожидания, что любопытствующий и увлеченный разными школьными дисциплинами ученик к девятому классу даже без специальных занятий критическим мышлением и философией имплицитно обобщает приобретаемые знания до базового интуитивного логического чутья на уровне «логично — нелогично», «следует вывод — не следует». В связи с этим имелись и ожидания, что особенности вступительных испытаний в Лицей выправят шансы искренне интересующихся и увлеченных, интеллектуально развитых ребят, которые при этом формально не являются очень успешными учениками школы (не отличники и даже далеко не отличники), относительно шансов формально очень успешных школьников.
Авторы обращают здесь внимание, например, на исследования А. Р. Лурии (см.: Лурия, А. Р. (1971). Психология как историческая наука. (К вопросу о исторической природе психических процессов). История и психология (с. 36−62). Москва: Наука), которые показали, что логическое мышление имманентно человеку не присуще. Участники его экспериментов, не имеющие даже школьного образования, были совершенно неспособны оторваться от своего чувственного опыта и перейти к абстрактно-логическому мышлению. Наличие даже начального образования меняло картину.
Причины невысокой формальной успешности в школе могут быть разными: ребенок далек от зубрежки; активно читает, размышляет, но не склонен выполнять школьные требования; основные его интересы лежат за пределами школьной программы, и т. д.
Вопреки этим ожиданиям, оказалось, что по всем этапам вступительных испытаний в совокупности обладатели аттестатов с отличием показали результат выше, чем генеральная совокупность абитуриентов: функциональная грамотность (на русском языке) выше в 1,2 раза, решение математических задач — в 1,15 раза, уровень английского языка — в 1,2 раза, русскоязычное собеседование на эрудицию, логику и свободное философское размышление — в 1,06 раза. Превосходство отличников над всей остальной массой абитуриентов в среднем по всем испытаниям составило 1,18 раза. Однако именно собеседование, описанию которого посвящена настоящая статья, как раз дало возможность проявить себя тем, кто отличником не является: на этом этапе превосходство отличников было наименьшим. Кроме того, часть отличников показала результаты ниже среднего, и здесь снова проявилось влияние собеседования с логико-философским содержанием: если результаты ниже среднего среди отличников по функциональной грамотности показали 8,3%, по математике 16%, по английскому языку 14%, то в русскоязычной части собеседования их было 25%. То есть четверть круглых отличников среди девятиклассников проявляют эрудицию, способность к логике, критическому мышлению и свободному философскому размышлению худшие, чем в среднем абитуриент Лицея. В целом высший балл за собеседование получили четверо, из которых двое — обладатели аттестатов с отличием. В топе-10 результатов по итогам всех испытаний оказался 21 абитуриент, из них 6 отличников.
Таким образом, следует признать, что преимущество отличников в целом по конкурсу, безусловно, наблюдается, они как отдельная категория более успешны, чем неотличники, но не настолько, чтобы можно было говорить о значимом превосходстве (в конкретном кейсе). В описываемом собеседовании их преимущество имеет наименьшее значение из всех видов испытаний. Если принять за факт то, что логико-философские задания и дискуссии менее всего походят на школьные форматы (что было очень заметно по реакциям абитуриентов), то чем дальше от школы, тем меньше преимущество отличников, а значит, с задачей собирать в Лицее учеников с заданными качествами, независимо от их формальной успешности в школе, приемная кампания в той или иной степени справилась. Это, конечно, не означает, что комплекс вступительных испытаний не должен модифицироваться с учетом полученного опыта.
Для селективных школ всегда был и остается открытым вопрос: можно ли строить вступительные испытания на проверке компетенций, которым школа не учит? Авторы склонны ответить на него утвердительно: селективные школы, особенно работающие со старшеклассниками по специализированным программам, имеют моральное право включать в испытания проверку метапредметных навыков за пределами школьных форматов. Тем самым они дают дополнительный шанс тем, кто самообразовывается. Демонстрация знаний и навыков в приоритетных для профиля областях за пределами школьного минимума — это прежде всего демонстрация высокой мотивированности претендента на обучение в Лицее. А мотивация — основополагающее условие успешного обучения. В этом авторы солидарны с ведущим положением программы «Столичное образование», озвученным на ее представлении А. Г. Асмоловым: «…речь о поддержке и развитии не только и не столько одаренных детей, сколько, и это важно, высокомотивированных детей. Мотивация к познанию, к творчеству является движущей силой развития способностей и талантов. Мотивационная среда создает атмосферу для взращивания будущих ломоносовых, сахаровых и бродских» (2011).
Резюмируем итоги тестирования нового формата испытаний.
1. В блоке из четырех вопросов на эрудицию выявлялись любознательность, интерес к окружающему миру и память. Наблюдали при этом невысокую долю правильных ответов и скрываемые попытки воспользоваться интернет-поисковиком прямо во время контакта с экзаменатором. Выявили, что, во-первых, любознательность и интерес к миру неожиданно фрагментарны, а области увлечений, с одной стороны, и лакун в знаниях, с другой, у абитуриентов слабо поддаются систематизации: по знаниям или незнанию в некоторой области сложно предположить знания или полное их отсутствие в другой; во-вторых, список того, чего образованный человек не может позволить себе не знать, в поколении нынешних шестнадцатилетних, видимо, сильно отличается от представлений авторов испытаний; в-третьих, в современном мире память частично отдается на сознательный аутсорсинг интернету — слишком много информации, легкий доступ.
1. В блоке из четырех вопросов на эрудицию выявлялись любознательность, интерес к окружающему миру и память. Наблюдали при этом невысокую долю правильных ответов и скрываемые попытки воспользоваться интернет-поисковиком прямо во время контакта с экзаменатором. Выявили, что, во-первых, любознательность и интерес к миру неожиданно фрагментарны, а области увлечений, с одной стороны, и лакун в знаниях, с другой, у абитуриентов слабо поддаются систематизации: по знаниям или незнанию в некоторой области сложно предположить знания или полное их отсутствие в другой; во-вторых, список того, чего образованный человек не может позволить себе не знать, в поколении нынешних шестнадцатилетних, видимо, сильно отличается от представлений авторов испытаний; в-третьих, в современном мире память частично отдается на сознательный аутсорсинг интернету — слишком много информации, легкий доступ.
В декабре 2020 года при работе над этой статьей нами был проведен цифровой блиц-опрос 106 десятиклассников Лицея, прошедших описываемые здесь вступительные испытания, на предмет выяснения их планки «чего не может не знать абитуриент Лицея» по ряду ключевых гуманитарных предметов (история, экономика, дисциплины блока обществознания, литература и т. п.). Результаты оказались крайне разбросанными и противоречивыми: одна группа лицеистов готова была поставить эту планку значительно выше нашей, другая — свести ее к крайнему минимуму или убрать в принципе. Из чего можно сделать предварительный вывод: дело не столько в смене поколений, сколько во внутрипоколенческом разнообразии личных образовательных достижений и придаваемой им ценности, несмотря на наличие общей школьной программы.
2. Во второй части собеседования выявлялись способность к абстрактному мышлению и чувствительность к логике. Наблюдали через призму выбранных заданий уровень этих способностей ниже ожидаемого, а также то, что жизненный опыт и ценностные суждения перекрывают абстрактную логику (что в целом характерно для всех возрастов). Выявили, что решение абстрактных логических задач — навык, которому в обычной школе целенаправленно не учат, а некоторые из задач, кажущиеся экзаменаторам решаемыми интуитивно, фактически таковыми не являются и требуют специальной подготовки и дополнительных знаний, например, в области статистики.
3. Заключительная третья часть с вопросом открытого типа выявляла широту, гибкость и независимость мышления. Наблюдали отсутствие привычки у абитуриентов к такого рода заданиям, но в отдельных случаях именно они позволяли очень выигрышно раскрыться абитуриентам, отстававшим по результатам других испытаний. Выявили, что большинство абитуриентов демонстрирует навыки, противоположные искомым — пытается найти (угадать) правильный ответ, в случаях с цитатой «из великих» — согласиться с авторитетным мнением, даже не находя ни одного аргумента в его пользу.
Авторам представляется, что этот небольшой кейс, содержащий много дискуссионного, тем не менее, говорит о важном для всего школьного образования — необходимости введения курсов или приемов работы в рамках существующего предметного содержания, которые бы специально охватывали базовые навыки критического мышления, логики, аналитической работы и свободного аргументированного философского размышления.
Международное движение «Философия — Детям» (P4C) возводит свой метод к философским диалогам Сократа. Непосредственно движение отталкивается от работ 70-х гг. XX в. американского философа и теоретика образования Мэтью Липмана. Благодаря ему появились несколько методик философствования с детьми, развиваемых на базе британских платформ SAPERE и The Philosophy Foundation, международных ассоциаций в рамках движения, таких как ICPIC (The International Council of Philosophical Inquiry with Children) и SOPHIA (European Foundation for the Advancement of Doing Philosophy with Children). Благодаря Нине Степановне Юлиной и Ларисе Тимофеевне Ретюнских данное движение получило развитие в России. Подробнее: Авдиева, А. (2020). Применение инструментов практической философии для развития творческого и критического мышления у детей. https://icpp2020.ru/_files/200 000 361-e548be548f/Collection.pdf.
Литература
- Авдиева, А. (2020). Применение инструментов практической философии для развития творческого и критического мышления у детей. Философская практика: самопознание посредством интеллектуального творчества https://icpp2020.ru/_files/200 000 361-e548be548f/Collection.pdf.
- Калина, И. И., Кузьминов, Я. И., Асмолов, А. Г. (2011). Государственная программа г. Москвы "Развитие образования города Москвы ("Столичное образование")". Образовательная политика, 3(53), 4−10.
- Канеман, Д. (2014). Думай медленно… решай быстро. Москва: АСТ.
- Лурия, А. Р. (1971). Психология как историческая наука (К вопросу о исторической природе психических процессов). История и психология (с. 36−62). Москва: Наука.
- Чатфилд, Т. (2020). Критическое мышление. Москва: Альпина Паблишер.
- Юлина, Н. С. (2005). Философия для детей: обучение навыкам разумного мышления. Москва: Канон+.
- Baggini, J. (2011). Do you think what you think you think? Granta Books.
- Cosmides, L., & Tooby, J. (1992). Cognitive Adaptions for Social Exchange. In Barkow, J., Cosmides, L., & Tooby, J. (eds.). The adapted mind: Evolutionary psychology and the generation of culture (pp. 163−228). New York: Oxford University Press.
- Evans, J. S. B. T., Newstead, S. E., & Byrne, R. M. J. (1993). Human reasoning: The psychology of deduction. Hove: Lawrence Erlbaum Associates.
- Wason, P. Reasoning. (1996). New Horizons in Psychology (pp. 131−151). Foss B. M. Harmondsworth: Penguin.
- Wason, P. C. Self-contradictions. (1977). In Johnson-Laird, P. N.; Wason, P. C. (eds.). Thinking: Readings in cognitive science (pp. 114−128). Cambridge: Cambridge University Press.
Critical thinking and philosophical discussions in the admissions to the 10th grade: the case of RANEPA Lyceum under pandemic
- Zhanna V. PODKOVYRKINAE-mail: podkovyrkina-zv@ranepa.ruDirector\Principal of the RANEPA Lyceum. Master of state and municipal administration at the Higher School of Economics (Education Management) (4/3, 83, Vernadskogo pr., 119 606, Moscow, Russian Federation).
- Alexandra A. KONOPLYANIKE-mail: alexandra.konoplyanik@gmail.comPhilosophy of Business teacher at the RANEPA Lyceum. Master of philosophy and public policy (LSE). Specialist philosophy facilitator (The Philosophy Foundation, UK) (4/3, 83, Vernadskogo pr., 119 606, Moscow, Russian Federation). Practical philosopher.
- Ivan S. KURILOVICHE-mail: ivan.kurilovich@gmail.comSenior research fellow at the Philosophy Department of Russian State University for the Humanities. Theory of Knowledge teacher at the RANEPA Lyceum. Candidate of philosophical sciences (4/3, 83, Vernadskogo pr., 119 606, Moscow, Russian Federation).
- Anastasia V. AVDIEVAE-mail: avdieva.anastasia@gmail.comPhilosophy of Business teacher at the RANEPA Lyceum. Fundamentals of Philosophy teacher at the Letovo International School. Founder of the Moscow Children’s Philosophy club. Practical philosopher (4/3, 83, Vernadskogo pr., 119 606, Moscow, Russian Federation).
Abstract
The article presents the analysis of the novel approach to the admissions to the 10th grade by the Lyceum of the Russian Academy of National Economy and Public Administration under the President of the Russian Federation (RANEPA). The new approach was developed as a response to the COVID-related constraints, preventing the use of the earlier established non-distant admissions formats. The particular focus of this article are the oral interviews in Russian language, comprising the tailored tests on erudition, analytical and critical thinking skills, and the ability to handle open questions.
Goal. The admissions case analysis to determine the best criteria and methods of selecting students from the pool of Lyceum applicants.
Methodology. The article is a case study, comprising the goal setting, the practical solution, and the analysis of the results.
Results. The article highlights the controversial and ambiguous circumstances of the admissions to selective schools and presents the specific way to address them, open for further improvements.
The scientific novelty of the article consists of the uniqueness of the described case and the depth of its analysis.
Practical importance. The results can be used in admissions to similarly specialised classes in high school.
Keywords: admissions, admission tests, selective schools, distance learning technologies, philosophy at school, critical thinking, logic at school, theory of knowledge, practical philosophy.
Goal. The admissions case analysis to determine the best criteria and methods of selecting students from the pool of Lyceum applicants.
Methodology. The article is a case study, comprising the goal setting, the practical solution, and the analysis of the results.
Results. The article highlights the controversial and ambiguous circumstances of the admissions to selective schools and presents the specific way to address them, open for further improvements.
The scientific novelty of the article consists of the uniqueness of the described case and the depth of its analysis.
Practical importance. The results can be used in admissions to similarly specialised classes in high school.
Keywords: admissions, admission tests, selective schools, distance learning technologies, philosophy at school, critical thinking, logic at school, theory of knowledge, practical philosophy.
References
- Avdieva, А. (2020). Applying the tools of practical philosophy for the creative and critical thinking development in children. Philosophical practice for self-knowledge by means of intellectual creativity. https://icpp2020.ru/_files/200 000 361-e548be548f/Collection.pdf. (In Russian).
- Baggini, J. (2011). Do you think what you think you think? Granta Books.
- Chatfield, Т. (2020). Critical Thinking. Moscow: Alpina Publisher. (In Russian).
- Cosmides, L., & Tooby, J. (1992). Cognitive Adaptions for Social Exchange. In Barkow, J., Cosmides, L., & Tooby, J. (eds.). The adapted mind: Evolutionary psychology and the generation of culture (pp. 163−228). New York: Oxford University Press.
- Evans, J. S. B. T., Newstead, S. E., & Byrne, R. M. J. (1993). Human reasoning: The psychology of deduction. Hove: Lawrence Erlbaum Associates.
- Kahneman, D. (2014). Thinking, Fast and Slow. Moscow: AST. (In Russian).
- Kalina, I. I., Kuzminov, Ya. I., Asmolov, A. G. (2011). State program of Moscow " Development of education in Moscow ("Capital education")". Education Policy, 3(53), 4−10. (In Russian).
- Luria. А. R. (1971). Psychology as a Historical Science (On the question of the historical nature of mental processes). History and psychology, (pp. 36−62). Moscow: Nauka. (In Russian).
- Wason, P. Reasoning. (1996). New Horizons in Psychology (pp. 131−151). Foss B. M. Harmondsworth: Penguin.
- Wason, P. C. Self-contradictions. (1977). In Johnson-Laird, P. N.; Wason, P. C. (eds.). Thinking: Readings in cognitive science (pp. 114−128). Cambridge: Cambridge University Press.
- Yulina, N. S. (2005). Philosophy for children: teaching intelligent thinking skills. Мoscow: Kanon+. (In Russian).
Если статья была для вас полезной, расскажите о ней друзьям. Спасибо!