Киселев С. Г., Нуриева Л.М.
ЕДИНЫЙ ГОСУДАРСТВЕННЫЙ ЭКЗАМЕН И ПРОБЛЕМЫ ЕГО АНАЛИЗА
С 2005 года в открытом доступе стали появляться официальные общероссийские итоги Единого государственного экзамена. Их автором является Федеральный институт педагогических измерений (ФИПИ), осуществляющий содержательное и аналитическое сопровождение ЕГЭ. Помимо издания сборников ФИПИ свои исследования также выставляет на сайт (см. www.fipi.ru). К настоящему времени на сайте ФИПИ имеются годовые отчеты о проведении экзамена с 2005 по 2008 годы почти по всем дисциплинам. Несмотря на то, что отчеты ФИПИ носят название «аналитические», большей частью они посвящены констатации фактов и не объясняют причин тех или иных результатов ЕГЭ. К сожалению, они также оказались политизированы полемикой о целесообразности ЕГЭ и не много сообщают о его действительных проблемах. При этом вольно или не вольно искажается истинная картина проведения экзамена (в нашем случае мы говорим только о предмете «математика»). Назначение отчетов ФИПИ можно скорее отнести к обоснованию полезности проведения таких испытаний. Поэтому в целях определения проблем, связанных с проведением ЕГЭ, нами был предпринят параллельный его анализ.
Авторы не ставили задачу рассмотреть итоги ЕГЭ по всем дисциплинам. Для этого мы просто не располагаем исходной информацией. В нашем распоряжении имеется лишь некоторая статистика ЕГЭ по математике в Омской области в 2005-08 годах, т.е. за период, когда экзамен по этой дисциплине был в регионе обязательным для всех учащихся. Опираясь на материалы, опубликованные ФИПИ, и статистику итогов экзамена по математике в Омской области рассмотрим следующие вопросы:
- насколько возможен анализ результатов ЕГЭ и как с этой задачей справляется ФИПИ и региональные органы управления образованием, например, в лице Министерства образования Омской области;
- какие проблемы необходимо решить для того, чтобы подведение итогов экзамена способствовало повышению общеобразовательной подготовки школьников.
Обработать результаты ЕГЭ в целом по стране могут те инстанции, которые располагают для этого соответствующими данными – организаторы проведения экзамена и разработчики контрольно-измерительных материалов (КИМов): Министерство образования и науки РФ, Федеральный центр тестирования (ФЦТ) и Федеральный институт педагогических измерений. Несмотря на то, что экзамен проводится с 2001 года, отчеты по их итогам обнародованы только за последние три года. Что же можно узнать из них о результатах ЕГЭ по математике?
Прежде всего, составители сразу оговариваются, что их работа не претендует на полноту и всесторонность представления результатов ЕГЭ «из-за невозможности отражения выполнения всех вариантов КИМов и временных ограничений». Причем эта оговорка кочует в отчетах из года в год [1, с. 5]; [2, с. 6]; [3, с. 6]. Но никто и не требует от ФИПИ анализа всех вариантов. Желательно лишь обеспечить приемлемую его полноту. Однако, располагая всеми данными об итогах ЕГЭ, ФИПИ фактически признается, что физически не может их проанализировать. При этом ФИПИ лукавит, ссылаясь на трудности работы с большим количеством КИМов и ограниченность сил. Проблемы анализа ЕГЭ связаны не с многочисленностью вариантов, нехваткой сотрудников или отсутствием времени, а с самим экзаменом, с действующей структурой сбора, накопления и представления информации о его результатах.
Обратим внимание на характер сведений, с которыми имеют дело аналитики, и на систему распределения информации между обеспечивающими проведение экзамена организациями: региональными центрами обработки информации (РЦОИ) и Федеральным центром тестирования. Напомним, результатом экзамена по каждому участнику является факт проставления одной из четырех альтернатив ответа на задания в части «А» (крестик в бланке), краткий ответ в части «В» (число) и баллы за решение части «С» (балл). Кроме этого на выпускников школ имеются данные, определяемые структурой бланка регистрации участников ЕГЭ: индивидуальный номер – штрих-код, регион, муниципальное образование, образовательное учреждение, класс, пункт проведения ЕГЭ, номер аудитории, дата проведения экзамена, предмет, вариант, фамилия, имя, отчество участника и его паспортные данные. Эти сведения дополняются информацией об образовательных учреждениях, где помимо прочего (наименование, юридический адрес, данные об аттестации и аккредитации и т.д.) указывается его местонахождение, тип и вид, форма собственности.
В 2005 году ФЦТ обработал результаты ЕГЭ по математике на 680 тыс. чел. (52% от общего числа выпускников школ) [1, с. 8], в 2006 г. – 623 тыс. (47,7%) [2, с. 10], в 2007 г. – 605 тыс. (52,9%) [3, с. 10], в 2008г. – 938 тыс. (88,2%) [4, с. 10].
Вопрос: что можно получить в результате обработки и анализа таких данных?
Ответ: ничего или почти ничего. Поясним почему.
Основой анализа больших массивов информации являются группировка (разбиение совокупности на группы, однородные по какому-либо признаку) и типология (выделение групп объектов, обладающих набором общих признаков). В нашем случае мало получить среднюю оценку учащихся по стране или территориям. Необходимо выделить группы школьников, описать их результат и объяснить его причины. Однако перечень признаков, заложенных в структуре сведений об участниках очень незначителен: пол участника, тип и вид школы, местность ее нахождения, форма собственности – и все! Не удивительно, что выводы, которые из года в год получает ФИПИ, более чем банальны: городские школьники задания выполняют лучше сельских, выпускники обычных школ – лучше вечерних, учащиеся гимназий, лицеев и школ с углубленным изучением предметов – лучше школ обычных, в крупных населенных пунктах – лучше чем, в малых (см. [1, с. 14]; [2, с. 17, 41-42]; [3, с. 19-20]), [4, с. 48]. Для того чтобы такие выводы делать, ЕГЭ можно не проводить.
Выход своим аналитическим усилиям ФИПИ находит в выделении групп учащихся по степени успешности выполнения экзаменационной работы: двоечников, троечников, хорошистов и отличников, а затем рассматривает их результаты по типам задач. Однако на уровне федерального центра это занятие в значительной мере лишено смысла. О чем, например, свидетельствуют данные, что логарифмические неравенства решили в стране 66,8% школьников [3, с. 52]? Это средняя температура даже не по больнице, а по стране. Успешность решения различных типов задач имеет смысл рассматривать на уровне класса, максимум – школы. ФИПИ, изучая затруднения учащихся, фактически выполняет работу, которая должна быть проведена по итогам экзамена в каждом общеобразовательном учреждении. Анализ, который ФИПИ представляет в своих отчетах, необходим только разработчикам образовательных стандартов и КИМов, но не педагогам, которым гораздо важнее знать конкретные затруднения именно своих, а не среднестатистических выпускников.
Сложность изучения результатов ЕГЭ по математике заключается, кроме того, в отсутствии информации о реальных трудностях учащихся. Требования технологичности обработки информации заставляет записывать ответы числом, а в случае невозможности предлагать ответ в качестве альтернативы для выбора. Но главное, за результатом решения не видно логики рассуждения экзаменуемых. В этих условиях умозаключения специалистов ФИПИ о проблемах школьников строятся на догадках, основанных больше на практике непосредственного общения с учащимися, чем на результатах выполнения работ. Даже анализ итогов части «С» возможен лишь постольку, поскольку специалистам ФИПИ удается, что называется «вживую», поработать с ответами выпускников и самими учащимися, либо с обобщенными аналитическими справками, подготовленными региональными экспертами. Так, например, проблема решения алгебраического задания С5 в 2006 году, связанная с тем, что в его условии не имелось никаких ориентиров, облегчающих нахождение способа решения, выявилась для авторов КИМов только в беседах со школьниками, участвовавшими в пробных и репетиционных ЕГЭ [2, с. 55].
Не удивительно, что, обладая столь колоссальным (более полумиллиона работ только по математике), сколько и пустым (в виде крестиков и готовых ответов) массивом информации, ФИПИ вынужден гадать о действительных затруднениях выпускников, что хорошо видно из содержания отчетов. Показательным в этом отношении являются оговорки, которыми изобилует анализ ФИПИ типа: «ВИДИМО», «ПО-ВИДИМОМУ», «ВОЗМОЖНО», «ВЕРОЯТНО», «МОЖЕТ БЫТЬ». Чтобы не быть голословными процитируем, например, некоторые фрагменты отчета ФИПИ 2006 года (выделено нами):
«Поскольку сразу в условие задачи не удается подставить значение переменной, а предварительно необходимо преобразовать данные задачи (представить логарифм произведения в виде суммы логарифмов), то видимо именно этот шаг вызывает наибольшее затруднение» [2. с. 44].
«Немного более низкие результаты выполнения заданий типа №1 и №2, по-видимому, связаны с тем, что после применения свойств радикалов от учеников требовалось вычислить значение корня, что способствовало появлению вычислительных ошибок» [2, с. 46].
«Некоторое снижение результатов, по-видимому, объясняется тем, что после умножения степеней (34а 3 – 2а = 32а) выпускники должны вычислить значение выражения…» [2, с. 47].
«…менее подготовленные учащиеся лучше выполняют преобразование суммы логарифмов в логарифм произведения, чем разность логарифмов в логарифм частного. Видимо, именно это повлияло на снижение результатов при решении логарифмического уравнения [2, с. 49].
«Возможно, что трудности с решением этого уравнения у слабо подготовленных школьников связаны с несколько необычным видом уравнения…» [2, с. 50].
«Вероятнее всего, более высокий результат при решении этого типа уравнения объясняется формой представления условия задания…» [2, с. 51].
«Возможно, что некоторое снижение результатов связано с тем, что при нахождении области определения уравнения типа №3 нужно было учитывать два фактора…» [2, с. 52].
«Трудность этого задания, возможно, состояла в том, что от учащихся требовалось самостоятельно по графикам определить абсциссы точек пересечения двух графиков» [2, с. 54].
«С заданием типа №1 справляются несколько хуже: дают верный ответ в среднем 22,4% выпускников, среди них только 66,1%, получивших отметку «5». Возможно, это связано с двумя обстоятельствами. Во-первых, в этом задании более длинная цепочка вычислений (4 слагаемых вместо 3 или 2), что, очевидно, с большей вероятностью может приводить к арифметическим ошибкам. Во-вторых, более низкий результат мог быть обусловлен тем, что учащиеся меньше ошибок допускают, применяя определение четной функции (f (–x) = f (x)), чем нечетной (f (–x) = –f (x)). А в задании № 1 использовалось определение именно нечетной функции» [2, с. 60].
Не спасают положение и дистракторы – варианты ответов, полученные с использованием типичных ошибочных действий школьников, по той простой причине, что заполнение бланков заданий в условиях гарантированной тройки у значительной их части происходит методом элементарного гадания. Так, например, выпускники одной из вечерних школ Омской области выполнили свою работу на экзамене за 15 минут, заполнив адресную часть бланка и понаставив крестов в бланке № 1. Анализ дистракторов в этом случае добросовестных исследователей просто приведет к заблуждениям.
Другая проблема: сопоставление итогов ЕГЭ по годам. О том, как выявляются тенденции в качестве подготовки школьников, можно узнать из отчетов ФИПИ. Для этого, по словам авторов, производится шкалирование результатов текущего и предшествующего года на основе единого банка откалиброванных тестовых заданий [1, с. 5]. Однако при определении тенденций сравниваются не фактические результаты – количество решенных заданий, а производные от этой оценки – тестовые баллы и аттестационные отметки. В Омской области, например, в 2007 году средний первичный балл (число решенных заданий) и средний процент выполнения работы составили 10,2 и 27,7%, против 9,2 и 24,4% в 2006 году, однако среднеобластной тестовый балл практически не изменился. Число задач, решенных омскими школьниками, увеличилось, а качество математической подготовки, судя по тестовому баллу, – почти не улучшилось [7, с. 8]. В то же время согласно ФИПИ КИМы не менялись: «По сравнению с 2006 годом в контрольно-измерительных материалах 2007 года не произошло существенных изменений ни по структуре, ни по содержанию» [3, с. 12]. О том, почему были повышены нормы выставления положительной аттестационной отметки «3» в 2007 году, мы скажем далее.
К сожалению, недостатки работы ФИПИ обнаруживаются не только при разборе содержания школьных работ, но при анализе общей ситуации организации и проведения ЕГЭ в стране. Материалы ФИПИ в силу дискуссионности вопроса замалчивают несовершенство и проблемы экзамена и тенденциозно освещают его итоги. Отсутствие объективности проявляется в манипулировании цифрами, сокрытии важных обстоятельств проведения ЕГЭ, предвзятости выводов, что становится возможным по причине монополии ФИПИ на информацию. Приведем несколько примеров.
Когда в 2006 году отмечается рост числа участников экзамена из крупных городов, ФИПИ делает вывод о повышении общественного доверия к ЕГЭ [2, с. 16]. Данный вывод сделан без учета обстоятельств расширения перечня экзаменов в регионах-участниках. Что касается математики, то в 2006 году число участников ЕГЭ по предмету в 59 регионах из 69 участвовавших снизилось более чем на 100 тыс. чел. Это следует из статистических таблиц, приводимых самим ФИПИ [1, с. 6-8], [2, с. 7-10]. Частично произошло это из-за снижения общей численности выпускников школ. Смягчило картину снижения числа участников ЕГЭ в 2006 году присоединение к экзамену новых субъектов федерации (города Москвы, Усть-Ордынского Бурятского АО, Курской и Владимирской областей) и введение его обязательности в Иркутской области (сравнение произведено по данным [1, с. 6-9] и [2, с. 7-10], численность выпускников школ в 2005 году взята из [5, с. 261-279]). В 2006 году в регионах, где число участников ЕГЭ составляет менее 60% выпуска (т.е. где выбор экзамена предположительно добровольный), доля школьников, желающих участвовать в ЕГЭ, снизилась. Например, в Волгоградской области в 2005 году в экзамене по математике приняли участие 48% выпускников, в 2006г. - 33%, Воронежской– 45% и 37%, Астраханской - 53% и 33%, Калужской – 52% и 18%, Тульской – 45% и 35%, Дагестане – 9% и 5%, Северной Осетии – 17% и 13%, Калмыкии – 57% и 52%, Ямало-Ненецком АО – 35% и 33% и т.д.
Среди регионов, где в 2006 году отмечается рост числа участников на добровольной основе можно назвать Камчатскую область (число участников увеличилось на 4 чел. или 0,3%), Чукотский АО (на 71 чел. - 50%), Московская область (на 252 чел. - 24%), Тыва (на 395 чел. – 95%), Башкирия (на 1093 чел. – 10%), Новосибирская область (на 1260 чел. – 25%), Бурятия (на 1352 чел – 15%), Свердловская область (на 9341 чел. или в 32 раза), Татарстан (на 13705 чел.- в 3 раза). Вероятно, зафиксированное ФИПИ увеличение числа участников из крупных городов, дали Екатеринбург и Казань (например, в 2005 году в Свердловской области участвовало 292, в 2006г. – 9633 чел., в Татарстане – 6873 и 20578 чел.) за счет введения обязательности экзамена. На основании этих данных выводы о повышении общественного доверия к ЕГЭ делать, наверное, преждевременно.
В 2006 году ФИПИ приходит к заключению о повышении уровня математической подготовки в целом по стране по сравнению с 2005 годом [2, с. 41]. При этом он игнорирует факт изменения состава участников экзамена, а именно, увеличение числа школьников из крупных городов, о котором сам сообщает ранее [2, с. 16], где по признанию ФИПИ математическая подготовка выше. Привести данные в сопоставимый вид, указав, как изменились результаты у горожан и сельчан, и дать их анализ отдельно ФИПИ затруднился.
Охват школьников испытаниями ЕГЭ, достаточный для корректного сопоставления качества подготовки выпускников по регионам, меняется ФИПИ на ходу. В 2005-06 годах он должен быть выше 90% выпускников [1, с. 8]; [2, с. 11], в 2007 году составляет – 80% [3, с. 19]. Создается впечатление, что ФИПИ до сих пор не выработал обоснованных критериев для сопоставления результатов экзамена по территориям.
Для отчетов ФИПИ характерно вольное обращение со статистикой. Например, сведения о численности выпускников школ в таблицах за 2006, 2007, 2008 годы не соответствуют действительности [2, с. 7-10], [3, с. 8-10], [4, с. 8-10]. Для подсчета процента участия школьников используются данные о выпускниках школ предыдущего, а не текущего года. В то время как результаты ЕГЭ анализируются уже в августе-октябре, сведения о выпускниках текущего года из субъектов Российской Федерации поступают в Министерство образования и науки РФ и Росстат только в первой половине ноября. В условиях отсутствия свежих данных специалисты института видимо не придумали ничего лучшего, как определять процент участия по выпуску прошлых лет. Это приводит ФИПИ к довольно большим ошибкам. Например, из отчета института мы узнаем, что в 2008 году доля школьников Омской области, участвовавших в ЕГЭ по математике, составила 69% (хотя фактически за счет выпускников прошлых лет этот показатель составил 102%). В результате в 2008 году ФИПИ относит Омскую область к регионам с необязательной формой участия в ЕГЭ [4, с. 7, 43].
Указывая, что значительную часть участников ЕГЭ составляют выходцы из сельской местности, ФИПИ делает вывод о том, что ЕГЭ оправдывает свою роль социального лифта для учащихся отдаленных районов страны [1, с. 13-14]. Однако такое заключение следовало бы подкрепить фактом увеличения доли сельских школьников от регионов, где экзамен проводился на добровольной основе. Этого сделано не было. Между тем руководство образования Омской области, например, где процент сельского населения выше среднероссийского, приняло решение об участии в ЕГЭ по математике не из соображений расширения образовательных возможностей сельских учащихся, а по более прозаическим причинам. Министерство образования и науки РФ бесплатно для регионов (т.е. за счет федерального бюджета) создавало инфраструктуру экзамена (вычислительная и множительная техника, оборудование, программное обеспечение и т.д.) в тех из них, где принято решение добровольно участвовать в эксперименте. При этом региональным руководителям образования делался намек, что в последующем оборудование для проведения экзамена придется приобретать самостоятельно. Чтобы сэкономить областной бюджет, было принято соответствующее решение. Понятно, что желания выпускников сельских школ при этом никто не спрашивал.
По признанию самого ФИПИ уровень математической подготовки сельских школьников ниже, чем в городе. Так за что же они так любят ЕГЭ? Причина относительной «популярности» ЕГЭ среди сельских учащихся – это гарантированная тройка в аттестате об образовании даже при заполнении бланков ответов наугад.