Материалы и тезисы докладов Международной конференции
С 13 по 15 декабря 2004 года в поселке Московский прошла международная конференция «Оценка образовательных достижений в рамках национальных экзаменов». Организаторами конференции были Министерство образования и науки, Федеральная служба по надзору в сфере образования и науки и Федеральный институт педагогических измерений - член Европейской Ассоциации специалистов по оценке в области образования (AEA-Europe).

На конференции присутствовали представители Министерства образования Российской Федерации, Федеральной службы по надзору в сфере образования и науки, Национального фонда подготовки кадров, Мирового банка, международных организаций, занимающихся проблемами оценки образования и имеющих богатый опыт работы в создании национальной системы экзаменов - Европейской Ассоциации специалистов по оценке в области образования (AEA-Europe) и Международной организации по оценке качества образования (Assessment Group International), а так же эксперты из Национального института измерений в области образования – CITO (Нидерланды), Образовательной службы тестирования – ETS (США), Американских советов по международному образованию - American Councils (США), Британского Совета (British Council) и Центра тестирования Польши.

В работе конференции приняли участие специалисты в области педагогических измерений из стран СНГ и Балтии - Государственной комиссии по приему студентов Азербайджанской республики, Национального центра государственных стандартов образования и тестирования Министерства образования и науки Республики Казахстан, Национального центра тестирования при Министерстве образования Кыргызской республики, Центра оценки в образовании и методов обучения Кыргызской республики, Национального экзаменационного центра Латвийской республики, Центра развития образовательных программ и экзаменов Литовской республики, Центра тестовых технологий Республики Украина. На конференции присутствовали члены рабочей группы по введению ЕГЭ Федеральной службы по надзору в сфере образования и науки, представители регионов, участвующих в эксперименте по введению единого государственного экзамена из Москвы, Санкт-Петербурга, Самары, Нижнего Новгорода, Великого Новгорода, Пскова, Краснодара, Пензы, председатели федеральных предметных комиссий разработчиков контрольно-измерительных материалов (КИМ) и научно-методических советов Федерального института педагогических измерений. В работе конференции приняли участие 86 человек из 9 стран.

Для обсуждения на конференции были предложены итоги эксперимента по введению Единого государственного экзамена в Российской Федерации. Вместе с тем, участие в работе конференции гостей из ближнего и дальнего зарубежья позволило превратить конференцию в платформу для профессионального обсуждения и обмена опытом по проведению национальных экзаменов не только в России, но и в Великобритании, США, Нидерландах, в Украине, в Киргизии, Казахстане, Азербайджане, Польше, Литве и Латвии.

В ходе пленарных заседаний были представлены общие подходы, на основе которых реализуются национальные экзамены в разных странах.

В выступлении руководителя Федеральной службы по надзору в сфере образования и науки В.А.Болотова «Единый государственный экзамен в общероссийской системе оценки качества образования» был обозначен ряд важнейших вопросов, связанных с проблематикой форума:

• готовность к переводу единого экзамена из экспериментального в штатный режим;
• вопрос об обязательности единого экзамена для выпускников школ;
• оправданность или неоправданность проведения дополнительных испытаний на этапе приема выпускников в вуз;
• прогностичность результатов ЕГЭ на этапе обучения в вузе;
• совершенствование практики шкалирования результатов экзамена, формы предъявления пользователям и интерпретации результатов единого экзамена;
• проблема обеспечения информационной безопасности при обработке результатов экзамена;
• недопустимость прямого использования результатов ЕГЭ для аттестации школ и педагогов;
• учет социокультурного контекста и контингента учащихся при аттестации школ;
• использование инфраструктуры ЕГЭ в области статистики, укрепления информационного пространства, различных возрастных учебных показателей, т.е. использование ЕГЭ как составляющей единой общероссийской системы оценки качества образования;
• необходимость опоры на компетентностный подход в оценке образовательных достижений в рамках ЕГЭ;
• необходимость аудита международными организациями, соотнесения национальных проблем образования с международной практикой;
• учет специфики учебных дисциплин (возможность свободной интерпретации проблемы в открытом развернутом ответе для гуманитарных дисциплин, решение вопросов, связанных с практикумами и лабораторными работами в рамках проверки знаний по естественнонаучным дисциплинам); возможности введения накопительной системы образовательных достижений (портфолио) по предмету;
• анализ показателей и результатов международного исследования ПИЗЫ-2003 по оценке функциональной грамотности российских учащихся и необходимость выработки рекомендаций по совершенствованию отечественной системы образования.

В выступлениях зарубежных гостей этот широкий спектр вопросов получил свое развитие и интерпретацию с учетом особенностей различных национальных образовательных систем и опыта их совершенствования. В докладе Л.Гриневич (Украина) были подняты следующие вопросы:
- установка на технологии массового тестирования в системе школа-вуз;
- выработка финансовых и моральных стимулов для экспертов;
- разработка рейтинговых оценок для вузов;
- необходимость корреляции результатов внешнего оценивания и способностями учащихся;
- формирование корпуса специалистов по созданию заданий.

В выступлении Т. Ага-али Бадалова (Азербайджан) было подчеркнуто, что в стране нет единого экзамена, но есть т.н. "виртуальный" экзамен и обычный прием в вузы. Первый, предполагающий тестирование по пяти группам предметов, не учитывает итоги школы и проверяет готовность абитуриента к учебе в вузе соответствующего профиля. Прогностичность и валидность экзамена обеспечивается анализом учебных достижений учащихся на этапе обучения в вузе.

В выступлении Е.А.Ленской (Британский Совет) были выделены следующие важные компоненты Британской системы оценки образовательных достижений:
- открытое предъявление результатов образования потребителям;
- обязательность правительственного мониторинга федеральных образовательных показателей (например, количества детей, чьи навыки чтения и вычислительные навыки достаточны для продолжения образования);
- наличие различных образовательных стандартов для разных территорий (например, Англии и Шотландии);
- наличие системы надпредметных компетенций и жизненно важных умений, их интеграция в предметную область;
- допустимость дополнительных испытаний при приеме в вузы и учет дополнительных результатов при поступлении (например, портфолио);
- оценка уровня знаний и умений, а также прироста в образовательных достижениях – главные установки системы проверки.

Ряд важных тезисов был сформулирован в выступлении М.Зелмана (Американские советы по международному образованию - American Councils (США):
- необходимость соотнесения тестов по международной оценке образовательных достижений (например, исследования ПИЗА) и национальных тестов в формировании образовательных стратегий;
- востребованность теста в форме эссе как эффективной формы проверки способностей учащихся;
- проблема существования услуг по "тренировке на тест" в системе подготовки пользователей образовательных услуг;
- необходимость учета соотношения тестов способностей и тестов достижений.

В выступлениях Я.Вигерса (Нидерланды), М.Легутко (Польша), В.Юргайтиса (Литва) и других участников конференции были охарактеризованы различные системы национальных экзаменов, имеющие централизованный характер и использующие стандартизированную тестовую форму оценки образовательных достижений.

На пленарной дискуссии обсуждался широкий круг вопросов, связанный с доверием общества к результатам экзаменов, а также с доверием профессионального международного сообщества к национальным экзаменам стран, создающих систему национальных экзаменов. В ходе дискуссии были выработаны следующие критерии доверия:

- общественное согласие о необходимости введения новой системы экзаменов;
- участие представителей различных групп в деятельности, связанной с организацией и проведением экзаменов;
- справедливый тест (ясные правила проведения экзаменов, открытые образцы экзаменационных работ и системы оценивания, содержание экзамена в основном соответствует школьной практике, отсутствие списывания на экзамене и др.);
- профессионально разработанный тест (с учетом требований теории и практики педагогических измерений);
- прозрачная процедура выставления баллов за экзамен;
- подробные отчеты по результатам экзамена.
-
Помимо пленарных заседаний, были организованы секционные обсуждения отдельных аспектов организации и проведения национальных экзаменов.

Секция №1 «Компетентностный подход к оценке образовательных достижений» рассматривала вопрос реализации нового подхода к оценке достижений учащихся. Обсуждались подходы к оценке ключевых и предметных компетентностей на примере опыта США, Великобритании, международного исследования ПИЗА. Основное внимание было уделено оценке предметной компетентности в рамках ЕГЭ как способности решать проблемы, возникающие в окружающей действительности, средствами предмета. На ЕГЭ должны оцениваться не только знания и умения, которыми учащиеся овладевают в процессе обучения в средней школе, но и способность учащихся применять эти знания и умения в решении задач, связанных с повседневной жизнью.

В ходе работы секции №2 «Обеспечение информационной безопасности проведения национальных экзаменов» обсуждались вопросы информационной безопасности при проведении экзаменов в отдельных странах в рамках различных технологий проведения национальных экзаменов на разных этапах – этапе составления экзаменационных материалов, этапе доставки экзаменационных материалов к местам проведения экзаменов, этапе проведения экзамена, этапе проведения первичной и окончательной обработки результатов, этапе рассмотрения апелляций к результатам экзамена и, наконец, этапе формирования, распечатки, выдачи и использования документов, свидетельствующих о результатах экзаменов.

Секция №3 «Проблема обеспечения объективности результатов экзамена и прозрачности процедур шкалирования» была посвящена обсуждению проблем, лежащих в основе формирования доверия широких слоев общественности к результатам, получаемым после проведения экзамена. В дискуссиях по представленным докладам, среди которых были и сообщения ведущих психометриков из США и Нидерландов, приняли участие многие зарубежные эксперты и российские специалисты. Был отмечен очевидный прогресс, сделанный российскими разработчиками ЕГЭ, в реализации требований, предъявляемых мировыми стандартами качества к разработке экзаменационных материалов и оценке их выполнения.

Секция №4 носила название «Использование результатов национальных экзаменов в управлении образовательной деятельностью». В итоге обсуждений был выявлен ряд дополнительных положительных аспектов, связанных с проведением ЕГЭ и использованием его результатов, и обозначены проблемы, связанные с использованием результатов ЕГЭ в практической педагогической и управленческой деятельности. В результате работы секции были выработаны предложения по повышению эффективности использования информационной среды ЕГЭ, расширению информационного и методического обеспечения участников ЕГЭ для интенсификации информационного обмена, интеграции информационных ресурсов и систем различных уровней образования, включению в систему подготовки и повышения квалификации работников образования специальных курсов, связанных с проблематикой ЕГЭ, разработке и распространению научно-методических рекомендаций по интерпретации и использованию результатов ЕГЭ, по согласованию различных нормативных баз.

На секции №5 «Использование тестовых технологий в оценке качества образования» были рассмотрены вопросы, связанные с разработкой тестов и обеспечением качества тестовых материалов. Особое внимание было уделено разработке контрольных измерительных материалов для ЕГЭ в России, созданию компьютерных программ подготовки экспертов для проверки выполнения заданий с развернутыми ответами. На примере республиканского экзамена в Кыргызстане сравнивались подходы к оценке способностей экзаменуемых к продолжению обучения в вузах и оценке образовательных достижений.

Значительный интерес вызвала презентация исполнительного директора Международной группы по оценке образовательных достижений Э.Каскальяра, который представил на обсуждение систему интегрального оценивания, разрабатываемую группой европейских университетов. Данная система включает интеграцию и интерпретацию с использованием современного математического аппарата результатов различных оценочных процедур, включая адаптивное компьютерное тестирование, тестирование с целью оценки результата и процесса выполнения заданий, портфолио и др.

На секции №6 «Развитие информационных систем сопровождения национальных экзаменов» обсуждались вопросы интеграции информационных ресурсов, проблемы создания национальных баз данных учета и регистрации документов об образовании. Решение ряда актуальных задач по данной проблематике рассматривалось на примерах проведения ЕГЭ в Псковской области и национальных экзаменов в ряде стран СНГ.

Итоги эксперимента по введению Единого государственного экзамена в России получили оценку международных и российских экспертов (С. Баккера (Нидерланды), генерального секретаря Европейской ассоциации специалистов по оценке в образовании, Л.М.Гриневич, директора Центра тестовых технологий Украины, Т.Н.Зайчиковой, начальника отдела Департамента образования и социально-правовой защиты детства администрации г.Н.Новгорода, заслуженного учителя России), которым дополнительно к материалам конференции был дан для экспертизы аналитический доклад «Реализация эксперимента по введению единого государственного экзамена в Российской Федерации».
С.Баккер обратил внимание на несомненные достижения организаторов Единого государственного экзамена и сформулировал рекомендации по формированию доверия общества к ЕГЭ, выделив как основные следующие направления:

• привлечение представителей всех заинтересованных сторон, включая оппонентов, к работе комиссий ЕГЭ;
• выделение главной цели экзамена;
• определение ответственности всех организаций и учреждений, обеспечивающих подготовку и проведение экзамена;
• разработка набора предметных компетенций, основанных на учебной программе и соотнесенных с дальнейшим обучением;
• организация исследования прогностической валидности экзамена.

Рекомендации С.Баккера касаются также проблем разработки экзаменационных материалов, организации процедур оценивания, распечатки и распространения экзаменационных материалов.

В качестве основы для экспертизы Л.Гриневич использовала рекомендации Всемирного банка по разработке институционных возможностей и эффективных решений в процессе реформирования государственных экзаменационных систем:
«Государственные внешние экзамены должны обладать следующими характеристиками:
Соответствие цели.
Справедливость, честность, доверие общественности.
Действенность и экономическая эффективность.
Прозрачность процедур.
Положительное влияние на практику работы школы.»

В заключении эксперт сделала следующие выводы: « Анализ результатов и социальных последствий широкомасштабного эксперимента по введению ЕГЭ, четкое определение задач, которые необходимо решить для уменьшения выявленных рисков и повышения объективности и прозрачности экзамена, предполагают возможность использования апробированной модели ЕГЭ для поэтапного введения ЕГЭ, по мере решения поставленных задач, в штатный режим на всей территории Российской Федерации.
Для этого целесообразно разработать Программу поэтапного введения ЕГЭ в штатный режим, которая:

• содержит стратегические задачи на каждом из этапов расширения эксперимента и последовательного введения ЕГЭ в штатный режим;
• определит тактические шаги по достижению этих задач;
• укажет направления развития их институционного обеспечения;
• установит ожидаемую эффективность использования вложенных ресурсов и средств;
• опишет критерии достижения стратегических целей на каждом из этапов.

Важными условиями успешного введения предлагаемой модели единого государственного экзамена представляется: развитие сопутствующих средств оценки знаний выпускников общеобразовательных учреждений и конкурсного отбора для поступления вуз; развитие подходов по использованию информационной базы ЕГЭ и других средств оценки для формирования национальной системы оценки качества образования».

Л.Гриневич высказала также рекомендации по представлению технологии разработки КИМ и шкалирования результатов на международную сертификацию качества, по разработке нормативной базы, определяющей ответственность различных организаций за проведение ЕГЭ.

Ниже представлены выводы из экспертного заключения Т.Н.Зайчиковой:
«Представленные в докладе результаты комплексного исследования проводимого эксперимента по ЕГЭ с 2001 – 2004 г. позволяют сделать выводы о том, что апробация технологии проведения ЕГЭ успешно завершена. Предложенный подход к оценке знаний выпускников может стать ведущим элементом при разработке национальной системы оценки качества образования.
Имеющаяся технология ЕГЭ – транслируема и при определённых условиях уже в ближайшее время может быть введена в штатный режим, что не исключает продолжения работ по дальнейшему совершенствованию технологии.
Итоги эксперимента убедительно показали его влияние на важность и необходимость формирования у специалистов образовательной сферы профессионально–педагогической компетентности и методологической позиции как необходимого условия успешного управления развитием образовательных систем разного уровня, что в свою очередь, будет способствовать повышению качества образования. Это ещё один аргумент, говорящий в пользу возможности введения ЕГЭ в штатный режим.»
Дополнительно Т.Н.Зайчикова выделила проблемы доверия общества к результатам экзамена, информационной безопасности и создания соответствующей нормативной базы, совершенствования управленческой деятельности с учетом результатов ЕГЭ, формирования профессионального сообщества.

По окончании конференции прошел семинар (16-18 декабря) в Федеральном институте педагогических измерений, в ходе которого специалисты различных организаций, связанных с разработкой контрольных измерительных материалов для ЕГЭ и обработкой результатов ЕГЭ (ФИПИ, Центр тестирования и т.д.), а также коллеги из Польши и Украины под руководством ведущих специалистов-психометриков Голландского института педагогических измерений (CITO) Г.Мариса и А.Фершур, обсудили проблемы психометрического обеспечения экзамена (оптимального конструирования тестов на основе калиброванного банка тестовых заданий и шкалирования результатов, позволяющего получить сопоставимые результаты экзаменов в разные годы) и наметили планы дальнейшего сотрудничества.