Автоматизированная система оценки знаний

Отечественная образовательная система находится, к сожалению, далеко не в авангарде по степени использования новых технологий. Однако именно здесь чрезвычайно востребованы технологии обработки и анализа больших объемов информации. Сейчас, когда российская школа шаг за шагом осваивает опробованные мировым опытом подходы, — от дистанционного обучения до массового внедрения тестовой системы оценки знаний, — особенно актуальны решения в рамках программы «электронного образования».

Нет необходимости доказывать, что возможность постоянного оперативного мониторинга качества знаний на всем протяжении образовательного процесса — от начальной школы до вуза — существенно повысила бы эффективность обучения. Принято считать, что практика последних лет показала: тестовая форма оценки знаний является методически и экономически эффективным средством контроля качества обучения. В частности, в форме тестирования проводятся: оценка уровня подготовленности учащихся при аттестации школ; вступительные экзамены в вузы; платное централизованное тестирование силами Министерства образования РФ как для абитуриентов вузов, так и для школьников; Единый государственный экзамен (ЕГЭ, www.ege.ru), проводимый в порядке эксперимента в ряде регионов; олимпиады и репетиционные экзамены в некоторых столичных вузах [1].

При проведении тестирования всегда используются заранее подготовленные бланки ответов. Такой бланк содержит поля, в которых тестируемые указывают свои реквизиты (ФИО, школа, класс, номер варианта и т.д.) и куда они вносят свои ответы. Заполненные бланки передаются на обработку и проверку. По прошествии некоторого времени (эта величина зависит в первую очередь от объема обрабатываемых бланков и от применяемых методик обработки) получают результат. Регионы, в которых проводился Единый государственный экзамен, уже ощутили увеличение объемов обрабатываемой информации, поскольку экзамены, которые раньше проводились в устной форме, теперь являются письменными, а школьники из разных школ для проведения экзаменов собираются вместе, в одном помещении. Увеличение объемов обрабатываемой информации требует новых подходов к ее обработке.

Обработка большого числа бланков невозможна без применения тех или иных средств автоматизации. Многие учреждения образования разработали собственные технологические цепочки, суть которых состоит в последовательном применении различных коммерчески доступных офисных приложений. Типичная цепочка может быть описана следующими шагами. С помощью некоторого офисного приложения получают результаты распознавания бланка ответов. Эти результаты сохраняются в формате, поддерживаемом программой распознавания, и обычно содержат распознанные реквизиты учащегося и список данных им ответов. Затем результаты импортируются в базу данных; во время импорта исправляются ошибки распознавания. Этот этап — наиболее монотонный и длительный.

После загрузки результатов в базу данных с помощью другого специализированного приложения выполняется проверка ответов по ключам заданий А и В (см. врезку «Виды тестовых заданий Единого государственного экзамена»). Если в тестовых вариантах присутствуют задания типа С (ответ на такие задания дается на отдельных бланках, а проверяют их два независимых эксперта), то бланки с ответами на задания С копируются, вручную нумеруются и выдаются на проверку экспертам. Эксперты после проверки бланка в отдельных журналах записывают свои оценки, которые затем вручную переносятся в базу данных. И только после этого с помощью какого-нибудь приложения обработки текстов выполняется печать результатов тестирования с указанием полученных оценок.

Такая процедура подходит для обработки небольших объемов информации, при которых для автоматизации ручных операций целесообразно приспособить существующие офисные пакеты. При «проектировании» подобных решений не учитывается возможность их использования для обработки большого объема информации. При попытке использовать их для обработки действительно большого числа бланков возникает ряд естественных технологических проблем.

Первая проблема состоит в том, что отсутствие автоматической процедуры учета бланков ответов от их «рождения» до сдачи «в архив» приводит к их физической утрате; при этом не существует никакого способа идентифицировать как причину, так и виновного. Вторая проблема заключается в том, что коммерческие программы распознавания не учитывают некоторых важных особенностей, характерных для обработки бланков ответов. Дело в том, что эти программы изначально проектировались как универсальные, рассчитанные на максимально возможный спектр применений. Даже такое естественное требование, как вывод на экран только значимой информации из бланка ответов (это позволяет исключить злоупотребления и снизить утомляемость оператора) не сочетается с принципом предоставления контекста распознаваемого изображения (т.е. изображения всего бланка ответов), реализуемым в таких системах для того, чтобы оператору было проще «угадать» нераспознанное слово. Третья, основная проблема — возможность злоупотреблений и подтасовки результатов. Поскольку бланки ответов изначально содержат информацию о школьнике, а обработка изобилует ручными операциями, то ничто не может остановить нечистых на руку сотрудников от коррекции ответов. Известны попытки решения последней проблемы за счет исключения из бланков персональной информации путем вписывания реквизитов школьника на отдельный листок. Но, к сожалению, в этом случае не была решена задача учета бланков, и не были исключены ручные операции, что привело к рассинхронизации данных о школьниках с результатами их тестирования, и, как следствие, к неточности и некорректности оценок [2]. Известны и другие характерные проблемы.

Все это говорит об актуальности специализированной технологии тестового контроля в области образования. Для создания эффективного инструментария необходимо использовать открытые стандарты, применяемые при построении промышленных информационных систем. Следует полностью автоматизировать процесс тестирования, начиная от подготовки к тестированию и заканчивая созданием архива результатов с электронными копиями оригинальных бланков ответов. Технология, применяемая в системе «Экзамен» компании «Крок», предназначена для тестового мониторинга качества обучения и ориентирована как на текущий контроль уровня подготовки в отдельно взятом учебном заведении, так и на регулярное массовое тестирование в соответствии с потребностями региональных (муниципальных) органов управления образованием.

Комплексное решение по автоматизации оценки знаний

Автоматизированная информационная система «Экзамен» декомпозирована на несколько уровней. На нижнем уровне расположен пункт проведения тестирования: школа, выделенный пункт тестирования (базовая школа), вуз или другое учебное учреждение в зависимости от конкретной схемы развертывания системы. Здесь решаются следующие задачи:

• составление и поддержка в согласованном состоянии списков школ и школьников из прикрепленных к пункту проведения тестирования учебных учреждений;
• формирование и актуализация списков школьников, зарегистрированных для прохождения тестирования;
• распределение школьников по местам в аудиториях пункта тестирования (используемый алгоритм исключает возможность нахождения на соседних местах в аудитории одинаковых вариантов и учеников одного класса);
• печать и первичная обработка именных бланков ответов;
• передача выверенных результатов распознавания бланков ответов на следующий уровень иерархии и др.

Все операции автоматизированы; обеспечивается двойной контроль, исключающий влияние «человеческого фактора».

На втором (региональном/муниципальном) уровне осуществляется стратегическое планирование и управление тестированием. Здесь выполняется создание сети тестирования и управление входящими в нее пунктами проведения тестирования. Отсюда вся управляющая информация, например, информация о планируемых тестированиях, в автоматическом режиме доводится до подчиненных уровней; сюда же стекаются все отчеты о выполненной работе и результаты первичной обработки бланков ответов. Если в схеме развертывания предусмотрено прямое подчинение данного уровня региональному органу управления образования, то этот региональный орган, помимо централизации управления процессом тестового мониторинга в регионе, получает доступ к постоянно актуализируемой базе данных школьников региона.

На следующем уровне обеспечивается проверка заданий. Проверка заданий типа А и В выполняется в автоматическом режиме. Если система не смогла найти вариант ответа В, предложенный учеником, в списке ключей (или антиключей), то такие ответы дополнительно проверяются экспертами. На экран выводится результат распознавания ответа типа В и картинка с изображением поля ответа с бланка-оригинала. Эксперт принимает решение о правильности ответа, ничего не зная ни о школьнике, ни о бланке.

В тестированиях, проводимых в ходе эксперимента по ЕГЭ, наряду с бланком ответов А и В выпускникам предлагается бланк С, который должен быть проверен двумя независимыми экспертами. В автоматическом режиме для каждого эксперта распечатывается собственная копия бланка, а в адресной части такого бланка содержится только имя эксперта, но нет никакой информации об ученике. Система автоматически обеспечивает выдачу каждого бланка двум разным экспертам. При этом, если ответ выпускником дан более чем на одном листе (такие ситуации не редкость в случае проведения экзамена по гуманитарным предметам), то эксперту предоставляются все листы. Эксперт оценивает ответы и проставляет результат в соответствующих полях. Затем бланк вновь сканируется, и дальнейшая обработка результатов продолжается в автоматическом режиме.

Выделение процесса проверки заданий в отдельный функциональный уровень обеспечивает необходимую гибкость системы, позволяющую определять различные схемы проверки. В частности, это позволяет организовать такую схему, при которой ответы учеников одного региона проверяются экспертами, физически находящимися в другом регионе, что в свою очередь, повышает объективность результатов.

«Экзамен»

Ядро автоматизированной информационной системы «Экзамен» реализовано в рамках трехзвенной архитектуры: сервер хранения (Microsoft SQL Server); сервер приложений (Internet Information Server); тонкий клиент. В минимальной конфигурации система, состоящая из ПК, принтера, сканера и комплекта программного обеспечения, может быть установлена на одну рабочую станцию. При использовании такой конфигурации с учетом возможностей имеющейся информационной инфрастуктуры полный цикл от начала тестирования до получения результатов в масштабах Москвы должен составить не более 3-4 часов.

Базовые элементы технологии были апробированы в ходе аттестационного тестирования московских школ в декабре 2001 года. Впоследствии возможности технологии, адаптированной для проведения ЕГЭ, были продемонстрированы представителям Министерств образования Чувашии и Марий Эл. С октября 2002 года система передана в столице в эксплуатацию для проведения апробации тестовых заданий, которые будут использоваться на ЕГЭ 2003 года.

Благодаря описанной технологии в распоряжение органов управления образованием любого уровня (школа, округ, город, область, регион) предоставляется программно-аппаратный комплекс, который позволит им самостоятельно в автоматизированном режиме подготовить исходные данные для проведения тестирования и обработать его результаты. Таким образом, органы управления образованием получают возможность планировать и проводить тестовый мониторинг в течение всего учебного года с любой требуемой периодичностью.

Применяемый комплекс технических средств может использоваться также и в повседневной деятельности образовательного учреждения для проведения текущего тестового контроля, а также, при необходимости, в качестве вспомогательного оборудования (копировальный аппарат, факс и терминал для выхода в Internet).

Литература

Павел Теплов (pteplov@croc.ru) — менеджер проектов департамента информационных технологий компании «Крок».

Виды тестовых заданий Единого государственного экзамена

В вариантах тестовых заданий, используемых при проведении тестового мониторинга и тестирований в рамках ЕГЭ, используются три вида заданий.

Тип А. Относительно простые задания с вариантами ответа. Собственно, именно такие задания и принято называть тестами. В зависимости от предмета доля таких заданий меняется; хотя в количественном отношении такие задания преобладают, но в суммарном взвешенном балле за решение задания типа А практически по всем предметам дается меньшее количество очков, чем за решение заданий других типов.

Тип В. Задания, предполагающие краткий свободный ответ в виде числа или одного слова. Экзаменуемому свободный ответ, как правило, дается труднее, чем выбор варианта из готовых формулировок.

Тип С. Задания, решения которых должны быть даны в виде свободного развернутого ответа — математических выкладок или текста.

Таким образом, контрольные измерительные материалы для тестового контроля не сводятся к тестам в узком смысле этого слова. Они содержат задания, в ходе выполнения которых экзаменуемый должен проявить свои умения не только к репродуктивной (выбор из предлагаемого), но и к продуктивной деятельности.

Сегодня в мире существуют две устоявшиеся традиции тестирования. Одна из них, возникшая в США, сводит школьные контрольные измерительные материалы к тестам с вынужденным выбором ответа; в частности, так устроен самый популярный тест академических способностей SAT. Другая традиция сформировалась в Великобритании. В экзаменационных материалах Кембриджского экзаменационного синдиката — тесты на получение общего сертификата о среднем образовании (GCSE) — доля открытых заданий традиционно выше заданий с вынужденным выбором ответа (последние тоже присутствуют, но по многим предметам позволяют получить не более 30-40% итогового балла). Здесь сказывается не только традиционная для Великобритании высокая ценность образования, но и социальная ориентация государственной политики, готовность нести немалые расходы по привлечению к проверке экзаменационных протоколов GCSE тысяч высококвалифицированных специалистов.

Единый государственный экзамен

Единый государственный экзамен (ЕГЭ) — совмещение государственной (итоговой) аттестации выпускников общеобразовательных учреждений и вступительных испытаний для поступления в учреждения высшего профессионального образования. Пока ЕГЭ имеет статус эксперимента и базируется не на жесткой директиве, а на документе аналитико-методологического характера — Концепции модернизации российского образования на период до 2010 года, одобренной Правительством РФ. Тестирование по процедуре ЕГЭ проводится в специально выделенных для этого центрах.

Особенности программ распознавания

Для повышения скорости и качества распознавания программное обеспечение, ориентированное на массовую обработку бланков тестирования, использует несколько методик: предопределение типа распознаваемых символов; использование словарей; логический контроль.

Тип распознаваемых символов позволяет указать алгоритму распознавания, какой тип символов «ожидается» в считываемых полях бланка: только цифры, только буквы или сочетание букв и цифр. Имея такую информацию заранее, алгоритм не будет распознавать цифру «0» как букву «О», а букву «Ч», как цифру «4», что увеличивает скорость и точность распознавания. На экзаменах по математике в ответах типа В обычно требуется ввести число — результат вычислений. А в экзаменах по русскому языку в ответах В, как правило, просят написать слово.

Словари позволяют «вытягивать» результат распознавания, если какие-то из распознанных символов слова могут трактоваться как один из возможных, например буквы О и С или Т и Г. Наличие словаря, содержащего только слова, которые могут быть вписаны в распознаваемое поле, позволяет в сложных ситуациях выбирать правильный вариант. Так, в словаре по химии содержится часто используемое слово «олово» и если при распознавании был получен результат в виде «олово» или «слово», то алгоритм распознавания самостоятельно выберет правильный вариант «олово».

Логический контроль используется для проверки семантики результата распознавания. Скажем, на бланках, используемых при тестировании, на ответы типа А учащийся должен выбрать один или несколько правильных ответов из списка, зачеркнув соответствующий квадратик. Наличие информации о том, что в данном ответе может быть выбран только один возможный вариант, поставит под сомнение результат распознавания, в котором выбраны два варианта. Поэтому такой результат будет обработан дополнительно, в том числе, возможно, с привлечением оператора.

Программы распознавания, применяемые для автоматизации массового тестирования с использованием бланков, должны поддерживать перечисленные методики, обеспечивая динамическую адаптацию к соответствующей структуре ответов в каждом варианте. Так, при сдаче теста по истории в одном из вариантов в ответе В номер 1 требуется указать число (1943), а в другом варианте в этом же ответе требуется указать слово (Сталинград). Программа распознавания должна автоматически «настроиться» на указанную структуру ответов каждого из вариантов.