Введение
Тест - в общенаучном смысле это краткое стандартизованное испытание, направленное на получение в сжатый отрезок времени наиболее существенной информации о признаках данного конкретного объекта с целью установления у него наличия или степени выраженности определенного свойства или качества. Тесты бывают не только психологические. Свойства человека подвергаются тестированию в медицине, педагогике, в определенных областях профессиональной деятельности. В этих случаях говорят соответственно о медицинских, ПЕДАГОГИЧЕСКИХ, ПРОФЕССИОНАЛЬНЫХ тестах. Тестированию может подвергаться не только человек, а также, например, и техническое устройство. В этом случае говорят о техническом тесте. В ПСИХОДИАГНОСТИКЕ используется частная разновидность тестов - ПСИХОЛОГИЧЕСКИЕ ТЕСТЫ. ПРЕДМЕТОМ психологического тестирования являются ПСИХИЧЕСКИЕ СВОЙСТВА, a ОБЪЕКТОМ - носитель психических свойств - человек.
Вопросы интерпретации смысла терминов
Определенное содержание означает использование в тесте только такого контрольного материала, который соответствует содержанию учебного курса; остальное содержание в педагогический тест не включается ни под каким предлогом.
Содержание теста проходит экспертизу у опытных педагогов, которые призваны дать ответ на главный вопрос - можно ли с помощью предложенных заданий корректно оценить содержание, уровень и структуру знаний у данного контингента испытуемых? При оценке содержания теста всегда возникают вопросы о цели теста, его содержания и качества. Анализ содержания заданий, а, следовательно, и теста в целом, позволяет определить знания, умения, навыки и представления, требуемые для правильного выполнения задания. При применении заданий в тестовой форме для аттестации выпускников образовательных учреждений важно иметь такие задания, которые позволяют делать вывод о минимально допустимой компетентности выпускников[24]. Принципы и другие вопросы содержания теста рассматривались в главе «Содержание теста и тестовых заданий».
Трудность теста определяется суммарной трудностью заданий, его образующих. В легком тесте у большинства испытуемых будут высокие баллы, но это тот самый случай, когда цифры становятся обманчивыми, если не знать, как они получены. Здесь уместно напомнить самое короткое (и потому неточное, но удобное) определение педагогического теста - это система заданий возрастающей трудности.
В ряде образовательных учреждениях из года в год снижается трудность экзаменационных заданий, потому что результаты работы педагогического коллектива нередко оцениваются по количеству отличных и прочих оценок. Но суть не в оценках, а в содержании и уровне трудности заданий, по которым эти оценки получены. Поэтому органы управления образованием пытаются установить образовательные стандарты и проводить уровневый контроль, ниже которых опускаться нельзя.
Качество педагогического и любого другого теста традиционно сводится к определению меры надежности и валидности полученных результатов[25]. Как и объективным, качественным можно назвать только тот метод измерения, который обоснован научно и способен дать требуемые результаты. В западной литературе традиционно рассматривается два основных критерия качества: валидность и надежность.
Валидность означает пригодность тестовых результатов для той цели, ради чего проводилось тестирование. Самая главная угроза для снижения валидности результатов – это формулирование двух и более целей применения какого-либо метода оценки уровня подготовленности испытуемых. Тезис ...никогда не следует использовать системы оценивания, разработанные в одних целях, для других целей; невозможо эффективно достичь сразу двух целей[26] прямо относится к анонимным авторам некачественного ЕГЭ. [27]
Валидность зависит от качества заданий, их числа, от степени полноты и глубины охвата содержания учебной дисциплины (по темам) в заданиях теста. Кроме того, валидность результатов зависит также от баланса и распределения заданий по трудности, от метода отбора заданий в тест из общего банка заданий, от интерпретации тестовых результатов, от организации сбора данных, от подбора выборочной совокупности испытуемых.
Объективность педагогического измерения означает не столько абсолютное достижение этой цели, что желательно, но невозможно, сколько установку тестологов на максимальную объективность процесса создания и применения тестов. Объективности способствуют одинаковые инструкции для всех испытуемых, одинаковая система оценки результатов тестирования, автоматизированный подсчет баллов испытуемых и все остальное, повышающее качество тестирования.
Условиями повышения объективности тестирования является повышение уровня научной обоснованности как самих тестов, так и методов их разработки, использование современной техники хранения и передачи тестовых материалов, защита информации от недозволенного доступа, последовательная работа по устранению возможностей намеренного искажения результатов и других компонентов тестового процесса. Определение статистических характеристик является главным (после экспертной проверки содержания) средством диагностики качества теста по любой учебной дисциплине.
Принцип параллельности заданий. Параллельными называется задания, которые основаны на принципе вариативности и однородности, но, кроме того, имеют примерно одинаковую эмпирическую меру трудности всех вариантов задания и коррелируемые результаты. Из данного определения видно, второй принцип вытекает из принципа вариативности и однородности заданий, но по смыслу он шире, включает в себя формальные критерии и опирается на эмпирические данные результатов испытуемых. Различен и статус этих принципов. Первый и все остальные принципы являются по большей части логическими и содержательно-методическими, в то время как принцип параллельности заданий является общетеоретическим, опирающимся на статистику, а потому используется во всех формальных теориях педагогических измерений. Надо подчеркнуть, что параллельность по содержанию является только одним из необходимых условий параллельности тестовых заданий.
Идея разработки и существования параллельных вариантов тестовых заданий является фундаментальной для теоретически подготовленных разработчиков тестов, тех, кто знает так называемую классическую (статистическую) теорию тестов[28]. Только непониманием важности такого подхода можно объяснить тексты некоторых авторов о преимуществах «современной» математической теории (Item Response Theory) перед другими теориями. На самом деле, ни статистическую, ни педагогическую теорию педагогических измерений[29], где изучаются вопросы содержания теста, не может заменить никакая математическая теория. Для педагогики и практики образования адекватной может быть только педагогическая теория измерений. Все остальные могут быть только дополнительными и сопутствующими. Отсюда легко понять неприемлемость претензий авторов математических теорий на лидерство в вопросах разработки педагогических тестов по различным учебным дисциплинам[30].
В западной литературе часто ошибочно пишут о «параллельных тестах»; так же ошибочно это переводится и на русский язык. На самом деле тест создаётся один, а к нему делаются параллельные варианты каждого задания. Создание параллельных вариантов создаёт предпосылки для применения теоретически более существенных методом проверки надежности результатов теста. Надежность результатов теста – это мера точности или непогрешимости педагогических измерений.
Не все вариативные задания могут соответствовать принципу параллельности содержания. Иначе говоря, вариативность есть необходимое и формальное, но не достаточное условие для возникновения феномена параллельности задания.
Понятие «педагогический тест» можно рассматривать в двух главных смыслах.
Во-первых, тест – это метод педагогического измерения; состоящий не из «некоторого», а точно определённого множества тестовых заданий возрастающей трудности, образующих систему. При этом сами задания теста должны отвечать требованиям формы и содержания, иметь соответствующую меру трудности и вариации, корреляцию, подходящий геометрический образ, быть частью содержательной и формальной системы. Несистемным заданиям в тесте места нет.
В гомогенном педагогическом тесте не допускается использование заданий, выявляющих другие свойства. Наличие таких свойств нарушает требование предметной чистоты педагогического теста. Ведь каждый тест измеряет что-то заранее определенное. Например, тест по физике измеряет знания, умения, навыки и представления испытуемых в данной науке. Одна из трудностей такого измерения заключается в том, что физическое знание изрядно сопряжено с математическим. Поэтому в тесте по физике экспертно устанавливается уровень математических знаний, используемых при решении физических заданий. Превышение принятого уровня приводит к смещению результатов; по мере превышения последние все больше начинают зависеть не столько от знания физики, сколько от знания другой науки, математики. Другой важный аспект - стремление некоторых авторов включать в тесты не столько проверку знаний, сколько умение решать физические задачи, вовлекая, тем самым, интеллектуальный компонент в измерение физической подготовленности.
Уже отмечалось, что в гомогенном педагогическом тесте задания располагаются в порядке возрастающей трудности - от самого легкого, до самого трудного. Иначе говоря, главным формальным[31] системообразующим признаком педагогического теста, после содержания и формы, является различие заданий по степени их трудности.
Время нередко называется в качестве другого системообразующего фактора. Действительно, одно из соображений, положенных в основу создания тестов - иметь инструмент быстрого и относительно точного оценивания больших контингентов испытуемых. Требование экономии времени становится естественным в массовых процессах, каковым и стало образование. Одно из актуальных направлений современной организации тестового педагогического контроля - это индивидуализация контроля, приводящая к значительной экономии времени тестирования. Контроль ведется с помощью заранее шкалированных, по трудности, заданий[32]. Предельное время тестирования по одному настоящему тесту не может превышать сорока минут.
Другая сторона вопроса заключается в том, что от времени тестирования существенно зависит качество результатов. Каждый тест имеет оптимальное время тестирования, уменьшение или превышение которого снижает качественные показатели теста. Оптимальное время тестирования определяется эмпирически, по показателю дисперсии тестовых данных. Если по оси абсцисс отложить время тестирования, а по оси ординат - значение дисперсии тестовых результатов, получаемое после каждого пробного контроля, то, соединив точки, получим представление об изменении дисперсии; максимум значения последней укажет на оптимум времени, необходимого для тестового контроля.
Со временем тестирования связан и вопрос о количестве заданий теста. В классической теории теста исходили из физической, по сути, идеи увеличения точности в зависимости от числа заданий: чем больше, тем точнее. Однако эта идея входила в противоречие с реальными возможностями учебного процесса, с естественным нежеланием студентов отвечать на большое количество заданий. Поэтому время тестирования ограничивается, исходя из фактических соображений удобства тестирования и идеи достаточной дифференциации студентов, показателем чего является дисперсия тестовых баллов.
Этапы разработки педагогических тестов
Принцип системности предполагает последовательную организацию всей работы по созданию тестов. При этом может оказаться полезной уточнённая концепция автора поэтапного становления тестового педагогического процесса. В прежних вариантах было три[46] и четыре этапа[47]: 1) формулирование целей и задач, разработка концепции теста, создание заданий в тестовой форме; 2) разработка тестовых заданий; 3) композиция теста, как системы; 4) использование математических моделей измерения.
Теперь число этапов представляется полезным расширить до пяти.
Ввиду особой важности композиции заданий в тестовой форме эту часть работы целесообразно выделить в качестве отдельного, второго этапа.
Разработка тестовых заданий переходит на третий этап, где главное - применение математико-статистических пакетов и моделей математического измерения.
На четвёртом этапе создаются тесты, определяется их качество и эффективность. Наличие достаточного числа тестовых заданий позволяет перейти к разработке теста как системы, обладающей целостностью, составом и структурой.
На пятом этапе проводится шкалирование заданий по уровню их трудности и дифференцирующей способности, а также шкалирование испытуемых по уровню их подготовленности Для этой цели рекомендуется использование двух основных статистических пакетов: Winsteps и RUMM-2020. Обе они позволяют получить измерения на одной и той же интервальной шкале натуральных логарифмов.
В существующих условиях современному человеку необходимо обладать высоким профессионализмом, а так же иметь достаточный интеллект, чтобы принимать правильные решения в различных жизненных ситуациях, в усложнившихся социально-экономических процессах, в разрастающихся информационных потоках. Все это обуславливает высокие требования к выпускникам образовательных учреждений. Важнейшим показателем качества образования является объективная оценка учебных достижений учащихся. Этот показатель важен как для всей системы образования, так и для каждого отдельного ученика.
В настоящее время в ряду современных подходов к средствам контроля, аттестации, самообразования и саморазвития учащихся значительное внимание уделяется тестированию. Это связано с тем, что одним из направлений совершенствования системы педагогического контроля является тестовая методика.
Педагогический тест – это инструментальное средство контроля знаний, при использовании которого можно с заданной точностью определить надежность и валидность проводимых измерений (Шестернинов Е.Е. “Управление качеством образования на муниципальном уровне” (опыт, проблемы, перспективы, монография)). Педагогические тесты очень разнообразны. С точки зрения целей применения можно выделить тесты учебных достижений:
суммативные, которые проверяют большой объем информации, и делятся на итоговый (за курс обучения по теме) и итоговый рубежный (за курс начальной, основной и средней школы);
формативные (локальные, маленькие), которые делятся на базовые и диагностические.
Тесты могут использоваться для всесторонней оценки состояния испытуемых. Например, до начала процесса их интеллектуального развития и способностей к конкретному учебному предмету устанавливается уровень образовательных достижений в рассматриваемой области знаний.
Применение тестовой методики позволяет осуществлять количественный анализ успешности обучения по различным учебным классам, что невозможно в рамках традиционной школы оценивания. Профессионально составленный тест позволяет за короткий промежуток времени проверить знания большого количества учащихся по полной программе преподаваемой дисциплины. Кроме этого, тестирование предоставляет возможность расширять шкалу оценивания как вверх, так и вниз, и каждому ученику предоставляются равные возможности показать свои достижения на широком поле материала.
Практика внедрения тестовой методологии в массовую школу показала, что в настоящее время учителями школы достаточно широко применяется тестовая форма контроля знаний, но при этом используются либо опубликованные в педагогических изданиях тесты, либо тесты собственной разработки, которые не всегда надежны, валидны, не прошли апробацию.
Процесс составления педагогических тестов является исключительно ответственным и трудоемким делом. Так как тесты являются основой контроля, диагностики в управлении процессом обучения, то становятся понятными исключительно высокие требования к содержанию и форме тестов. Тест должен быть валидным, прежде всего, с точки зрения поставленных перед ним целей измерения. Но, к сожалению, у большинства изданных тестов мера валидности очень незначительная. Они содержат задания, не отвечающие основным требованиям (корректности содержания, форме и наличию системообразующих свойств), язык теста не всегда отвечает требованиям однозначности, выразительности, лаконичности.
На сегодняшний день метод тестирования является наиболее мощным, надежным и объективным при решении широкого спектра педагогических задач, вместе с тем наименее теоретически и практически разработанным в нашей стране.
Тестирование выпускников общеобразовательных учреждений, как сравнительно новый способ контроля учащихся, получает все большее распространение. Особое место в тестовом контроле занимает Единый государственный экзамен, итоговая аттестация выпускников основной школы в новой форме, проводимых Министерством образования Российской Федерации. Результаты тестирования могут засчитываться в качестве оценок итоговой аттестации в общеобразовательных учреждениях и в вузах в качестве вступительных испытаний.
Разработка тестовой методологии до сих пор остается проблемной. Выявлены огромные нереализованные возможности, что позволило нам поставить задачу создания целостной системы педагогических тестов в рамках предмета математика для обеспечения объективности и надежности оценки учебных достижений. Нами разработаны и изданы учебно-методические пособия, которые представляют пакет тестов по математике для 5-х классов, по алгебре для 7-, 8,- 9-, 11-х классов.