План

Принципы педагогического контроля.

Понятийный аппарат тестологии.

Компьютерное тестирование.

1. Принципы педагогического контроля

Педагогическими принципами называются основные требования, которыми руководствуются преподаватели в своей деятельности. Помимо известных общих принципов обучения и воспитания, можно выделить группу специфических принципов, регламентирующих процесс педагогического контроля.

Принцип связи контроля с образованием, обучением и воспитанием. Этот принцип позволяет рассматривать контроль с двух, казалось бы, противоположных позиций. С одной стороны, утверждается необходимость контроля как неотъемлемой части педагогического процесса. Тем самым отвергаются попытки как приуменьшения, так и преувеличения его роли. Успех дела, в конечном счете, решается уровнем постановки педагогического процесса вообще и контроля, в частности. По данным зарубежных исследований качество подготовки специалистов зависит на 50 процентов от так называемых, когнитивных факторов, т. е. от относительно устойчивых индивидуальных особенностей личности, определяющих успех в познавательной деятельности (интеллект, память, внимание и др.), на 25 процентов - от аффективных факторов (преимущественно от мотивов обучения, эмоционального отношения к преподавателю, предмету, членам студенческой группы) и только на 25 процентов от качества обучения. В идеальных условиях воздействия всех этих факторов роль педагогического контроля вряд ли превысила бы пяти или десяти процентный уровень. Однако в реальных условиях он может быть и выше, и ниже, в зависимости от состояния учебно-воспитательного процесса. Роль контроля возрастает при недостатке ответственного отношения к учебному процессу, при слабой мотивации учебы учеников и работы учителей, при недостаточном общем интеллектуальном развитии школьников и несформированности у них в должной мере морального сознания. При работе же со слабыми учениками значение контроля резко возрастает: он помогает оперативному обнаружению пробелов в подготовке и их ликвидации. Принцип связи контроля с образованием, обучением и воспитанием ориентирует на такую организацию учебного процесса, при которой все должно быть сбалансировано, а контроль рассматривался бы как неотъемлемая часть педагогического процесса.

С другой стороны, этим принципом выбивается почва из-под главенствовавших годами взглядов о необязательности работы над созданием современной системы контроля. Считалось, что главное - это научить, что проверка знаний - дело нетрудное, в то время как хорошо поставленный внутришкольный педагогический контроль следовало бы рассматривать как одно из необходимых, но недостаточных условий повышения эффективности работы школы. Результаты контроля полезны не только для оценки достижений тех или иных учеников, но и для улучшения работы самого учебного заведения, получающего в контроле средство «обратной связи».

Принцип объективности. Объективность педагогического контроля достигается разными путями. Первый, традиционный путь - формирование коллегиальной оценки, для чего создаются различные комиссии, состав и число членов которых зависит от важности того дела, которое нужно контролировать. Получаемые при этом оценки нередко называются объективными, хотя известно, что сложение нескольких субъективных мнений не всегда отражает объективное положение.

Отчасти это происходит из-за того, что сложенные вместе индивидуальные мнения не становятся объективными и продолжают оставаться субъективными, а точнее, интерсубъективными: близость к объективности зависит от качественного состава комиссии, в которой мнение одного высококвалифицированного специалиста может оказаться более объективным, чем мнение всех остальных, вместе взятых.

Преодолению этого тупикового момента способствует процесс экспертизы, роль которой особенно важна при пересмотре содержания образования и при оценке качества контрольного материала. Разновидностью экспертного анализа является, так называемый, дельфийский метод, где после первичной статистической обработки данных опроса всем участникам сообщаются результаты экспертизы с просьбой аргументировать свою точку зрения. После этого проводится второй, третий и т. д. туры экспертного опроса до тех пор, пока вариация мнений экспертов не достигнет минимума. Только после этого создаются некоторые условия достижения согласованных, т. е. объективированных мнений по интересующему вопросу на основе количественных оценок. В более широком смысле дельфийский метод определяется как метод экспертного прогнозирования на основе сбора коллективных экспертных оценок, проводимого в несколько туров, их математико-статистической обработки и последовательной корректировки на основе результатов каждого тура.

Второй путь повышения объективности контроля — использование стандартных тестовых программ и технических средств. После определенного периода подготовки такой контроль может проводиться в каждом институте и на каждой кафедре. Особый интерес к техническим и тестовым средствам контроля знаний должны проявлять органы госинспекции в связи с задачей проведения аттестации вузов.

Третий путь повышения объективности педагогического контроля является психологическим. Он связан с личностными факторами. Так, в исследовании В.С. Аванесова выявлено и подтверждено экспериментально существование систематических различий в требованиях разных педагогов к одним и тем же студентам. Некоторые преподаватели оказывались «добрее», другие — «строже»

Отсюда понятна важность выявления личностной склонности каждого преподавателя и, вместе с тем, важность психологического обоснования оценки. Принимая решение, педагог объясняет, правда не всегда, почему выставляется та или иная отметка. В случае убедительной аргументации последняя воспринимается как объективная, представляющая достигнутый студентом уровень знаний. Можно вывести и общее правило: оценка решает правильно свою воспитывающую функцию только тогда, когда она воспринимается учениками как объективная.

Личностный фактор не следует путать с субъективным фактором и с субъективизмом. При правильном положении вещей личностные оценки дают начало объективным оценкам посредством перехода от субъективного к объективированному и далее — к объективному. Напротив, абсолютизация роли субъекта и его оценок, как это имеет место, например, при авторитарно организованной' системе обучения и контроля, всегда имеет следствием субъективизм. Теоретической основой последнего являются односторонность, абстрактность и поверхностность в подходе к предмету. Поскольку оценка человека всегда в той или иной мере основывается на субъективных представлениях, нередко ставится вопрос о поисках методов отделения объективного от субъективного. Между тем, проблема состоит не в разделении - это только начальная часть работы, а в устранении субъективизма, что отнюдь не тождественно устранению субъективного:

Используемые в педагогическом контроле оценки рассматриваются как производные от свойств объекта и от потребностей субъекта, и потому они формируются в диалектическом единстве объективных и субъективных моментов. Субъективные моменты проистекают из общих свойств человеческих оценок.

При известных условиях субъективные моменты могут быть положены в основу начального процесса формирования объективных, а точнее объективированных оценок. Это имеет место, например, при проведении экспертных опросов по содержанию контрольного материала, в работе государственных экзаменационных комиссий и др. При этом выдвигается одно существенное условие - процесс объективирования оценок должен основываться на идее измерения или, иначе, на принципе измеримости результатов педагогического процесса.

Принципы справедливости и гласности. Близкими по смыслу принципу объективности являются принципы справедливости и гласности педагогического контроля. Эту близость можно сформулировать логически, по признаку включенности: где не хватает гласности, там не хватает и справедливости, а следовательно не хватает объективности. Являясь одним из основных принципов перестройки всей жизни, гласность должна рассматриваться как неотъемлемый элемент организации педагогического контроля в современных условиях. Это означает открытость всех этапов и общедоступность ознакомления с результатами педагогического контроля, ясность и одинаковое применение всех правил, лежащих в основе контроля ко всем, без исключения, студентам, в одинаковых условиях, а также возможность перепроверки результатов контроля.

Принцип справедливости педагогического контроля включает в себя широкую область морального, а иногда, и правового регулирования. Последнее случается там, где переступаются не только принципы педагогического контроля, но и более широкие принципы социалистического общества, правовых норм деятельности высшей школы. Встречающиеся иногда случаи протекционизма, приема по звонкам, завышения оценок по разным мотивам, сбор денег заочниками на подарок преподавателю как раз перед экзаменом и другие действия попадают в сферу применения законов, принятых для искоренения таких негативных явлений.

Другой аспект применения принципа справедливости ох­ватывает широкую область морального регулирования. Известно, что списывают и подсказывают, пользуются «шпаргалками» с целью получения незаслуженно высокой оценки только там, где это не расценивается как нарушение учебной этики. Такие поступки часто оправдываются студентами как проявление товарищеской взаимопомощи, групповой солидарности.

Вопрос о справедливости оценки не случайно ассоциируется в сознании студентов с понятием объективности. Мнение преподавателя воспринимается ими как справедливое только тогда, когда оно имеет объективное основание, поддающееся рациональному объяснению. Под основанием оценки понимаются позиция или доводы, которые склоняют преподавателя к тому или иному решению. В качестве основания обычно выступает некоторый стандарт (образец, идеал) образования, представленный в учебной программе. Разная степень освоения учебной программы приводит к различиям в успеваемости. В разных вузах опытно-статистическим путем (расчетом среднего балла успеваемости) формируются свои стандарты успеваемости. При прочих равных условиях повышение требовательности влечет ухудшение привычного стандарта успеваемости.

Принципы научности и эффективности. Педагогический контроль может быть организован как на научной основе, так и на основе опыта, интуиции, здравого смысла. Принципом научности контроля подчеркивается обязательность первого подхода и недостаточность второго. Научность выступает в качестве необходимого условия достижения эффективности педагогического контроля. Эффективность включает в себя, помимо научности, вопросы оптимальной организации контроля, учета соотношения между достигнутым эффектом и совокупными затратами времени, средств.

Попытки привнести некоторые элементы научности в педагогический контроль насчитывают многовековую историю. Еще в древности применялись такие методы, как скрытое наблюдение за поведением вновь поступающих на учебу, организация различных ситуаций, нацеленных на выявление сильных и слабых сторон в их подготовке, а также организация церемоний в древнем Китае, рассчитанных на укрепление доверия к применявшейся в то время системе оценки знаний и способностей. Однако настоящее вторжение науки в сферу педагогического контроля началось только в XX веке, в период интенсивного развития естественных наук, что было подготовлено, в частности, давними попытками повышения точности астрономических расчетов и физических измерений. Было замечено, что точность результатов во многом зависит от индивидуальных различий наблюдателей за небесными светилами, от условий эксперимента. Отсюда и научалось разрушение того стереотипа мышления, который легко отождествляет получаемые в опыте оценки с истинными результатами измерения.

Авторитарный стиль традиционного педагогического мышления не мог в те годы смириться с идеей ошибочности, в той или иной мере, всех человеческих оценок, в том числе педагогических. Трудно было допустить, что даже физические измерения, точные и сверхточные, имеют некоторый ошибочный компонент, что выражается в известном постулате неизбежности погрешности измерения: «Всякое измерение чего бы то ни было . . . всегда заключает некоторую погрешность». И еще: «Как бы тщательно мы ни производили измерение, какие бы точные приборы ни применяли, какими бы методами и приемами ни пользовались, мы никогда не можем узнать истинного значения измеряемой величины». Тезис неизбежности погрешности измерения привносит, безусловно, научный, гносеологический элемент в вопросы измерения. Как отмечалось, такой элемент может быть неверно истолкован как признание фатальной неспособности оценить правильно, без ошибок истинные достижения студентов. Именно так и были истолкованы в СССР первые попытки перестроить систему педагогических оценок на основе идеи измерения.

В середине тридцатых годов, когда был достигнут пик активного отрицания идей измерения в педагогике и психологии, особо «досталось» тестам. А ведь именно тесты были основным средством, с которым связывались в те годы надежды поставить вопросы диагностики на научную основу. Это была, по существу, попытка решить проблему педагогического контроля посредством приближенных оценок, трудных для прямого измерения человеческих свойств, характеристик, уровня знаний и т. п. Противники педагогических измерений выдвигали такие, на первый взгляд, «убедительные» аргументы: наука опирается на точно установленные факты, и если сторонники тестов не могут дать точную единицу измерения, то зачем нужны заведомо неточные данные, на которых нельзя построить научно обоснованные выводы?

В наши дни такая точка зрения для специалистов по измерениям не выглядит убедительной, как это может показаться на первый взгляд. В педагогике нет, в самом деле, точной единицы измерения (например, знаний). Но если за каждое правильное выполнение возрастающих по трудности заданий давать один балл, то набранная сумма баллов будет иметь вполне интерпретируемый смысл: различия в. сумме будут указывать на различия в способностях студентов решать задания различной трудности. Есть и другие, более интересные подходы, связанные с созданием искусственной единицы измерения, особенности которой рассматриваются подробнее в следующем разделе этой книги.

Научность педагогического контроля предполагает, помимо прочего, поиск ответа на два основных вопроса. Первый связан с понятием надежности. Это понятие возникло в теории физических измерений, где она понималась как относительная свобода от погрешностей. Поскольку педагогическая оценка, как и всякая другая, всегда содержит в себе ошибки разного происхождения, возникает вопрос оценки погрешностей, и на этой основе вычисления так называемого, истинного (точного) значения. Существует несколько методов оценки надежности педагогических измерений, рассматриваемых далее в разделе, связанном с применением тестов.

Второй вопрос, определяющий степень научности педагогического контроля, связан с понятием валидности (т.е. пригодности, адекватности) получаемых результатов используемым методом для достижения поставленной цели. В самом деле, знания можно проверять разными методами, но они не все одинаково пригодны для эффективной оценки. Самый пригодный метод и есть наиболее подходящий для получения валидных результатов. Понятие валидности можно попытаться кратко раскрыть в следующих вопросах исследовательского характера:

- есть ли уверенность в том, что предлагаемые в тесте задания находятся в соответствии с изучаемым предметом и полностью его охватывают;

- насколько можно доверять результатам контроля, и каковы аргументы в пользу такого доверия;

- что из себя представляют сами аргументы в пользу того или иного метода контроля, и насколько они сочетаются с научным и здравым смыслом, а также с имеющимся педагогическим опытом;

- является ли выявленный уровень знаний приемлемым с точки зрения цели и качества обучения, и отсюда - не являются ли полученные данные следствием списывания, подсказки и других видов искажений;

- нет ли, среди заданий таких, которые связаны не столько с данной темой, сколько с другой, ранее не изучавшейся. Отсюда - насколько пригодны данные задания для оценки знаний именно no данной теме;

- сколько нужно заданий для получения объективной информации о знаниях студентов;

- какая форма контроля наиболее пригодна для оценки знаний по данному предмету;

- сколько времени требуется для оптимальной организации качественного контроля, и др.

Помимо этого, качественная оценка знаний зависит и от ответа на самый трудный вопрос - что такое знание предмета? Размышление над этим приводит педагога-исследователя к формированию некоторого образа (конструкта), который должен быть присущ всем тем студентам, кого можно отнести к числу знающих данный предмет. Этот образ помогает подобрать соответствующий материал для контроля. Удачное формулирование контрольного задания требует известного опыта. Уже по одному только составу вопросов опытный специалист может оценить валидность (пригодность) теста для выявления знаний. Если последние сформулированы не чётко и они не охватывают все главные разделы программы, можно говорить о невалидности теста по содержанию.

Надежность и валидность являются необходимыми, но не достаточными критериями эффективности результатов педагогического контроля. Помимо них, эффективность во многом зависит от организации контроля, от обеспеченности вуза техническими средствами, ЭВМ, фондами контрольных работ и тестовыми программами и др.

Особое значение для повышения эффективности и научности имеет разработка вопросов методологии и теории педагогического контроля. Если под методологией понимать систему принципов и способов организации теоретической и практической деятельности, а также учение об этой системе, то методологию педагогического контроля можно определить как учение об основных положениях, формах, методах и принципах научного исследования и эффективной организации практики в сфере педагогического контроля. В круг основных методологических проблем входит формулирование главных-идей, целей и задач, определение содержания, сущности и принципов, педагогического контроля.

Наиболее эффективный путь влияния методологии на практику — через разработку теории. Именно в теории преломляются те или иные методологические регулятивы, которые затем помогают превратить практическую работу в научно-практическую со всеми проистекающими отсюда преимуществами. Важно отметить, что формирующаяся сейчас теория педагогического контроля является не столько частной педагогической теорией, сколько междисциплинарной, объединяющей достижения педагогики и психологии с до­стижениями теории измерения, статистики, математики, теории организации и управления.

Принципы систематичности и всесторонности. Первым из этих принципов подчеркивается важность регулярного контроля за ходом учебно-воспитательного процесса. В отличие от эпизодических проверок систематический контроль помогает упорядочить процесс обучения и воспитания, дает возможность получить достаточное количество оценок, позволяющих вывести в конце года более объективную итоговую оценку. Систематичность контроля тесно связана с его плановостью. Запланированный контроль, ввиду его неотвратимости, обладает заметной мотивирующей силой, он стимулирует активность студентов. При, планировании учитывается необходимость согласования целей и результатов текущего, рубежного, тематического и итогового контроля. Систематические проверки способствуют лучшей реализации диагностической, обучающей, воспитывающей и организующей функций педагогического контроля.

Принцип всесторонности акцентирует внимание на необходимости полного, по возможности, охвата круга вопросов, подлежащих контролю. Напомним, что это, главным образом, вопросы образования, обучения и воспитания. При оценке знаний в первую очередь обращается внимание на проверку усвоения основных тем и разделов, при проверке обученности, на степень усвоения основных навыков и умений, а при проверке результатов воспитательного процесса оцениваются уровень развития морального сознания, ценностные ориентации, потребности, мотивы и интересы.

И, наконец, к педагогическому контролю относятся и вопросы оценки физической подготовленности учеников. В этой области разработана группа тестов, позволяющих оценить уровень развития таких физических качеств и способностей, как сила (различных мышечных групп), быстрота, выносли­вость, способность к координации движений и др. Так, например, одним из самых распространенных средств для оценки выносливости является, так называемый, тест Купера (названный по имени автора), состоящий в том, что исследуемые бегут ровно 12 минут, после чего измеряется дистанция — кто сколько пробежал. Из-за трудностей измерения чаще используется аналог этого теста - бег на полторы мили (1 миля = 1648 м). Оценкой является время пробега.

В дополнение к педагогическому контролю целесообразно использовать методы психологической диагностики. При этом акцент рекомендуется делать не на изучение структуры личности (как это делается сейчас с помощью личностных тестов), а па изучение тех свойств, которые становятся (или должны становиться) предметом профессиональной подготовки. Это такие свойства психики, как внимательность, память, интеллектуальные и творческие способности. Кроме того, время от времени с помощью специальных тестов целесообразно проверять состояние психического здоровья учеников, что позволит вовремя заметить появляющиеся отклонения и принять соответствующие меры.

2. Понятийный аппарат тестологии

Несмотря на частое употребление и кажущуюся ясность, понятия «тест», «тестирование», «тестовые формы диагностики» имеют множество толкований. Более того, существуют вполне значимые различия понятий «педагогический тест», объясняемые языковыми различиями. Как отмечает В.С. Аванесов, понятие «педагогический тест» следует рассматривать в двух существенных смыслах:

как метод (точнее, форму) педагогического измерения (в этом значении употребляются словосочетания «зачет в форме теста», «тест в середине семестра»);

как результат применения соответствующего измерения (например, «пройти тест» или «провалить тест»).

С точки зрения А.Г. Бермус, «здесь отсутствует еще одно, самое употребительное значение: тест как совокупность определенных заданий, «текст теста» (ср. «большой тест», «варианты теста» и др.)».

Соответственно этим базовым представлениям о тесте, разными авторами даются разные определения этого понятия.

Тест – это объективное и стандартизированное измерение, легко поддающееся количественной оценке, статистической обработке и сравнительному анализу.

Тест – стандартизированные задания, по результатам выполнения которых, судят о психофизиологических и личностных характеристиках, а также – знаниях, умениях и навыках испытуемого.

Тест – специфический инструмент, состоящий из совокупности заданий или вопросов и проводимый в стандартных условиях, и позволяющий выявить типы поведения, уровень владения какими-либо видами деятельности и др.

Тест – совокупность заданий, правил их применения, оценок за выполнение каждого задания и рекомендаций по интерпретации тестовых результатов.

Тест – это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизованной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения качеств и свойств личности, изменение которых возможно в процессе систематического обучения.

При всех возможных вариациях определения «теста», это понятие включает следующие аспекты:

во-первых, тест – это метод измерения некоторых ненаблюдаемых впрямую качеств и свойств личности или индивида;

во-вторых, это метод, характеризующийся высокой степенью объективности, надежности и валидности.

Понятие «педагогическое (учебное) задание» можно определить как средство интеллектуального развития, образования и обучения, способствующее активизации учения, повышению подготовленности учащихся, а также повышению эффективности педагогического труда.

По мнению В.С. Аванесова, задания могут формулироваться в тестовой, и в нетестовой форме. В российском образовании большинство учебных заданий дается учащимся в нетестовой форме. В основном, это вопросы, задачи, упражнения.

Педагогические задания выполняют как обучающие, так и контролирующие функции. Обучающие задания применяют учащиеся для активизации собственного учения, усвоения учебного материала, саморазвития, а также применяют педагоги для обучения учащихся. Все это свидетельствует об обучающем потенциале заданий.

Контролирующие задания применяются, напротив, педагогом или проверяющими органами после окончания учебного года, или другого определенного цикла (четверти), с целью диагностики уровня и структуры подготовленности. Некоторая часть заданий может использоваться для обучения и для контроля.

Существует множество критериев, позволяющих охарактеризовать и, соответственно классифицировать тест. Практическую значимость имеет ряд классификационных признаков.

Процедура создания (критерий стандартизации). Все этапы разработки, апробации, использования и обработки результатов стандартизованных тестов регламентируются стандартными процедурами, в то время как нестандартизованные тесты создаются с теми или иными отступлениями от норм. Наиболее характерным примером нестандартизованных тестов являются, так называемые, «преподавательские тесты», разрабатываемые для оперативного контроля усвоения знаний. При всех своих достоинствах (простота в разработке, доступность, дешевизна и др.), нестандартизованные тесты не могут применяться для промежуточной и, тем более, итоговой аттестации учащихся и студентов.

Средства и стратегии предъявления тестовых заданий. В соответствии с особенностями профессиональной диагностики в условиях вуза, практическое значение имеют бланковые тесты (для выполнения которых используются специальные бумажные бланки) и компьютерные тесты (проводящиеся с использованием ЭВМ). В свою очередь, компьютерные тесты могут быть трех типов:

линейные (задания предъявляются в единой последовательности вне зависимости от результатов ответа испытуемого);

разветвляющиеся (в тесте предусматривается несколько сценариев формулировки заданий, каждый из которых реализуется в зависимости от ответа на определенные «ключевые» задания);

адаптивные (сложность, порядок и количество предъявленных заданий определяется итогами тестирования в каждый момент).

Направленность тестов. Наиболее актуальными в современной диагностике, представляются тесты интеллекта, личностные тесты и тесты достижений. С некоторой долей условности, первые два типа образуют вместе тип «психологического теста», в то время как последний соответствует – «педагогическому тесту».

Степень однородности тестов. Как правило, по этому критерию, выделяются три основных типа тестов:

гомогенные тесты (имеющие одну шкалу оценки и позволяющие линейным образом упорядочить всех испытуемых по степени проявления соответствующего признака);

гетерогенные тесты (имеющие несколько шкал оценки и позволяющие сформировать многомерное представление о результативности испытуемого в некотором виде деятельности);

интегративные тесты (в их основе лежат разрабатываемые в последнее десятилетие представления о некоторых универсальных качествах, типа «ключевые компетенции», включающих мотивационные, личностные, интеллектуальные, предметно-практические и иные компоненты).

Уровень применимости. По этому критерию различают широкоориентированные тесты (предназначенные для определения количественных характеристик испытуемых по отношению к широкому набору критериев) и узкоориентированные (предназначенные для выявления отдельных достижений и результатов).

Цели использования. В соответствии с этим критерием, различаются следующие типы тестов:

предварительный определяющий тест (тесты остаточных знаний) предназначены для оценки уровня готовности испытуемых к новому образовательному циклу;

формирующий тест (тесты прогресса) предназначены для совместной диагностики и коррекции основных психологических новообразований (в формирующих тестах обязательно предусматривается ситуативная работа над ошибками, их коррекция и др.);

диагностический тест (тесты затруднений в обучении) предназначаются для диагностики основных затруднений в обучении;

суммативный тест (тесты итоговых достижений) разрабатываются и используются на этапе завершения образовательного цикла.

Место теста в образовательном процессе. Наиболее типичными категориями тестов являются:

преподавательские тесты (тесты оперативного контроля знаний, используемые учителем или преподавателем самостоятельно);

срезовые тесты (используемые для одномоментного получения администрацией образовательного учреждения информации о результатах обученности однородной группы учащихся);

тесты входной диагностики (используются для психолого-педагоги­ческой диагностики испытуемых и создания на этой основе учебных групп);

тесты итогового контроля (используются для организации итоговой или промежуточной аттестации учащихся).

В работах В.С. Аванесова выделяются основные элементы тестового задания:

инструкция (указание испытуемому на то, что он должен сделать, каким образом выполнить задание и отобразить результат);

текст задания (содержательное наполнение задания; в его структуре могут выделяться стимульный материал или вводная информация, сам вопрос, а также – ограничения ответа);

варианты ответов (в случае закрытого тестового задания должен быть предложен список вариантов ответа, среди которых обязательно должен быть один – правильный, для открытых тестовых заданий важно наличие некоторого модельного ответа, в соответствии с которым может производиться оценка);

оценочная схема (способ сопоставления каждому варианту ответа – так называемого «сырого балла», т.е. некоторого количественного значения, определяющего ценность данного задания).

Стоит отметить, что не всегда все 4 элемента тестового задания присутствуют в «развернутом» виде. Довольно часто единая инструкция используется для формулировки множества однотипных заданий; при формулировке открытых тестовых заданий отсутствуют варианты ответов, предлагаемые испытуемым.

В соответствие с разработанной в науке тестовой терминологией, создание теста можно условно разделить на три этапа: составление заданий в тестовой форме, создание тестовых заданий и моделирование теста как системы заданий возрастающей трудности, обеспечивающей качество и эффективность педагогических измерений.

Первым этапом разработки педагогического теста является разработка заданий в тестовой форме. Овладение формой является необходимым, но недостаточным условием для разработки качественного теста. На первом этапе требуется подготовка в области преподаваемого предмета, знание тестовых форм, владение логикой и умение трансформировать фрагменты содержания учебной дисциплины в содержание заданий.

В.С. Аванесов дает следующее определение этому понятию: «задание в тестовой форме является особой единицей контрольного материала. Его можно представить в виде предложения в утвердительной форме с неизвестным. Подстановка правильного ответа превращает задание в истинное высказывание; подстановка же неверного ответа ведет к ложному высказыванию и свидетельствует о незнании студентом данного учебного материала».

К заданиям в тестовой форме тестологи предъявляют следующие формальные требования:

– краткость;

– правильность выбора формы;

– логическая форма высказывания;

– одинаковость правил оценки ответов;

– наличие определенного места для ответов;

– правильность расположения элементов задания;

– одинаковость инструкции для всех испытуемых;

– адекватность инструкции форме и содержанию задания.

На втором этапе разрабатываются тестовые задания.

В отличие от распространенной в России и на Западе вопросно-ответной формы заданий, в качестве новой основы такие ученые как М.Б. Челышкова и В.С. Аванесов предлагают использовать логику высказываний. Преимущества этой основы авторы обосновывают отличием высказываний от вопросов: истинность или ложность высказывания легко определяется по логическим правилам, в то время как вопросы сами по себе ни истинны, ни ложны. Кроме того, вопрос сам может породить новые вопросы, и в связи с этим возникает возможность неверного истолкования первоначальной формулировки задания тестирующимся. Предлагаемая основа открывает возможности эффективной компьютеризации контроля знаний.

Для успешной деятельности на втором этапе от разработчиков потребуется, дополнительно, некоторая подготовка в области математики: применения статистических методов, обработки и интерпретации данных.

Теперь приведем определение второму основному понятию теории тестов – тестовому заданию.

Тестовое задание – это составная единица теста, отвечающая требованиям технологичности, чистоты формы и предметного содержания и, кроме того, статистическим требованиям:

1) известной трудности;

2) дифференцирующей способностью (достаточной вариации тестовых баллов);

3) положительной корреляции баллов задания с баллами по всему тесту;

4) кумулятивным эффектом.

Из перечисленных требований вытекает обязательность эмпирической проверки заданий на выборочной совокупности испытуемых и применения статистических методов обработки данных.

Автор данного определения приводит следующие комментарии к нему.

Составная единица означает, что каждое задание является частью неразрывного целого, теста, который представляет собой систему заданий. И каждое задание необходимо для выполнения тестом своей функции. Удаление хотя бы одного системного задания приводит к возникновению пробела на континууме проверяемых знаний, и потому, к снижению качества измерения. Идея соотносительной значимости заданий в тестовой системе.

Технологичность – является одним из современных требований к тестовым заданиям. Под технологичностью можно понимать такую компоновку заданий, которая позволяет весь процесс тестирования, или его большую часть, вести с помощью технических средств, точно, быстро, экономично и объективно.

Главные препятствия для достижения технологичности тестового задания – это неопределенность формы, плохая формулировка содержания, отсутствие необходимой техники и программ.

Задания становятся технологичными, если их содержание точно и быстро понимается испытуемыми, и если форма заданий способствует процессу компьютеризации тестирования. Именно использование автоматизированного обучения и контроля на основе достижений новой педагогики, педагогических измерений, психологии, кибернетики и компьютерной техники, взятое в разумном соотношении, образует основу того, что сейчас называют педагогической технологией (2).

Тестовое задание должно отвечать также требованию чистоты формы и предметной чистоты содержания. Под первым понимается необходимость тщательного соблюдения рассмотренных ранее требований к каждой форме и недопустимости смешения форм в одном задании. Под чистотой содержания понимается необходимость формулирования таких заданий, которые проверяют знания только той учебной дисциплины, для которой создается тест.

Трудность заданий. Известная мера трудности является обязательным требованием к тестовым заданиям. Если неизвестна эмпирическая мера трудности задания, то это задание – не является тестовым. В самом лучшем случае оно будет заданием в тестовой форме, в худшем – ни тем, ни другим.

Требование известной трудности оказывается важнейшим системообразующим признаком тестового задания. Если тест – это система заданий возрастающей трудности, то в нем нет места заданиям с неизвестной или неадекватной мерой трудности.

Вариация тестовых баллов. Вариация баллов является вторым обязательным требованием к тестовым заданиям. Если на какое-то задание правильно отвечают все тестируемые, то такое задание является настолько легким, что оно теряет, из-за этого, существенное свойство быть тестовым заданием. Так как цель разработки теста – это измерение уровня подготовленности испытуемых, что можно качественно сделать только с помощью системы заданий возрастающей трудности. И если все, без исключения, испытуемые отвечают на него одинаково правильно, то это означает, что задание не дифференцирует знающих испытуемых от незнающих. Нет, соответственно, и никакой вариации в значениях ответов.

Нет вариации и в очень трудном задании, где нет ни одного правильного ответа; в матрице стоят, соответственно, одни нули. Вариация по нему тоже равна нулю, что означает необходимость и его удаления из проектируемого теста, т.к. оно не тестовое.

На третьем этапе отбираются задания и создают тесты, повышают качество и эффективность теста. Наличие достаточного числа тестовых заданий позволяет перейти к разработке теста как системы, обладающей целостностью, составом и структурой.

На третьем этапе от разработчика тестов потребуется некоторая математико-статистическая подготовка, знание основных тестовых теорий и методов многомерного статистического анализа, опыт правильной интерпретации тестовых результатов.

Путь к созданию идеального теста лежит через трудности создания качественных тестов. Разработка тестов начинается с анализа содержания преподаваемых знаний и овладения принципами формулирования тестовых заданий. «К сожалению, на тесты все еще смотрят как на средство, которое легко придумать, в то время как сильная сторона тестов – их эффективность, проистекающая из теоретической и эмпирической обоснованности».

3. Компьютерное тестирование

Основой для разработки компьютерных тестирующих систем и конструкций служат основные дидактические принципы научности, связи теории с практикой, преемственности, последовательности, систематичности, воспитывающего обучения и пр. Такая тестирующая система является неотъемлемой частью любой автоматизированной обучающей системы (АОС).

В.Я. Цветков, В.П. Кулагин и Т.В. Булгакова к особенностям компьютеризованных тестирующих конструкций, которые качественно отличают их от других методов контроля, относят следующее:

структурированность тестовых заданий повышает скорость проверки результатов тестирования;

многовариантность теста позволяет проведение тестирования для больших аудиторий испытуемых;

электронная форма представления теста позволяет включать большой объем контрольного материала;

автоматизированная проверка результатов уменьшает субъективный фактор при оценке ответов;

возможность статистической обработки результатов тестирования существенно повышает объективность контроля и создает условия для мониторинга и повышения качества тестирования.

Исходя из указанных особенностей, исследователи разработали систему многоуровневых тестовых конструкций, которые включают в себя следующие этапы тестирования (см. рисунок 1).

Рис. 1. Этапы многоуровневого тестирования.

На первом уровне проводят анкетирование, т.е. активный или пассивный тесты открытого типа для проверки начальных знаний. Активный тест подразумевает решение некой задачи, пассивный – просто сбор информации.

На основании результатов данного теста может формироваться индивидуальный набор заданий лабораторных и курсовых работ для закрепления знаний, умений и навыков обучаемого.

Этот тест также может быть основой некого рейтингового оценивания начального уровня. Кроме того, начальное тестирование позволяет выявить пробелы в освоении определенных тем (или дисциплин) и сформировать задание с учетом подтягивания обучаемого до необходимого уровня.

На следующем уровне осуществляют экспресс-тестирование и тест текущей оценки. Экпресс-тест дает возможность обучаемому провести самоконтроль усвоенного учебного материала. Результаты теста покажут, на какие разделы необходимо обратить особое внимание.

Тест текущей оценки проводится в течение каждого семестра несколько раз в соответствии со структуризацией материала на модули или блоки. Его особенностями является установление контрольных сроков сдачи, а так же не выборочный, а сплошной опрос обучаемых. Такой тест содержит вопросы низшей категории сложности.

На следующем этапе организуется тест рубежного контроля, который проводится как итоговый по совокупности блоков обучения, например, раз в семестр. Он может быть завершающим или промежуточным.

Экзаменационный тест включает вопросы или задания разной категории, в том числе высшей сложности.

Исходя из накопленного нами опыта, можно рекомендовать некоторые правила проведения тестов в компьютерных классах:

тестирование проводится в присутствии ведущего преподавателя и методиста по тестированию (и/или лаборанта) (первый обеспечивает дисциплину в аудитории, второй – техническую и методическую поддержку контрольного мероприятия);

студенты, сидящие за соседними компьютерами, должны получить разные варианты теста (это возможно, т.к. преподаватель готовит не один, а 2-3 варианта теста по контрольному материалу);

тестирование должно проходить в абсолютной тишине (это помогает испытуемым сосредоточиться на тесте, а преподавателю гарантирует самостоятельность работы всех студентов);

при необходимости студентам должны выдаваться черновики для решения заданий теста (например, при проведении контрольных работ по математике или физике).

Исходя из практики проведения педагогического тестирования, Н.Ф. Ефремова предлагает несколько рекомендаций по этой процедуре в случае проведения бланкового тестирования:

проводить тестирование в условиях одинакового времени тестирования для всех учащихся;

не позволять учащимся переговариваться;

рекомендовать выполнять задания по порядку;

использовать для выполнения заданий черновики (при необходимости);

результаты ответов заносить в специальные опросные листы, соблюдая четкость оформления;

опросные листы оформлять за 2-3 минуты до окончания тестирования;

варианты тестов не должны быть одинаковыми у близко сидящих учеников;

следует использовать несколько параллельных вариантов одного и того же теста;

после окончания времени тестирования учащиеся должны отдельно разложить тест, черновик и лист ответов;

материалы тестирования собирает педагог, не допуская нарушения дисциплины.

Особое внимание следует обратить на организацию первого тестирования:

объяснить учащимся всю процедуру, режим, правила работы с тестом, условия оформления выбранного ответа;

показать на доске пример задания в тестовой форме, и пояснить каким образом следует сделать выбор варианта ответа.

Это время не будет потеряно зря, так как в дальнейшем усвоенная процедура тестирования даст экономию времени и обеспечит порядок.