Рефетека.ру / Математика

Реферат: Модели анализа тестирования в образовательном процессе

О. М. Полещук, К. К. Рыбников

Последние пять лет Центр тестирования проводит тестирование выпускников с целью совершенствования приема в вузы и создания равных условий при оценке качества знаний для всех испытуемых [1]. Эти мероприятия являются частью российской образовательной реформы и направлены на получение объективной и независимой информации об уровне знаний абитуриентов. В связи с особой ролью проводимых мероприятий и ростом год от года охваченной этими мероприятиями аудитории, особенно актуальна задача перевода набранных тестируемыми баллов в привычные оценки "2", "3", "4", "5" или "неудовлетворительно", "удовлетворительно", "хорошо", "отлично". В настоящей работе не будут рассматриваться недостатки использования вышеперечисленных баллов или соответствующих им уровней для оценки знаний обучающихся. Отметим только, что многие учебные заведения для внутреннего контроля давно используют свои, более чувствительные шкалы.

Методы, применяемые для перевода набранных тестируемыми баллов в привычные оценки, как правило [2-5], опираются на аппарат теории вероятностей и математической статистики, хотя природа неопределенности, возникающей при оценке знаний, является лингвистической [6], а не случайной (в смысле физической случайности). Вероятностная мера, применяемая для измерения неопределенности типа физической случайности, является аддитивной нечеткой мерой [7], в то время как [8-10] реальное поведение человека противоречит предположению об аддитивности мер, которые он использует при оценке каких-либо событий. В психологии до сих пор используются стохастические модели обучаемости, хотя ряд авторов экспериментально показал [8,9], что способность обучаться в вероятностной обстановке не свойственна человеку. В то же время [7] одной из замечательных способностей человека является его способность обучаться в нечеткой обстановке. В соответствии с этим методы, применяемые для анализа моделей тестирования, должны опираться на теорию нечетких множеств, которая занимается изучением и измерением неопределенности лингвистической природы. Отказ от методов, опирающихся на аддитивную вероятностную меру, актуален не только для моделирования образовательного процесса. Он также актуален для моделирования областей, в которых приходится учитывать действия лица, принимающего решения, или следствия его суждения.

Постановка задачи. На основе аппарата теории нечетких множеств построить модель, позволяющую переводить результаты тестирования, выраженные в баллах, в привычные оценки "2", "3", "4", "5" или "неудовлетворительно", "удовлетворительно", "хорошо", "отлично".

Решение. Необходимым этапом решения этой задачи является этап отбора квалифицированных преподавателей, предъявляющих статистически похожие (в смысле нечёткой кластеризации) требования к оценке знаний по материалу, в рамках которого был составлен тест. Новым в решении поставленной задачи является не сам этап (например, в [2] этот отбор осуществляется по Модели анализа тестирования в образовательном процессе- критерию), а метод решения. Мы предлагаем подойти к решению этого вопроса с позиции теории нечетких множеств. Фазифицируем оценки, которые были выставлены каждым преподавателем в процессе приема экзаменов по программному материалу теста (в предыдущем тестированию периоде). Процедура фазификации изложена в работе [11], функции принадлежности нечетких на [0,1] множеств имеют трапецеидальный или треугольный вид.

Пусть

Модели анализа тестирования в образовательном процессе- функция принадлежности нечеткого множества "неудовлетворительно" Модели анализа тестирования в образовательном процессе-го преподавателя,

Модели анализа тестирования в образовательном процессе- функция принадлежности нечеткого множества "удовлетворительно" Модели анализа тестирования в образовательном процессе-го преподавателя,

Модели анализа тестирования в образовательном процессе- функция принадлежности нечеткого множества "хорошо" Модели анализа тестирования в образовательном процессе-го преподавателя,

Модели анализа тестирования в образовательном процессе- функция принадлежности нечеткого множества "отлично" Модели анализа тестирования в образовательном процессе-го преподавателя.

Определим расстояние между критериями оценок Модели анализа тестирования в образовательном процессе-го и Модели анализа тестирования в образовательном процессе-го преподавателей:

Модели анализа тестирования в образовательном процессе, Модели анализа тестирования в образовательном процессе, Модели анализа тестирования в образовательном процессе- число преподавателей.

Составим матрицу

Модели анализа тестирования в образовательном процессе, Модели анализа тестирования в образовательном процессе, Модели анализа тестирования в образовательном процессе,

которая является симметричной с нулями на главной диагонали. По матрице Модели анализа тестирования в образовательном процессесоставим матрицу отношения сходства [6] между критериями разных преподавателей

Модели анализа тестирования в образовательном процессе, Модели анализа тестирования в образовательном процессе, Модели анализа тестирования в образовательном процессе.

Пусть Модели анализа тестирования в образовательном процессе- отношение подобия (сходства). Тогда [6]

Модели анализа тестирования в образовательном процессе,

где Модели анализа тестирования в образовательном процессе- отношение эквивалентности в смысле обычной теории множеств. Таким образом, декомпозируя Модели анализа тестирования в образовательном процессена отношения эквивалентности Модели анализа тестирования в образовательном процессе, мы получаем систему вложенных классов, соответствующих отношению подобия Модели анализа тестирования в образовательном процессе.

Выделив группу преподавателей, критерии которых статистически похожи, формируем из них экзаменационную комиссию по приему экзамена у тестируемых в пределах программного материала, отраженного в тесте. Опираясь на совокупную выборку оценок, выставленных преподавателями в процессе экзамена, фазифицируем оценки "2", "3", "4", "5" [11]. Обозначим соответственно за Модели анализа тестирования в образовательном процессе, Модели анализа тестирования в образовательном процессе, Модели анализа тестирования в образовательном процессе, Модели анализа тестирования в образовательном процессеих функции принадлежности.

Пусть тест состоит из Модели анализа тестирования в образовательном процессезаданий и за правильно выбранный ответ каждого задания ставится один балл, а за неправильно выбранный ответ ноль баллов. Следует отметить, что процедура накопления баллов путем их сложения не является корректной, так же, как некорректны все арифметические операции в порядковой шкале. Но поскольку именно эта процедура применяется чаще всего, то на эту некорректность можно закрыть глаза только при условии, что предложенные в тесте задания составлены таким образом, что проверяют знания по независимым разделам соответствующего предмета. По полученной после тестирования совокупной выборке результатов тех же респондентов, которые сдавали экзамен по программе теста, фазифицируем [11] все баллы Модели анализа тестирования в образовательном процессе. Обозначим за Модели анализа тестирования в образовательном процессе, Модели анализа тестирования в образовательном процессеих функции принадлежности. Определим расстояние между функциями принадлежности оценок и функциями принадлежности баллов:

Модели анализа тестирования в образовательном процессе, Модели анализа тестирования в образовательном процессе.

Критерий перевода баллов в оценку предлагается следующий: за Модели анализа тестирования в образовательном процессе-е количество баллов ставится оценка Модели анализа тестирования в образовательном процессе, Модели анализа тестирования в образовательном процессеесли Модели анализа тестирования в образовательном процессе, Модели анализа тестирования в образовательном процессе.

Если Модели анализа тестирования в образовательном процессе, Модели анализа тестирования в образовательном процессе, то ставится оценка Модели анализа тестирования в образовательном процессе. Предложенный критерий позволяет любое количество баллов однозначно перевести в общепринятую оценку.

Описанная процедура перевода результатов тестирования, выраженных в баллах, в привычные оценки "2", "3", "4", "5" может применяться к тестам по любому предмету. Очевидно, что диапазоны баллов, соответствующих одной и той же оценке для разных тестов, будут разными, а сама процедура требует сопровождения и обновления.

Заметим, что система тестирования, предусматривающая двухбалльную оценку (О или 1) за каждый ответ на задание, может быть описана системой булевых уравнений.

В ряде работ (например [12]) рассматривается возможность сведения задачи решения системы булевых уравнений к системе псевдобулевых неравенств, а также метод решения этих систем. В [12] описывается случай полиномиальной (от размеров системы) сложности реализации этого метода.

При реализации метода может быть использован следующий метод оценки числа решений системы псевдобулевых неравенств. Эта оценка позволяет определить объем ответа при тестировании.

Рассмотрим псевдобулево неравенство

Модели анализа тестирования в образовательном процессе;

Модели анализа тестирования в образовательном процессеМодели анализа тестирования в образовательном процессе, Модели анализа тестирования в образовательном процессе; Модели анализа тестирования в образовательном процессе.

Минимальным покрытием этого неравенства называется множество Модели анализа тестирования в образовательном процессе, такое, что

Модели анализа тестирования в образовательном процессе

и для любого Модели анализа тестирования в образовательном процессевышеуказанное неравенство не выполняется.

Из формулы включения-выключения следует, что число решений псевдобулева неравенства Модели анализа тестирования в образовательном процессеопределяется как

Модели анализа тестирования в образовательном процессеМодели анализа тестирования в образовательном процессе,

где Модели анализа тестирования в образовательном процессе- множество минимальных покрытий,

Модели анализа тестирования в образовательном процессе.

Рассматривая сумму, определяющую Модели анализа тестирования в образовательном процессе, можно заметить, что модуль каждого из её слагаемых меньше предыдущего. Таким образом, рассматривая последовательно величины

Модели анализа тестирования в образовательном процессе

получаем последовательность оценок, сходящуюся к точному значению числа решений.

Такой подход может быть распространен и на случай системы псевдобулевых неравенств. Для этого достаточно формально заменить систему минимальных покрытий неравенства на объединение систем минимальных покрытий, входящих в систему неравенств.

Пример. Система псевдобулевых неравенств

Модели анализа тестирования в образовательном процессе

эквивалентна булевому уравнению

Модели анализа тестирования в образовательном процессеМодели анализа тестирования в образовательном процессеМодели анализа тестирования в образовательном процессеМодели анализа тестирования в образовательном процессеМодели анализа тестирования в образовательном процессеМодели анализа тестирования в образовательном процессеМодели анализа тестирования в образовательном процессеМодели анализа тестирования в образовательном процессеМодели анализа тестирования в образовательном процессеМодели анализа тестирования в образовательном процессеМодели анализа тестирования в образовательном процессеМодели анализа тестирования в образовательном процессеМодели анализа тестирования в образовательном процессеМодели анализа тестирования в образовательном процессеМодели анализа тестирования в образовательном процессеМодели анализа тестирования в образовательном процессеМодели анализа тестирования в образовательном процессе.

Для первого слагаемого формулы, определяющей N , получаем оценку

Модели анализа тестирования в образовательном процессе,

для первого и второго

Модели анализа тестирования в образовательном процессе,

а на последующих этапах

Модели анализа тестирования в образовательном процессе,

Модели анализа тестирования в образовательном процессе,

Модели анализа тестирования в образовательном процессе.

Несмотря на весьма большое, как правило, число неравенств в практических задачах и, следовательно, очень большое число минимальных покрытий, уже на первых этапах подсчета возможно получение приемлемых оценок числа решений.

На основании этого можно предложить следующие пути применения предлагаемого подхода:

получать оценки числа решений системы за счет одного-двух слагаемых суммы в формуле для Модели анализа тестирования в образовательном процессе

использовать предварительные оценки каждого неравенства системы с целью отбрасывания наименее информативных, то есть тех, которым удовлетворяет большее число вершин Модели анализа тестирования в образовательном процессе-мерного единичного куба.

Список литературы

А. Рыжкин, Н. Ефремова. Современные измерители знаний (опыт тестирования) // Высшее образование в России. 2001. №1. С.15-24.

Г. Хубаев. О построении шкалы оценок в системах тестирования // Высшее образование в России. 1996. №1. С. 122-125.

М. Панин. Морфология рейтинга // Высшее образование в России. 1998. №1. С.90-94.

В. Наделяев, Т.Мартынова и др. Рейтинговая система оценки знаний при изучении общетехнических дисциплин // Высшее образование в России. 1997. №1. С.103-107.

В. Алчинов, А. Купцов. Рейтинг-контроль успеваемости курсантов // Высшее образование в России. 1998. №1. С.95-97.

А. П. Рыжов. Элементы теории нечетких множеств и измерения нечеткости. М.: Диалог. МГУ, 1998.116 с.

А. Н. Аверкин и др. Нечеткие множества в моделях управления и искусственного интеллекта. М.: Наука. Гл. ред. физ-мат. лит., 1986. 312 с.

Ю. Козелецкий. Психологическая теория решений. М.: Прогресс. 1979, 504 с.

Т. С. Уолстен. Использование алгебр. моделей для изучения процессов принятия решений. // Нормативные и дескриптивные модели принятия решений. М.: Наука., 1981. С. 310-319.

А.Tversky, D. Kahneman. Judgement under uncertainty: heuristics and bases. 1974. V. l85. P. H24-Н31.

О. М. Полещук. О применении нечетких множеств в задачах построения уровневых градаций // Лесной вестник. 2000. № 4(13). С. 143-146.

К. К. Рыбников. Методы решения систем булевых уравнений, основанные на погружении множества решений в выпуклый многогранник // Автоматизация и компьютеризация информационной техники и технологии. Научные труды МГУ леса. 1995. Вып. 269. С. 88-91.

Похожие работы:

  1. • Использование эвристической технологии в ...
  2. • Проблемы совершенствования управления деятельностью ...
  3. • Этапы построения образовательного процесса
  4. • Технология адаптивного компьютерного тестирования ...
  5. • Развитие познавательного интереса у учащихся в ...
  6. • Управление образовательным процессом как ...
  7. • Персонализация образовательного процесса в высшей школе
  8. • Информационно-образовательная среда как фактор повышения ...
  9. • Реализация конституционного права на образование в ...
  10. • Проблемы стандартизации школьной образовательной ...
  11. •  ... качеством образования в образовательном учреждении
  12. • Инновационное управление деятельностью образовательного ...
  13. • Программа деятельности эксперта при проведении ...
  14. • Цифровые образовательные ресурсы на уроках ...
  15. • Правовой статус участников образовательного процесса ...
  16. • Планирование образовательного процесса
  17. • Основы управления образовательными системами
  18. • Состояние информационно-образовательных сред ...
  19. • Проектирование процесса тестирования программного ...
Рефетека ру refoteka@gmail.com