Розробка науково обґрунтованої системи оцінки якості учбової книги є самостійною складною і актуальною проблемою, для вирішення якої буде потрібно об'єднати зусилля і педагогів, і психологів, і учених інших спеціальностей. На справжній конференції, ці питання обговорювалися в докладах Я.А. Мікка, А.А. Тильдсеппа, У.Л. Ляенеметса, А.Н. Землякова і інших дослідників. Ряд питань, пов'язаних з організацією педагогічної експертизи шкільних підручників (навчальних посібників, навчально-методичних комплексів і інших учбових книг), розглянутий в даній роботі. Під педагогічною експертизою учбової книги або шкільного підручника (надалі і то і інше скорочено позначатимемо – ШП) розумітимемо алгоритмізовану процедуру отримання колективної думки про ШП у формі експертної думки (або експертної оцінки), одержаної групою спеціально відібраних фахівців (учених, методистів, вчителів і т. п.).

Характерними особливостями експертного методу як наукового інструменту вивчення складних неформалізованих проблем є: 1) науково обґрунтована організація проведення всіх етапів експертизи; 2) вживання кількісних методик як при відборі експериментів, так і при обробці їх думок; 3) обґрунтовування необхідної і достатньої кількості експертів і оцінка достовірності колективної експертної думки. Ці три особливості і відрізняють експертний метод від звичної і давно відомої експертизи, широко вживаної в різних сферах людської діяльності [1]. Експертні методи слід розглядати в педагогіці не як спосіб виявлення громадської думки про її проблеми, а як один з можливих підходів до всебічного вивчення складних педагогічних проблем. В основі методу групових експертних оцінок (ГЕО), що є основним методом дослідження в кваліметрії [2], лежать наступні твердження. По-перше, експертна оцінка має характер вірогідності і ґрунтується на здатності експерта давати оцінку в умовах невизначеності, тобто тоді, коли повнота або достовірність інформації або специфіка об'єкту не дозволяють провести метрологічне вимірювання. По-друге, вважається, що узагальнена колективна думка групи експертів більш достовірна, ніж думка одного експерта, хай навіть самого компетентного зі всіх. По-третє, відбір експертів, процедура роботи з ними, розробка анкет-тестів, обробка експертних думок проводяться по певному алгоритму з метою зменшення «шуму експертів» як «датчиків інформації» і з оцінкою довірчої вірогідності (погрішності) експертного висновку.

Під алгоритмізацією методу ГЕО розуміється формалізація процедури експертизи в строгому проходженні рекомендаціям відповідних Гостів [3]. З урахуванням викладених вище специфічних особливостей експертного методу сформулюємо алгоритм проведення педагогічної експертизи ШУ і перерахуємо основні проблеми і задачі, що виникають при цьому (більш докладно алгоритм і окремі його процедури описані в [4] на с. 15–18, 22–24).

Алгоритм експертизи ШУ містить 4 або 5 етапів: підготовчий, етапи роботи робочої, експертної і технічної груп, завершальний (при невеликому об'ємі роботи робоча і технічна групи можуть бути з'єднані).

На підготовчому етапі директивною організацією (міністерством, відомством, видавництвом, НІІ, вузом і т.д., наприклад МНО РРФСР, КГНО СРСР, «Освіта», НІІ педагогіки союзної республіки, головним педвузом) ухвалюється рішення про проведення експертизи ШП (див., наприклад, наказ Мінпроса СРСР від 28.10.86 №216), яка призначає установу (НІІ АПН СРСР, вуз, кафедру, лабораторію і т. п.), відповідальну за організацію і проведення експертизи ШУ, формулює мету експертизи; створює робочу і технічну групи, складає план-графік її проведення.

На цьому етапі серед керівників відповідних наукових установ і відомств доцільно розповсюдити анкету типа V-1, щоб її дані використовувати при розробці алгоритму експертизи. Нижче приведений фрагмент одного з варіантів цієї анкети.

Якщо відповідаючий на анкету V-1 підкреслив варіант відповіді 1в, то його відповіді на питання №2–4 і т. п. слід використовувати при розробці алгоритму експериментальної перевірки якості ШП. В записці пояснення пропонується обвести кружком номера тих з приведених варіантів, які кожний вважає найдоцільнішими. Принципова незгода із запропонованим варіантом виражається його викреслюванням, сумнів – знаком «?», який проставляється поряд з номером відповіді.

№ п/п	Зміст проблеми, питання	Можливі варіанти рішення
1.	Які методи оцінки якості ШП Ви вважаєте головними?	1а 16 1в	Експертиза Рецензування Експеримент в школах
2.	Яка директивна організація повинна ухвалити рішення по експертизі даних ШП? (Вказується мета експертизи наприклад конкурс ШП; приводяться вихідні дані про ШП.)	2а 26 2в 2г 2д	ГКНО СРСР MHO СРСР (…РСР) АПН СРСР (…РСР) Видавництва: «Освіта»… Ваш варіант:
3.	Які наукові колективи потрібно привернути до експертизи? (Якщо Ви за систему рецензування, то вкажіть, з яких груп установ їх потрібно назначити.)	За 36 Зв	Учені галузевого НДІ ан СРСР Наукові співробітники наочної лабораторії НДІ АПН СРСР (…РСР) Кафедри університетів, педінститутів, інших вузів
4.	Хто повинен складати списки кандидатів в колективні і індивідуальні експертизи?	4а 46 4в	Директивна організація Організація, що проводить экспертизу (п. 3) Установа – організатор експертизи

Інформація, що міститься в анкетах типу V-1, використовується для визначення стратегії експертизи. Анкета повинна бути розіслана не менше ніж в 10 інстанцій, що мають відношення до проблеми навчальної книги. Вибір остаточних варіантів рішень проводиться простою більшістю «за».

Етап роботи робочої групи, створеної в організації, відповідаючої за проведення експертизи, містить наступні операції: складання переліку питань, які необхідно вирішити при проведенні експертизи ШП, розробка проекту системи критеріїв для визначення якості ШП, вибір шкали вимірювання, визначення процедури відбору експертів і оцінка їх компетентності, формування експертної комісії, визначення групи ведучих експертів і організація доробки з їх участю допоміжних матеріалів, встановлення процедури опитування експертів.

Етап роботи експертної комісії включає: проведення турів опитування експертів, визначення узгодженості індивідуальних експертних оцінок і знаходження колективної експертної оцінки, організацію обговорення проміжних результатів експертизи ШП, визначення погрішності експертизи.

На технічну групу покладається ведення діловодства, розмноження допоміжних матеріалів, організація контактів з експертами, у тому числі і із застосуванням ЕОМ в режимі діалогу, математична обробка результатів експертизи.

На завершальному етапі групою ведучих експертів проводиться аналіз результатів експертизи ШП, представлення їх у формі, зручній для уявлення до директивного органу, і, нарешті, ухвалення цим органом рішення на основі експертного висновку. Ухвалення рішення повинне проводитися на основі інструкції про проведення експертизи, розробленою робочою групою і затвердженою директивною організацією.

Для кількісної оцінки компетентності експертів, що привертаються до експертизи ШУ, можуть бути використані методи взаємних рекомендацій, самооцінки, аргументації і анкетних даних [5]. Необхідна і достатня кількість експертів може бути обчислена по методиці Р.Г. Азгальдова [6]. Так, якщо невідома функція розподілу індивідуальних експертних оцінок qij (j-го експерта по і-му питанню), але відомий їх розмах d (різниця між максимальним і мінімальним значенням qij – залежно від шкали), то

(l)

Тут: Nmin – мінімальна чисельність експертної групи, що забезпечує отримання колективної експертної оцінки Q із заданим значенням довірчої вірогідності γ; Q – абсолютна погрішність Q. Для оцінки погрішності експертного висновку Q, окрім загальновідомих з математичної статистики формул, можна використовувати формулу:

де (2)

Тут: N – кількість експертних висновків (експертів); Q – задане значення Q; φ – коефіцієнт, залежний від величини γ. (Наприклад, для 0,8< γ <0,96–0,09< φ <0,04.)

Якщо, наприклад, використовуючи інструкцію Мінпроса СРСР про проведення експертизи конкурсних ШП (див. наказ МП СРСР від 28.20.86 №216), покласти, що оцінці «задовольняє повною мірою» відповідає 3 бали, оцінці «задовольняє не повною мірою» – 2 бали, а оцінці не «задовольняє вимогам, що пред'являються до ШП» – 1 бал, то розмах оцінок d = 2. Якщо покласти, що «ідеальний» підручник повинен мати оцінку 3 бали, а група експертних організацій дає йому Q = 2,5 бали, то Q = 0,5 бали (або цю величину Q = 0,5 можна задати). Тоді, використовуючи формулу (1) для γ = 0,9, одержуємо, що Nmin = 14. При тих же d і Q для Nmin = 5 одержимо γ = 0,6, а при Nmin = 10 γ = 0,85. Для досягнення γ = 0,99 Nmin = 64. Розрахунки показують, що використовування 3–4 актiв експертизи з інститутів АН СРСР і університетів, 4 актів з НІІ педагогіки союзних республік і педвузів і 10 рецензій з ІУУ і від окремих вчителів, методистів або учених, тобто 17–18 актів експертизи і рецензій на один рукопис ШП (як це і було обумовлено в інструкції МП СРСР), достатньо для ухвалення рішення на рівні γ = 0,8. (Для отримання γ = 0,9 кількість експертів повинне бути подвоєно.)

При конструюванні анкет для експертизи учбової книги може бути застосований досвід соціологічних досліджень [7]. Використовуючи, наприклад, «Вимоги до шкільних підручників і інших учбових книг», складені в НДІ СиМО АПН СРСР, розробляється проект анкети типа ШП (нижче приведений її фрагмент) і прямує в експертні комісії з проханням проранжировать включені в неї показники якості ШП і виразити своє відношення до запропонованих варіантів відповідей на них.

Анкета ШУ

Індекс	Формулювання критерію	Ранг	ШУ	ШУ
А	Відповідність змісту підручника сучасному рівню розвитку науки і техніки
1	Науковість учбового матеріалу
2	Комуністична спрямованість учбового матеріала
3	Внутрі- і міжнаочні зв'язки
Б	Відповідність змісту підручника потребам промислового і сільськогосподарського виробництва
4	Політехнічна спрямованість учбового матеріала
5	Експериментальна спрямованість матеріалу
6	Генералізує матеріалу
7	Структуризація учбового матеріалу
8	Методична повнота
9	Логічність викладу матеріалу
10	Методична цінність ілюстративного матеріала
11	Управлінська функція підручника
Примітки: 1) ШУ, ШУ – шифри порівнюваних підручників або розділів (глав, параграфів) одного підручника; 2) в приведеному фрагменті включені тільки основні критерії.

Для ранжирування основних показників-критеріїв пропонується використовувати п-бальну шкалу, де п – число показників анкети (указується, що однакові ранги слід привласнювати не більше ніж 1/3 показників), а для оцінки допоміжних критеріїв (з подвійною індексацією) – 5 – або 10-бальну шкалу. Своя згода з варіантами відповідей на критерії якості пропонується дати з допомогою знаків: «+», «–» «?», що означає відповідно; «згоден», «не згоден», не «зрозуміло». Нижче приведений фрагмент анкети ШП, заповнений одним з експертів.

Індекс	Формулювання критерію, його змісті	Оцінка
3	Внутрі- і міжнаочні зв'язки	6
3.1.	Наявність прямих посилань на раніше вивчений матеріал:	5
	– достатня кількість	+
	– недостатня кількість	+
3.2.	Наявність комбінованих вправ, задач, прикладів:	7
	– достатнє	+
	– недостатнє	+
3.3.	Наявність прикладів з інших предметів:	8
	– достатнє	+
	– недостатнє	+

Якщо при оцінці якості ШП використовуються анкети типу ШП-1, то по кожному критерію експерт виставляє оцінку в балах (або в рангах) кожному оцінюваному підручнику (під шифрами ШП-1, ШП-2 і т.д.). Потім ці оцінки підсумовуються по вертикалі (по всіх показниках анкети), тобто знаходиться загальна оцінка і-го ШП, проставлена j-м експертом, і по горизонталі (поодинці і-му показнику) для кожного ШП по всіх анкетах, тобто знаходиться загальна оцінка кожного ШП по окремих показниках якості, проставлена всіма експертами. В найпростішому випадку підсумовуються виставлені місця (ранги) і ШП (рукопис або діючий), що набрав якнайменшу суму місць (або найбільша кількість балів), признається кращим. Узагальнена оцінка і-го ШУ (або по і-му показнику анкети) обчислюється по формулах типу:

або 3)

Тут: Qі – групова експертна оцінка і-го ШП або його розділу; – індивідуальна експертна оцінка і-го ШП, поставлена j-м експертом; Kj – коефіцієнт компетентності j-го експерименту; Vi – ваговий коефіцієнт i-го ШП (розділу); N – чисельність експертної групи.

При оцінці якості учбової книги часто виникає задача вибору кращої з числа діючих або поступили на конкурс. При цьому нерідко оцінки можуть бути близькі один до одного, тому виникає питання про помітність їх з необхідним рівнем значущості (L= 1-γ), інакше кажучи, виникає задача порівняння незалежних вибірок, для чого можуть бути використані різні критерії: параметричний t-критерій, медіанний, критерій Колмогорова і Смірнова і інші.

Відомо, що якщо 1-й ШП набрав Q1 балів, а 2-й – Q2, то при Q2>Q1 2-й ШП краще 1-го ШП, якщо виконується нерівність

Q2-Q2>Q1 + Q2 (4)

де Q1 і Q2 – погрішності визначення величин Q1 і Q2 Можна показати, що два ШП, що набрали відповідно оцінки Q1 і Q2, помітні, якщо:

(Q2-Q1)min>(Q1 + Q2)·(1 – γ). (5)

Хай при експертизі двох ШП прийнята така шкала, що розмах оцінок d = 2, а Q = 0,5 бали. Припустимо, що в 15-ти актах з 20 (N = 20)) 1-е місце віддано ШП-1, а 2-е – ШП-2. Тоді сума місць, набрана ШП, рівна Q1 = 15 1+5·2 = 25, а ШП – 2 – Q2=5·1+15·2=35. Чи можна віддати перевагу ШП-1 (Q1<Q2)? Використовуючи формулу (2), знаходимо, що γ ≈0,9. Тоді AQ1 =25·0,1=2,5, а AQ2 =35–0, l=3,5. Видно, що Q1+Q1<Q2 – Q2 (27,5<31,5). Таким чином, з довірчою вірогідністю не нижче 0,9 можна віддати перевагу ШП-1.

Нерівності типу (4) або (5) необхідно використовувати при порівнянні якості двох підручників (якщо їх число більше два, то попарно), коли їх якість виражається кількісно (бали, сума місць).

На закінчення відзначимо, що експертні оцінки можуть бути використані і при експертизі навчально-методичних комплексів [9, 10].

Аналіз впливу підручника на перезагруження учнів

У зв'язку з перебудовою всієї системи народної освіти пройшли конкурси на нові підручники по багатьох предметах. При їх перевірці, окрім іншого, необхідно здобувати оцінку нових підручників з погляду витрат учбового часу.

Для вирішення цієї задачі пропонується система моделей, реалізована на ЕОМ і дозволяюча прогнозувати учбовий час, який необхідний для засвоєння підручника.

На першому етапі проводиться аналіз змісту підручника з метою з'ясування кількості логічних понять і відносин, які є в кожному розділі (параграфа) і в підручнику в цілому.

Трудність учбового тексту залежить як від його властивостей, так і від уміння школяра працювати з ним. Ми розглядатимемо тільки вплив властивостей тексту на його трудність, тобто складність тексту.

Складність тексту – його об'єктивна властивість, не залежна від рівня розвитку і підготовки читача. Спираючись, як це прийнято в психології, на три рівні розуміння тексту, розглянемо два компоненти його складності: інформативність і ясність структури тексту. Такий підхід, практично просто реалізовуваний, дозволяє всесторонньо і достатньо глибоко проаналізувати шкільний підручник, одержати ряд чинників, що впливають на перевантаження, допомогти вчителю у виборі оптимального варіанту вивчення учбового матеріалу.

Відомо, що складність тексту залежить від новизни його змісту, кількості інформації, що міститься в ньому, причому ніж інформативніший текст, тим він важчий для розуміння.

Природно, що нас цікавитиме семантична інформація, яка перш за все прагне врахувати значення повідомлення, що цілком відповідає загальним принципам дидактики. Для розрахунку семантичної інформації використовуватимемо тезаурус, під яким звичайно розуміють деякі знання, якими володіє суб'єкт.

Таким чином, семантична теорія інформації враховує, що значення повідомлення сильно залежить від того, якими знаннями володіє сприймаюче повідомлення особа. Це якраз і грає головну роль в дидактиці, оскільки очевидно, що по-різному підготовлені учні (іншими словами, мають різний тезаурус) засвоюють різну інформацію з одного і того ж тексту. Для педагогіки важливо уміти обчислити семантичну інформацію в різних повідомленнях, а значить, треба уміти будувати тезаурус.

Пропонована методика дозволяє не тільки побудувати тезаурус підручника на різних етапах процесу навчання, але і з'ясувати відносну доступність різних частин підручника. На його основі далі будується матриця відносин між різними розділами підручника, вживана для аналізу ясності структури тексту.

Якщо результати аналізу задовільні, то встає задача оптимального розподілу відведеного на вивчення цього змісту учбового часу між параграфами, яка дозволяє прогнозувати очікуване перевантаження, породжене цим підручником, а значить, і необхідний учбовий час (другий етап).

У тому разі коли зміст подібно тому, що раніше вивчалося в школі, розподіл проводиться на підставі статистичних даних (1). Нас цікавитиме більш важливий випадок – зміст підручника носить експериментальний характер і повних аналогів не має.

Як параметри моделі виступають:

керовані чинники – час навчання на кожну тему;

спостережувані результати – прогнозоване перевантаження учнів по кожній темі і предмету в цілому і вірогідність вивчення
предмету за вказаний час.

Перейдемо до побудови моделі.

Ми розглядатимемо таке полягання процесу навчання, коли головні альтернативні ситуації його в основному дозволені і структура учбового процесу визначена. Вивчення предмету будується за лінійним принципом, який передбачає послідовний розподіл матеріалу: зміст предмету як би витягнутий в одну лінію, представляє ланки єдиного ланцюга, тобто весь учбовий процес – це ланцюг послідовно розташованих уроків, кожний з яких спирається на попередній і «прокладає шлях» подальшому.

Звідси витікає, що адекватне відображення процесу навчання шкільному предмету зручно проводити за допомогою мережної моделі (мережного графіка), побудованої на основі теорії графів (2).

У нашому випадку, оскільки підручник експериментальний, тривалості вивчення тим недостатньо відомі і невизначені. Ці операції зовсім нові або принаймні маловивчені. Тому для отримання необхідних характеристик використовується метод експертних оцінок. Отриманні дані потім опрацьовують, і вони служать основою для функціонування моделі.

В результаті ми отримуємо наступні значення:

середні терміни вивчення тем, розділів і предмету в цілому;

вірогідність дотримання встановлених термінів для процесу навчання всього предмету.

Порівнюючи їх із запропонованим в програмі розподіленням часу між темами, ми рахуємо перенавантаження, кожною темою і предметом і цілому

Якщо одержані результати задовільні, то підручник разом з вказаним розподілом часу може бути рекомендований школі. Інакше слід подумати про перегляд запропонованого в програмі розподілу часу між темами. Якщо і це не дає результату, то необхідно переробити частини підручника, що дають найбільше очікуване перевантаження.

Таким чином, підручник вступає до школи тільки у тому випадку, коли він повністю відповідає тимчасовим нормативам. Крім того, з'являється можливість порівнювати різні підручники з погляду необхідного на їх вивчення часу.

Описані моделі реалізовані на різних експериментальних і діючих підручниках по російській мові, математиці, фізиці і хімії. Відзначимо, що одержані висновки підтверджені прямими наглядами, проведеними лабораторією експериментальної перевірки підручників.

Необхідно відзначити, що всі описані дії проводяться над реалізованою в ЕОМ моделлю і ніяк не зачіпають учнів, дозволяють уникнути небажаного втручання в хід процесу навчання, позбавитися від не до кінця теоретично обґрунтованого експерименту в школі.