Рассматривается структура основополагающего для разработки АРМ "МАТЭК" направления научно-практических исследований, известного под названием "статистика объектов нечисловой природы".

Введение

            Термин "статистика объектов нечисловой природы" впервые появился в 1979 г. в монографии [1]. В том же году в статье [2] была сформулирована программа развития этого нового направления прикладной математической статистики, которая к 1985 г. в основном была реализована (см. обзоры [3-5]).

            Статистика объектов нечисловой природы как самостоятельное научное направление была выделена в СССР. В 80-е годы существенно возрос интерес к этой тематике и у зарубежных исследователей. Это отражено в отчетах [6-7] о Первом Всемирном Конгрессе Общества математической статистики и теории вероятностей им. Бернулли, состоявшемся в сентябре 1986 г. в Ташкенте. Статистика объектов нечисловой природы используется в нормативно-технической и методической документации (ГОСТ 24660-81 и другие стандарты по статистическому приемочному контролю по альтернативному признаку, рекомендации [8] и др.). Ее применение позволяет получить существенный технико-экономический эффект (см. например, сводку [9]).

            Однако тематика статистики объектов нечисловой природы обсуждалась до сих пор в основном кругу развивающих ее специалистов, в результате она недостаточно отражена в монографической литературе. Цель настоящего пункта отчета - дать введение в статистику объектов нечисловой природы, выделить ее структуру, указать основные идеи, результаты и публикации.

            Объектами нечисловой природы (см. также пункты 2. 3 и 2. 4 настоящего отчета) называют элементы пространств, не являющихся линейными. Примерами являются бинарные отношения (ранжировки, разбиения, толерантности [10]), множества, последовательности символов (тексты). Объекты нечисловой природы нельзя складывать и умножать на числа, не теряя при этом содержательного смысла. Этим они отличаются от издавна используемых в прикладной статистики (в качестве элементов выборок) чисел, векторов и функций.

            Прикладную статистику по виду статистических данных принято делить [4, 8] на следующие направления:

            статистика случайных величин (одномерная статистика);

            многомерный статистический анализ;

            статистика временных рядов и случайных процессов;   статистика объектов нечисловой природы.

            При создании теории вероятностей и математической статистики исторически первыми были рассмотрены объекты нечисловой природы - белые и черные шары в урне. На основе соответствующих вероятностных моделей были введены биномиальное, гипергеометрическое и другие распределения, получены теоремы Муавра-Лапласа, Пуассона и др. Современное развитие этой тематики привело, в частности, к созданию теории статистического контроля качества продукции по альтернативному признаку (годен - не годен) в работах А. Н. Колмогорова [11], Б. В. Гнеденко [12], Ю. К. Беляева [13], Я. П. Лумельского [14] и многих других.

            В семидесятых годах в связи с запросами практики весьма усилился интерес к статистическому анализу нечисловых данных. Московская группа, организованная Ю. Н. Тюриным и другими специалистами вокруг семинара "Математические методы в экспертных оценках", развивала в основном вероятностную статистику нечисловых данных [15]. Были установлены разнообразные связи между различными видами объектов нечисловой природы и изучены свойства этих объектов. Московской группой выпущены, в частности, сборники [16 - 22] и обзоры [23, 24]. Хотя в названиях многих из этих изданий стоят слова "экспертные оценки", анализ содержания сборников показывает, что подавляющая часть статей посвящена математико-статистическим вопросам, а не проблемам проведения экспертиз. Частое употребление указанных слов отражает лишь один из импульсов, стимулирующих развитие статистики объектов нечисловой природы и идущих от запросов практики. При этом необходимо подчеркнуть, что полученные результаты могут и должны активно использоваться в теории и практике экспертных оценок, в особенности при разработке АРМ "МАТЭК".

            Новосибирская группа (Б. Г. Миркин [25-28], Г. С. Лобов [29] и др.), как правило, не использовала вероятностные модели, т. е. вела исследования в рамках анализа данных (в том смысле, как этот термин разъясняется в работах [4, 8]). В московской группе в рамках анализа данных также велись работы, в частности, Б. Г. Литваком [30]. Исследования по статистике объектов нечисловой природы выполнялись также в Ленинграде, Ереване, Киеве, Таллине, Тарту, Красноярске, Минске, Днепропетровске, Владивостоке, Калинине и других центрах, некоторые из них будут упомянуты ниже (см. также материалы конференций по анализу нечисловых данных [31, 32]).

. Внутреннее деление статистики объектов нечисловой природы

            Внутри рассматриваемого направления прикладной статистики выделим следующие области:

            1. Статистика конкретных видов объектов нечисловой природы;

            2. Статистика в пространствах общей (произвольной) природы;

            3. Применение идей, подходов и результатов статистики объектов нечисловой природы в классических областях прикладной статистики.

            Единство рассматриваемому направлению придает прежде всего вторая составляющая, позволяющая с единой точки зрения подходить к статистическим задачам описания данных, оценивания, проверки гипотез при рассмотрении выборки, элементы которой имеют ту или иную конкретную природу. Внутри первой составляющей рассмотрим [33]:

            1. 1) теорию измерений;

            1. 2) статистику бинарных отношений;

            1. 3) теорию люсианов (бернуллиевских векторов);

            1. 4) статистику случайных множеств;

            1. 5) статистику нечетких множеств;

            1. 6) многомерное шкалирование;

            1. 7) аксиоматическое введение метрик.

            Перечисленные разделы тесно связаны друг с другом, как продемонстрировано, в частности, в работах [1, 4, 24]. Вне данного перечня остались работы по хорошо развитым классическим областям - статистическому контролю [11-14], таблицам сопряженности [34], а также по анализу текстов [35, 36] и некоторые другие [25-29]. Таким образом, рассмотрим постановки 1970-90 гг. вероятностной статистики объектов нечисловой природы.

. Статистика в пространствах общей природы

             Пусть  -элементы пространства , не являющегося линейным. Как определить среднее значение для ? Поскольку нельзя складывать элементы , сравнивать их по величине, то необходимы подходы, принципиально новые по сравнению с классическими. В работе [37] предложено использовать показатель различия  (содержательный смысл: чем больше , тем больше различаются  и ) и определять среднее как решение экстремальной задачи

.       (1)

Таким образом - это совокупность всех тех , для которых функция

достигает минимума на .

            Для классического случая  при  имеем: , а при  среднее совпадает с выборочной медианой (при нечетном объеме выборки; а при четном - является отрезком с концами в двух средних элементах вариационного ряда).

            Для ряда конкретных объектов среднее как решение экстремальной задачи вводилось рядом авторов. В 1929 г. Джини и Гальвани [38] применили такой подход для усреднения точек на плоскости и в пространстве (см. также [39]). Кемени [40-42] решение задачи (1) называл медианой или средним для выборки, состоящей из ранжировок. При моделировании лесных пожаров, согласно выражению (1), было введено "среднеуклоняемое множество" [43]. Общее определение среднего (1) рассмотрено нами в работах [2, 37].

            Основной результат, связанный со средними (1) - аналог закона больших чисел. Пусть.  - независимые одинаково распределенные случайные элементы со значениями в пространстве общей природы  (определения здесь и далее - согласно Математической Энциклопедии [44]). Теоретическим средним, или математическим ожиданием, назовем [37]

.                  (3)

Закон больших чисел состоит в сходимости.  к . при . Поскольку и эмпирическое, и теоретическое средние - множества, то понятие сходимости требует уточнения.

            Одно из возможных уточнений таково [46]: для функции

                    (4)

введем понятие "-пятки" (>0)

. (5)

Очевидно, -пятка  - это окрестность  (если он достигается), заданная в терминах минимизируемой функции. Тем самым снимается вопрос о выборе метрики в пространстве  (позже подобная идея была использована в работе [45]). Тогда при некоторых условиях регулярности для любого>0 вероятность события

                             (6)

стремится к 1 при. , т. е. справедлив закон больших чисел [46].

            Естественное обобщение рассматриваемой задачи позволяет построить общую теорию оптимизационного подхода в статистике. Как известно [47], большинство задач прикладной статистики может быть представлено в качестве оптимизационных. Как себя ведут решения экстремальных задач? Частные случаи этой постановки: как ведут себя при росте объема выборки оценки максимального правдоподобия, минимального контраста (в том числе робастные в смысле Тьюки-Хьюбера [1, 48-50]), оценки нагрузок в факторном анализе и методе главных компонент при отсутствии нормальности, оценки метода наименьших модулей в регрессии [51] и т. д.

            Обычно легко устанавливается, что для некоторых пространств  и последовательности случайных функций. при.  найдется функция  такая, что

                       (7)

для любого  (сходимость по вероятности). Требуется вывести отсюда, что

,                      (8)

т. е. решения экстремальных задач также сходятся. Понятие сходимости в соотношении (8) уточняется с помощью -пяток, как это сделано выше для закона больших чисел. Условия регулярности, при которых справедливо предельное соотношение (8), приведены в исследовании [46]; применения, в частности, к методу главных компонент, рассмотрены в работе [4]. Отметим, что закон больших чисел позволил установить устойчивость медианы Кемени и изучить ее поведение при увеличении объема выборки [1]. Начиная с классической статьи Вальда [52], различные постановки, связанные с решениями экстремальных статистических задач, изучались многими авторами (см., например, [53-55]). Одна из наиболее общих постановок рассмотрена в работе [46]. Применения к теории классификации рассмотрел К. А. Пярна [119].

            Как оценить распределение случайного элемента в пространстве общей природы? Поскольку понятие функции распределения неприменимо, естественно использовать непараметрические оценки плотности, т. е. функции. . такой, что для любого измеримого множества

,                  (9)

где. - некоторая мера в . Ряд непараметрических оценок плотности был предложен и изучен в работе [56]. Например, аналогом ядерных оценок Парзена-Розенблатта [57, 58] является оценка

,                     (10)

где  - показатель различия;  - ядерная функция;  - последовательность положительных чисел;  - нормирующий множитель. Оказалось, что статистики типа (10) обладают такими же свойствами, по крайней мере при фиксированном , что и их классические аналоги при . Некоторые изменения необходимы при рассмотрении дискретных , каковыми являются многие пространства конкретных объектов нечисловой природы (см. об этом п. 2. 6).

            С помощью непараметрических оценок плотности можно развивать регрессионный анализ, дискриминантный анализ и другие направления в пространствах общей природы ([1-5], [59]).

            Для проверки гипотез согласия, однородности, независимости в пространствах общей природы могут быть использованы статистики интегрального типа

,                  (11)

где -последовательность случайных функций на ;  - последовательность случайных распределений (или зарядов). Обычно  при  сходится по распределению к некоторой случайной функции , а  - к распределению . Тогда распределение статистики интегрального типа (11) сходится к распределению случайного элемента

.               (12)

            Условия, при которых это справедливо, даны в работе [60]. (Хотя они сформулированы для конечномерного случая, переход в пространства общей природы не представляет принципиальных трудностей.) Пример применения - вывод предельного распределения статистики типа омега-квадрат для проверки симметрии распределения [61] (см. также [1, гл. 2]).

            Перейдем к статистике конкретных видов объектов нечисловой природы.

2. 5. 4. Теория измерений

            Цель теории измерений - борьба с субъективизмом исследователя при приписывании численных значений реальным объектам. Так, расстояния можно измерять в метрах, микронах, милях, парсеках и других единицах измерения. Выбор единиц измерения зависит от исследователя, т. е. субъективен. Статистические выводы могут быть адекватны реальности только тогда, когда они не зависят от того, какую именно единицу измерения предпочтет исследователь, т. е. когда они инвариантны относительно допустимого преобразования шкалы.

            Теория измерений известна в СССР уже около 30 лет по переводам [62, 63]. С семидесятых годов активно работают отечественные исследователи (см. обзор в [1, гл. 3]). В настоящее время изложение основ теории измерений включают в справочные издания [47], помещают в научно-популярные журналы [64] и книги для детей [65]. Однако она еще не стала общеизвестной среди специалистов, в частности, среди метрологов. Поэтому опишем одну из задач теории измерений.

            Согласно [1, 62, 63], шкала задается группой допустимых преобразований (прямой в себя). Номинальная шкала (шкала наименований) задается группой всех взаимнооднозначных преобразований, шкала порядка - группой всех строго возрастающих преобразований. Это - шкалы качественных признаков [27]. Группа линейных возрастающих преобразований , задает шкалу интервалов. Группа , определяет шкалу отношений. Наконец, группа, состоящая из одного тождественного преобразования, описывает абсолютную шкалу. Это - шкалы количественных признаков. Используют и некоторые другие шкалы.

            Рассмотрим задачу сравнения средних значений для двух совокупностей одинакового объема  и . Пусть среднее вычисляется с помощью функции  Если

,                     (13)

то необходимо, чтобы

для любого допустимого преобразования  из задающей шкалу группы Ф. (В противном случае результат сравнения будет зависеть от того, какое из эквивалентных представлений шкалы выбрал исследователь.)

            Требование равносильности (13) и (14) вместе с некоторыми условиями регулярности приводят к тому, что в порядковой шкале в качестве средних можно использовать только члены вариационного ряда, в частности, медиану, но нельзя использовать среднее геометрическое, среднее арифметическое, и т. д. [66]. В количественных шкалах это требование выделяет из всех обобщенных средних по А. Н. Колмогорову [67]:

            в шкале интервалов - только среднее арифметическое,  в шкале отношений - степенные средние [68].

            Кроме средних, аналогичные задачи рассмотрены для расстояний [69, 70] и мер связи случайных признаков [71, 1].

            Приведенные результаты о средних величинах [1, 68] Я. Э. Камень применил в АСУ ТП доменных печей ]120]. Л. Д. Мешалкин выступил с критикой требования равносильности условий (13) и (14) и предложил собственную постановку [72].

            Велико прикладное значение теории измерений в задачах стандартизации и управления качеством [9], в частности, в квалиметрии [73]. Так, В. В. Подиновский показал, что любое изменение коэффициентов весомости единичных показателей качества продукции приводит к изменению упорядочения изделий по средневзвешенному показателю [74]. Н. В. Хованов развил одну из возможных теорий шкал измерения качества [75].

            Теория измерений полезна и в других прикладных областях [76, 77].

2. 5. 5. Статистика бинарных отношений

            Оценивание центра распределения проводят обычно с помощью медианы Кемени [42, 24]. Состоятельность вытекает из закона больших чисел [1]. Вычислительные процедуры нахождения медианы Кемени обсуждаются в работе [30].

            Методы проверки гипотез развиты отдельно для каждой разновидности бинарных отношений. В области статистики ранжировок, или ранговой корреляции, классической является книга Кендалла [78]. Современные достижения отражены в статье Ю. Н. Тюрина и Д. С. Шмерлинга [79]. Статистика случайных разбиений развита А. В. Маамяги [80]. Статистика случайных толерантностей (рефлексивных симметричных отношений) изложена в работе [1]. Многие ее задачи являются частными случаями задач теории люсианов.

2. 5. 6. Теория люсианов (бернуллиевских векторов)

            Люсиан (бернуллиевский вектор) - это последовательность испытаний Бернулли с, вообще говоря, различными вероятностями успеха [81, с. 232]. Реализация люсиана (бернуллиевского вектора) - это последовательность из 0 и 1. В работе [1] люсианы (бернуллиевские вектора) рассматривались как случайные множества с независимыми элементами, а в исследовании [82] - как результаты независимых парных сравнений. Последовательность результатов контроля качества единиц продукции по альтернативному признаку - также реализация люсиана (бернуллиевского вектора). Случайная толерантность может быть записана в виде люсиана. Поскольку один и тот же объект применяется в различных областях, естественно для его наименования применять специально введенный термин "бернуллиевский вектор". Используется также термин "люсиан"[2].

            В рассматриваемой теории изучают методы проверки согласованности (одинаковой распределенности), однородности двух выборок, независимости люсианов. Изучение этих задач в асимптотике А. Н. Колмогорова начато в работах [1, 82, 83] и продолжено Г. В. Рыдановой [117], Т. Н. Дылько [84], Г. В. Раушенбахом и А. А. Заславским [85]. Имеется также и обзор [33].

            Методы проверки указанных гипотез нацелены на ситуацию, когда число бернуллиевских векторов фиксировано, а их длина растет. При этом число неизвестных параметров возрастает пропорционально объему данных, т. е. теория построена в асимптотике растущего числа параметров. Ранее эта асимптотика под названием асимптотики А. Н. Колмогорова использовалась в дискриминантном анализе, но там применялись совсем другие методы [86].

            Непараметрическая теория парных сравнений (в предположении независимости результатов отдельных сравнений) - часть теории бернуллиевских векторов [82]. Параметрическая теория связана в основном с попытками выразить вероятности того или иного исхода через значения гипотетических или реальных параметров сравниваемых объектов [87]. Известны модели Терстоуна, Бредли-Терри-Льюса и др. [88]. В СССР построен ряд новых моделей парных сравнений [89, 4]. Существенные результаты в этой области принадлежат Д. С. Шмерлингу [90]. Имеются модели парных сравнений с тремя исходами (больше, меньше, неразличимо), модели зависимых сравнений, сравнений нескольких объектов (сближающие рассматриваемую область с теорией случайных ранжировок) и т. д. [4, 90, 91].

 Статистика случайных и нечетких множеств

            Давнюю историю имеет статистика случайных геометрических объектов (отрезков, треугольников, кругов и т. д.) [92]. Как сказано в монографии [93], современная теория случайных множеств сложилась "при изучении пористых сред и объектов сложной природы в таких областях, как металлография, петрография, биология". Различные направления внутри этой теории рассмотрены в работе [1, гл. 4]. Остановимся на двух.

            Случайные множества, лежащие в евклидовом пространстве, можно складывать: сумма множеств и - - это объединение всех векторов , где , . Н. Н. Ляшенко получил аналоги законов больших чисел, центральной предельной теоремы, ряда методов прикладной статистики, систематически используя подобные суммы [94].

            Для статистики объектов нечисловой природы интереснее подмножества пространств, не являющихся линейными. В работе [1] рассмотрены некоторые задачи теории конечных случайных множеств. Ряд интересных результатов получил С. А. Ковязин [95], в частности, он доказал гипотезу [37] о справедливости закона больших чисел при использовании расстояния между множествами

,                       (15)

где.  - некоторая мера;.  - знак симметрической разности. Прикладники также делают попытки развивать статистику случайных множеств [43, 96].

            С теорией случайных множеств тесно связана теория нечетких множеств, начало которой положено статьей Л. А. Заде [97]. Это направление прикладной математики получило бурное развитие - к настоящему времени число публикаций измеряется десятками тысяч, имеются международные журналы, постоянно проводятся конференции, практические приложения дали ощутимый технико-экономический эффект [98, 118]. При изложении теории нечетких множеств [99-101] обычно не подчеркивается связь с вероятностными моделями. Установлено [1], что теория нечеткости в определенном смысле сводится к теории случайных множеств, хотя эта связь и имеет лишь теоретическое значение. Общее введение в прикладные вопросы теории нечеткости дано в работе [102].

            С точки зрения статистики объектов нечисловой природы нечеткие множества - лишь один из видов объектов нечисловой природы. Поэтому к ним применима общая теория в пространствах произвольной природы [103]. Имеются работы, в которых совместно используются соображения вероятности и нечеткости [104, 105].

2. 5. 8. Многомерное шкалирование и аксиоматическое введение метрик

            Многомерное шкалирование имеет целью представление объектов точками в пространстве небольшой размерности (1-3) с максимально возможным сохранением расстояний между точками [24, 106]. Оригинальные подходы разработаны, в частности, В. О. Мазуром и А. Ю. Юровским [107], В. Т. Перекрестом [108]. Состоятельность одной оценки размерности искомого пространства установлена в работе [4].

            Из сказанного выше ясно, какое большое место занимают в статистике объектов нечисловой природы метрики (расстояния). Как их выбрать? В работах [41, 42] предложено выводить вид метрик из некоторых систем аксиом. Аксиоматически получена метрика в пространстве ранжировок, которая оказалась линейно связанной с коэффициентом ранговой корреляции Кендалла [42]. Метрика (15) в пространстве множеств получена в работе [1, §4. 3] также исходя из некоторой системы аксиом. Г. В. Раушенбахом [109] дана сводка по аксиоматическому подходу к введению метрик в пространствах нечисловой природы. К настоящему времени практически для каждой используемой в приложениях метрики удалось подобрать систему аксиом, из которой чисто математическими средствами можно вывести именно эту метрику.

 Применения статистики объектов

нечисловой природы

            Идеи, подходы, результаты статистики объектов нечисловой природы оказались полезными и в классических областях прикладной статистики. Статистика в пространствах общей природы позволила с единых позиций рассмотреть всю прикладную статистику [8], в частности, показать, что регресионный, дисперсионный и дискриминантный анализы являются частными случаями общей схемы регрессионного анализа в пространстве произвольной природы [110]. Поскольку структура модели - объект нечисловой природы, то ее оценивание, в частности, оценивание степени полинома в регрессии, также относится к статистике объектов нечисловой природы (см. например, [111, 112]). Если учесть, что результаты измерения всегда имеют погрешность, т. е. являются не числами, а нечеткими множествами, то приходим к необходимости пересмотреть некоторые выводы теоретической статистики [113]. Например, отсутствует состоятельность оценок, нецелесообразно увеличивать объем выборок сверх некоторого предела.

            Технико-экономическая эффективность от применения методов статистики объектов нечисловой природы достаточно высока. Только 5 работ по внедрению методов статистики объектов нечисловой природы дали 1 млн. 352 тыс. руб. в год [114] (по ценам середины 80-х годов; поскольку на 30 июня 1996 г. индекс инфляции составляет примерно 12000, то в современных ценах этот эффект оценивается как 16, 2 миллиарда руб.).

            Так, методы "согласованного с преобразованиями усредняющего сжатия данных", основанные на теории средних величин, согласованных со шкалами измерений [1, 66, 68], внедрены в АСУ ТП доменной печи N5 Череповецкого металлургического комбината с экономическим эффектом 33 тыс. руб. [120]. Применение одного из методов статистики объектов нечисловой природы - качественного факторного анализа матриц связи - при оптимизации гаммы агрофизических приборов, производимых в НПО "Агроприбор", дало экономический эффект 850 тыс. руб. [115]. Использование статистике бинарных отношений для формирования классификатора основных показателей качества труда на цементных заводах принесло 88, 5 тыс. руб. [116].

            В качестве примера рассмотрим задачу диагностики (в других терминах - распознавания с учителем, дискриминации) в пространстве разнотипных признаков. Классические непараметрические методы диагностики, основанные на ядерных оценках плотности, пригодны только в случае, когда все признаки - количественные. Во многих практических ситуациях часть признаков принимает дискретные значения. Мы рекомендуем применять методы, основанные на непараметрических оценках (10) плотности в пространствах общей природы. Введение расстояния между точками в пространстве разнотипных признаков, необходимое для применения этой рекомендации, может быть осуществлено, например, путем суммирования расстояний между значениями отдельных признаков. Проведенные в Институте медицины труда РАМН расчеты (1989 -1990 гг.) показали преимущество описанного алгоритма над ранее известными.

Литература

1.Орлов А.И. Устойчивость в социально-экономических моделях.-М.Наука,1979.-296 с.

2.Орлов А.И. Экспертные оценки / Вопросы кибернетики. Вып.58.-М.: Научный Совет СССР по комплексной проблеме "Кибернетика", 1979.С.17-33.

3.Орлов А.И. / Тезисы докладов Четвертой международной Вильнюсской конференции по теории вероятностей и математической статистике: Том 2.-Вильнюс, Вильнюсский госуниверситет, 1985.С.278-280.

4.Орлов А.И. / Анализ нечисловой информации в социологических исследованиях.-М.Наука, 1985.С.58-92.

5.Орлов А.И. / Статистика. Вероятность. Экономика.-М.Наука,1985. С.99-107.

6.Орлов А.И. / Заводская лаборатория. 1987.Т.58. N3.С.90-91.

7.Орлов А.И. /Надежность и контроль качества. 1987.N6.С.54-59.

8.Рекомендации. Прикладная статистика. Методы обработки данных. Основные требования и характеристики.- М.:ВНИИС,1987.-64 с.

9.Кривцов В.С., Фомин В.Н., Орлов А.И. / Стандарты и качество. 1988.N3.С.32-36.

11.Колмогоров А.Н. Статистический приемочный контроль при допустимом числе дефектных изделий, равном нулю. - Л.: ДНТП, 1951. - 22 с.

12. Гнеденко Б.В. Математика и контроль качества продукции.- М.: Знание, 1978. - 64 с.

13. Беляев Ю.К. Вероятностные методы выборочного контроля.-М.: Наука, 1975. - 408 с.

14. Лумельский Я.П. Статистические оценки результатов контроля качества. - М.: Из-во стандартов, 1979. - 200 с. 

15. Орлов А.И. Современные проблемы кибернетики: Прикладная статистика. - М.: Знание, 1981. с 3-14.

16. Статистические методы анализа экспертных оценок / Ученые записки по статистике, т. 29, -М.: Наука, 1977-384 с. 17.

17.Экспертные оценки в системных исследованиях / Сборник трудов. - Вып. 4. - М.: ВНИИСИ, 1970 - 120 с.

18. Экспертные оценки / Вопросы кибернетики. - Вып. 58. - М.: Научный Совет АН СССР по комплексной проблеме / "Кибернетика". 1979. - 200 с.