Производительность источника дискретных сообщений

Имеется

,

где М – обьем алфавита источника.

.

Для такого источника можем определить среднее количество информации в сообщениях (энтропию).

.

Источник работает на интервале T и генерирует за это время количество информации .

,

скорость выдачи информации источником, если процесс эргодический.

Если источник выдал n элементарных сообщений, а длительность сообщений тогда:

.

Определим максимальную производительность источника

.

Скорость передачи информации по дискретным каналам без помех. Оптимальное статистическое кодирование

Если отсутствуют помехи, то при согласовании источника с каналом, скорость передачи информации равна производительности источника сообщений:

.

Задачей статистического кодирования является максимизация скорости передачи информации по каналу связи.

В настоящее время используется двоичное кодирование.

Чтобы обеспечить максимальную скорость передачи информации по каналу без помех, необходимо реализовать оптимальное статистическое кодирование сообщений источника двоичным кодом. Можно доказать, что для выполнения ОСК необходимо выполнить правило:

,

где - количество символов в комбинации двоичного кода.

Т. е. количество символов в кодовой комбинации должно равняться количеству информации в кодируемом сообщении.

Существует ряд алгоритмов статистического кодирования. Основная цель всех схем ОСК - минимизация средней длительности кодовых комбинаций. Необходимо осуществить кодирование таким образом, чтобы наиболее часто встречающиеся комбинации кодировались наиболее короткими комбинациями. Наиболее известны схемы Шеннона-Фано и Хаффмена. Характерно то, что предварительно все сообщения записываются в порядке убывания их вероятностей. Ни одна короткая комбинация не является началом более длинной. Именно это свойство дает возможность декодирования.

		Кодовые значения			Кодовые комбинации		бит
	0,5	1			1	1	1
	0,25	0	1		01	2	2
	0,125	0	0	1	001	3	3
	0,125	0	0	0	000	3	3

Рисунок - Схема кодирования Шеннона – Фано.

Оптимальное статистическое кодирование обеспечивает передачу информации по каналам связи с максимальной скоростью. Недостаток: помехи или сбои в аппаратуре, искажения символа ведут к искажению всех других комбинаций.

Необходимо вводить интервалы между кодовыми комбинациями. Величина защитного интервала между комбинациями должна быть кратна длительности импульса и не менее длительности одного импульса. Это снижает достоинства оптимального кода.

Скорость передачи информации и пропускная способность дискретных каналов с помехами

Пусть источник генерирует сообщения

Оценим скорость передачи информации -вход, -выход

- передаваемое сообщение

- варианты принимаемых сообщений.

Если отсутствуют помехи, то имеют место однозначные переходы. Если помехи присутствуют, то имеют место ошибочные переходы.

Матрица переходных вероятностей:

Она показывает вероятность перехода переданного символа в принятый . Максимальное значение переходных вероятностей лежит на главной диагонали матрицы - .

Количество информации определяется как:

В случае отсутствия ошибок в передаче

.

Анализируя принятые сообщения, можем построить матрицу апостериорных вероятностей.

-апостериорная (послеопытная) вероятность.

, если принято верно

Эта величина определяет, какое количество информации необходимо ещё получить, чтобы сообщение стало достоверно. Такое количество информации было потеряно в канале связи при передаче сообщения .

Количество информации, полученное получателем:

Взаимная информация - количество переданной информации содержащейся в при приёме :

Нас интересует среднее количество информации, доставленной на выход канала одним принятым сообщением:

- энтропия источника, т.е. среднее количество информации, которое содержится в каждом переданном символе.

- энтропия потерь, т.е. среднее количество информации, которое теряется при передаче символа.

- среднее количество информации, которое доставляется потребителю при приеме одного сообщения.

- смесь полезного сообщения с шумом

- энтропия выходного канала, среднее количество информации, которое содержится в одном выходном символе (смеси сигнала с помехой).

- энтропия шума, среднее количество информации, которое добавляется шумом.

За время получаем количество информации:

Скорость передачи информации:

,

- пропускная способность.

Значения зависят от соотношения сигнал/шум, способа обработки сигнала, вида сигнала, вида канального кодирования и матрицы переходных вероятностей.

Пропускная способность двоичного симметричного канала связи с помехами

Имеется и , и

Канал называется симметричным, если вероятности ошибочных переходов равны между собой.

Пропускная способность в таком случае зависит только от вероятности ошибки и становится равной нулю, если вероятность ошибки

Скорость передачи информации

Имеем непрерывный канал связи, в котором передается непрерывное сообщение (сигнал) . В этом канале действует аддитивная помеха . В результате на выходе приемного устройства мы имеем смесь

.

Рассмотрим временной интервал T, на нем мы передали количество информации , тогда

.

Любое непрерывное сообщение, которое существует на конечном интервале T и имеет ограниченный спектр можно заменить совокупностью дискретных отсчетов.

- число отсчётов.

Скорость передачи

,

где - дифференциальная энтропия одного отсчета.

Пропускная способность непрерывного канала с нормальным белым шумом. Формула Шеннона

На выходе канала смесь сигнала с шумом

- нормальный белый шум, описывается одномерным законом распределения вероятностей

- плотность мощности физического спектра.

Можно показать, что

Максимальной энтропией обладает источник нормального белого шума и значение энтропии которого равно

- среднеквадратическое отклонение мгновенных значений.

- мощность шума.

Если шум существует в полосе , то мощность шума

.

Пропускная способность

,

.

- сигнал на выходе.

Так как - нормальный белый шум, то можно доказать, что максимум будет в том случае, если , также будет являться процессом типа нормального белого шума. В этом случае

,

.

Процесс также должен быть типа нормального белого шума.

Тогда

- формула Шеннона.

Если , то

,

Значение пропускной способности стремится к постоянной величине, потому что мощность сигнала не зависит от ширины спектра и полосы пропускания, а мощность шума прямопропорциональна полосе пропускания.

Пропускная способность непрерывных каналов связи при произвольных спектрах сигналов и помех

Формула Шеннона была выведена при условии, что по каналу связи передаётся шумоподобный сигнал типа белого шума:

Более общий вид формулы Шеннона

,

где - коэффициент формы сигнала.

Для прямоугольных сигналов .

Для шумоподобных сигналов .

Для синусоидального сигнала .

Если спектральная плотность мощности сигнала , а помехи , можно получить формулу для случая неравномерных спектров сигналов и помех.

Рассмотрим бесконечно узкую полосу частот в пределах

Максимум достигается в случае, если

во всём диапазоне.

На основе этого можно строить алгоритм адаптивных систем связи и радиолокации.