Цели и задачи дисциплины......5 Введение......7 Тема 1. Энтропия опыта (системы)......9 1.1. Энтропия как мера (степень) неопределенности состояния системы. Формула Шеннона......9 1.2. Единицы измерения энтропии......14 Тема 2. Энтропия сложной системы......16 2.1. Теорема сложения энтропий для независимых подсистем......16 2.2. Условная энтропия системы. Средняя условная энтропия. Энтропия сложной системы
состоящей из зависимых подсистем......20 2.3. Теоремы
выражающие основные свойства энтропии......26 2.4. Энтропия некоторых основных законов распределения вероятностей дискретных случайных величин......32 Тема 3. Количество информации для систем с конечным числом состояний.......51 3.1. Количество собственной информации......51 3.2. Количество взаимной информации......53 3.3. Количество частной информации......57 Тема 4. Математические модели и основные характеристики дискретных эргодических источников и каналов связи......73 4.1. Общая структурная схема системы связи. Примеры систем связи.......73 4.2. Дискретные эргодические источники
их свойства и характеристики......78 4.3. Пропускная способность канала связи......92 Тема 5. Элементы теории кодирования......100 5.1. Основные понятия кодирования......100 5.2. Оптимальное кодирование информации при отсутствии помех. Теорема Шеннона......103 5.3. Код Шеннона – Фано
Ход Хафмана......112 5.4. Теорема Шеннона о кодировании при наличии помех. Коды
обнаруживающие и исправляющие ошибку. Код Хэмминга.......122 Глоссарий......139 Таблица значений энтропийной функции ??P? ? ?Plog2P......141 Список рекомендуемой литературы......142 Руководство по изучению дисциплины......144 Сборник задач......163 Задачи......188 Таблица значений энтропийной функции ?(Р)......-Р logP......213 Список рекомендуемой литературы......214