Формула Шеннона - выводы, условия применения и примеры решения

Информационная теория

Обработка информации — важная техническая задача, чем, например, преобразование энергии из одной формы в другую. Важнейшим шагом в развитии теории информации стала работа Клода Шеннона (1948). Логарифмическое измерение количества данных было первоначальной теорией, и прикладными задачами по коммуникации в 1928 году. Наиболее известным является вероятностный подход к измерению информации, на основе которого представлен широкий раздел количественной теории.
Отличительная черта вероятностного подхода от комбинаторного состоит в том, что новые предположения об относительной занятости любой системы в разных состояниях и общего количества элементов не учитываются. Ряд информации взят из отсутствия неопределённости в выборе различных возможностей. В основе такого подхода лежат энтропийные и вероятностные множества.
Основная теорема Шеннона о кодировании

Важный практический вопрос при обработке информации — какова мощность системы передачи данных. Можно получить определённый ответ, используя уравнение Шеннона. Оно позволяет точно понять информационную пропускную способность любого сигнального канала. Формула Шеннона в информатике: I = — (p1log2 p1 + p2 log2 p2 +. + pN log2 pN)
Основная теория Шеннона о кодировании для дискретного канала с помехой, приведённая здесь без доказательства, аналогична теореме канала не имеющего помех: если источник данных с энтропией H (Z), а канал связи имеет ширину полосы C, то сообщения, сгенерированные источником, всегда могут быть закодированы так, чтобы их скорость передачи vz была произвольно близка к значению: vzm = C | H (Z).
Не существует метода кодирования, который бы позволял передавать со скоростью, превышающей vzm, и с произвольно низкой вероятностью ошибки. Другими словами, если поток информации: H '(Z) = vz * H (Z) <= C. Тогда можно выбрать специальный код, что позволяет передавать всю информацию с произвольно низкой вероятностью ошибки. При H '(Z)> C он не существует.
Стоит рассмотреть сигнал, который эффективно передаётся (т. е. без избыточности) в виде зависящего от времени аналогового напряжения. Картина изменения в течение определённого интервала T позволяет приёмнику выявить, какое из возможных сообщений было фактически отправлено.

Используя идею межсимвольного влияния, можно сказать, что, поскольку нет избыточности значения будут независимыми при условии, и они достаточно далеки друг от друга, чтобы их стоило отбирать отдельно. По сути, невозможно сказать, что одно из значений просто от знания другого. Конечно, для любого сообщения оба типа данных заранее определяются содержанием.
Но получатель не может знать, какое из всех возможных сообщений прибыло, пока оно не пришло. Если приёмник заранее знает, какое напряжение, должно быть, передано, то само сообщение не дало бы никакой новой информации! То есть получатель не будет знать больше после его прибытия, чем раньше.
Это приводит к замечательному выводу:
- Сигнал, который эффективно передаёт информацию, будет меняться и непредсказуем.
- Эффективный сигнал очень похож на случайный шум.
Именно поэтому случайный шум может привести к ошибкам в полученном сообщении. Статистические свойства эффективного сигнала аналогичны. Если шум был явно разным, приёмник мог легко отделить информацию и избежать каких-либо неполадок. Поэтому для обнаружения и исправления ошибок нужно сделать реальный сигнал менее «шумоподобным».
Условие применения формулы Шеннона — избыточность, создаёт предсказуемые отношения между различными участками сигнального устройства. Хотя это снижает эффективность передачи информации в системе, но помогает отличать детали сигнала от случайного шума. Здесь обнаружена максимально возможная информационная пропускная способность системы. Поэтому нужно избегать избыточности и позволять сигналу иметь «непредсказуемые» качества, которые делают его статистически похожим на случайный шум.
Передача сигналов
Реальный сигнал должен иметь конечную мощность. Следовательно, для этого набора сообщений должен быть некоторый максимально возможный уровень мощности. Это значит что напряжение тока сигнала ограничено к некоторому ряду. Это также означает, что мгновенное напряжение сигнала, должно быть, ограничено и не выступает за пределы диапазона. Аналогичный аргумент должен быть верен и для шума. Поскольку предполагается, что система эффективна, можно ожидать, сигнал и шум будут иметь аналогичные статистические свойства.
Это означает:

- Если долго наблюдать за сигналом или шумом, можно обнаружить, что их колебания уровня имеют одинаковое отношение пикового/среднеквадратичного напряжения.
- Во время типичного сообщения колебания напряжения шума будут ограничены некоторым диапазоном.
При передаче сигналов в присутствии шума нужно стараться, чтобы сигнал был больше и свести к минимуму эффекты шума. Поэтому можно ожидать, что система передачи информации применится и обеспечит, чтобы для каждого типичного сообщения сила почти равнялось некоторому максимальному значению.
Это означает, что в такой системе, большинство сообщений будет одинаковый уровень мощности. В идеале каждое ИС должно иметь одинаковый, максимально возможный уровень мощности. На самом деле можно повернуть этот аргумент с ног на голову и сказать, что «типичны» только сообщения со средними силами, подобными этому максимуму. Те, что обладают гораздо более низкими способностями, необычны — то есть редки.
Определённое уравнение

Сигнал и шум не коррелированны, то есть они не связаны каким-либо образом, который позволит предсказать один из них. Суммарная мощность, получаемая при объединении этих некоррелированных ИС, по-видимому, случайно изменяющихся величин, задаётся.
Поскольку сигнал и шум статистически аналогичны, их комбинация будет иметь то же значение форм-фактора, что и сам сигнал или шум. Потому можно ожидать, что комбинированный сигнал и шум, как правило, будут ограничены диапазоном напряжения.
Стоит рассмотреть теперь разделение этого диапазона на полосы одинакового размера. (т. е. каждая из этих полос будет охватывать ИС.) Чтобы предоставить другую метку для каждой полосы, нужны символы или цифры. Поэтому всегда можно указать, какую полосу занимает уровень напряжения в любой момент с точки зрения B-разрядного двоичного числа. По сути, этот процесс является ещё одним способом описания того, что происходит, когда берут цифровые образцы с B-разрядным аналоговым преобразователем, работающим в общем диапазоне.
Нет никакого реального смысла в выборе значения, которое настолько велико. Это потому что шум кубика будет просто иметь тенденцию рандомизировать фактическое напряжение на эту сумму, делая любые дополнительные биты бессмысленными. В результате максимальное количество битов информации, которую можно получить относительно уровня в любой момент, будет определено.
Уравнение Шеннона может использовать:

- Максимально возможную скорость передачи информации по заданному каналу или системе.
- Передачу данных определяется полосой пропускания, уровнем сигнала и шума.
- Поэтому ИС называется законом информационной пропускной способности канала.
При передаче информации некоторые параметры используемых сигналов могут приобретать случайный символ в канале связи, например, из-за многолучевого распространения радиоволн, гетеродинирующих сигналов. В результате амплитуда и начальная фаза данных являются случайными. Согласно статистической теории связи, эти особенности сигналов необходимы для их оптимальной обработки, они определяют как структуру приёмника, так и качество связи.
Хартли понимал информационное получение как подбор одного вида данных из набора равновероятного сообщения и определил объём, содержащейся ВС, как логарифм N. Выполняются примеры решения по формуле Хартли в информатике: N = mn.
Помехи разложения всегда присутствуют в границе любого реального сигнала. Однако, если их уровень настолько мал, что вероятность искажения практически равна нулю, можно условно предположить, что все сигналы передаются неискажёнными.
В этом случае средний объём информации, переносимой одним символом, можно считать расчётным: J (Z; Y) = Хапр (Z) — Хапест (Z) = Хапр (Y). Поскольку функция H (Y) = H (Z) и H (Y / Z) = 0, а индекс max {J (Z; Y)} = Hmax (Y) — максимальная энтропия источника класса сигнала, возникающая в результате распределения символов Y: p (y1) = p (y2) = … = p (ym) = 1 / My, т. е. Hmax (Y) = logaMy.
Следовательно, главная дискретная ширина полосы таблицы без информации о помехах в единицу времени равна: Cy = Vy • max {J (Z; Y)} = Vy • Hmax (Y) = Vy • logaMy или записываться Ck = Vk • logaMy. Где буква Mk — должно быть максимально возможное количество уровней, разрешённых для передачи по этому каналу (конечно, может обозначаться Mk = My).
Согласно теореме, метод кодирования онлайн, который может использоваться и позволяет:
- с данными согласно уравнению H (x) ≤ C — передать всю информацию, сгенерированную источником с ограниченным размером буфера калькулятора;
- в случае H (x)> C такого способа кодирования не существует, поскольку требуется буфер, объём которого определяется избыточной производительностью источника по ширине полосы канала, умноженной на время передачи.
Вероятностный подход к определению вычисления объёма информации — математический вывод формулы Шеннона не является удовлетворительным для метода оценки роли энтропии, отражения элементов системы и может не применяться. Как общий информатический объект невозможно допустить единый способ измерения и его правила.
Еще тесты
- Анатомия
- Английский язык
- Астрономия
- Биология
- Литература
- История
- Педсовет
- Естествознание
- Финансы и кредит
- Правоведение
- Товароведение
- Экономика
- Социология
- Маркетинг
- Обществознание
- Культурология
- Математика
- Философия
- Русский язык
- Психология
- Политология
- Делопроизводство
- Бухгалтерия
- ОБЖ
- Орфография
- География
- Биографии
- Физика
- Пунктуация
- Краткие содержания
- Химия
- Менеджмент
- Тест на тему Тест по теме Дыхательная система человека 7 вопросов
- Тест на тему Строение человека - анатомия внутренних органов 7 вопросов
- Тест на тему Гормоны - определение, виды, функции, роль в организме человека 5 вопросов
- Тест на тему Лейкоциты в крови - строение, где образуются и разрушаются, норма содержания 5 вопросов
- Тест на тему Одноклеточные организмы - строение , формы и признаки представителей 8 вопросов
- Тест на тему Бесполое размножение - виды, формы и биологическое значение процесса 9 вопросов
- Тест на тему Синтез АТФ - структура, функции и пути образования аденозинтрифосфорной кислоты 7 вопросов
- Тест на тему Биогеоценоз - определение, структура и свойства 5 вопросов
- Тест на тему Символизм в литературе - основные черты и представители направления 6 вопросов
- Тест на тему "У Лукоморья дуб зеленый" - анализ стихотворения Александра Сергеевича Пушкина 8 вопросов
- Тест на тему Родион Раскольников и Соня Мармеладова - история взаимоотношений в романе Ф. М. Достоевского "Преступление и наказание" 6 вопросов
- Тест на тему Семья Мелеховых в романе М. Шолохова "Тихий дон" 7 вопросов
- Тест на тему Отечественная война 1812 года - причины, основные сражения, итоги 7 вопросов
- Тест на тему Правление Ивана Грозного - внутренняя и внешняя политика 7 вопросов
- Тест на тему Образование СССР - причины, этапы становления, состав, итоги 6 вопросов
- Тест на тему Крещение руси князем Владимиром - причины, история, значение принятия христианства 6 вопросов
- Тест на тему Пищевая цепочка в природе - звенья, схемы и примеры цепей 5 вопросов
- Тест на тему Экологические факторы - классификация, примеры, общие закономерности воздействия 5 вопросов
- Тест на тему Биосфера - определение, состав, свойства, границы 5 вопросов
- Тест на тему Возникновение жизни на земле 6 вопросов
- Тест на тему Права и свободы человека и гражданина 5 вопросов
- Тест на тему Унитарное предприятие - виды, признаки, участники, особенности 7 вопросов
- Тест на тему Формы собственности - типы и виды и их характеристика 7 вопросов
- Тест на тему Предпринимательское право - понятие, принципы, предмет и объект, функции 5 вопросов
- Тест на тему Ликвидность предприятия - определение, виды, формула расчета 7 вопросов
- Тест на тему Процентная ставка - понятие, виды, методы расчета и начисления 5 вопросов
- Тест на тему Финансы - определние, сущность, основные функции, виды 7 вопросов
- Тест на тему Коммерческая деятельность - сущность и содержание 7 вопросов
- Тест на тему Статистическое наблюдение - виды, способы, последовательность этапов 6 вопросов
- Тест на тему Социальный контроль - понятие и функции, формы и методы, значение 5 вопросов
- Тест на тему Анкетирование - правила составления и виды вопросов, оформление результатов 5 вопросов
- Тест на тему Социальная группа — понятие, типы, критерии выделения 8 вопросов
- Тест на тему Деятельность человека - основные виды и характеристики 7 вопросов
- Тест на тему Воздушно-десантные войска (ВДВ) - история создания, подразделения, оснащение 7 вопросов
- Тест на тему Субъекты РФ - количество, виды, правовой статус 7 вопросов
- Тест на тему Социальные нормы - понятие, виды и характеристка, функции, примеры 6 вопросов
- Тест на тему Что такое угол 5 вопросов
- Тест на тему Деление в столбик — подробное описание алгоритма решения задач, примеры 10 вопросов
- Тест на тему Вычитание дробей - правила и примеры с решениями 5 вопросов
- Тест на тему Модуль числа - свойства, действия, как решать уравнения и неравенства с модулем 10 вопросов
- Тест на тему Ислам - история возникновения религии, основные положения 7 вопросов
- Тест на тему Мышление - определение, виды, функции, свойства 5 вопросов
- Тест на тему Что такое мораль, ее категории и функции 6 вопросов
- Тест на тему Буддизм - кратко о религии (история возникновения, основные положения, священные книги) 6 вопросов
- Тест на тему Безличные предложения в русском языке 8 вопросов
- Тест на тему Ударение в словах в русском языке - правила и проверка постановки 5 вопросов
- Тест на тему Морфемный разбор слова - правила выполнения с примерами 5 вопросов
- Тест на тему Сложноподчиненные предложения в русском языке 6 вопросов
- Тест на тему Мотивация - определение, виды и типы в психологии, менеджменте 5 вопросов
- Тест на тему Интеллект - понятие, признаки, как развивать, оценка 5 вопросов
- Тест на тему Социализация личности - понятие и сущность, агенты, примеры 5 вопросов
- Тест на тему Типы темперамента и их психологическая характеристика 5 вопросов
- Тест на тему Органы исполнительной власти РФ - понятие и правовой статус, структура и фунции 7 вопросов
- Тест на тему Европейский союз - история создания, цели, состав 5 вопросов
- Тест на тему Тоталитаризм - определение, характерные черты, плюсы и минусы идеологии 5 вопросов
- Тест на тему Политическая идеология - определение понятия, функции, классификация, особенности 5 вопросов
- Тест на тему Оборотные средства предприятия, их структура, учет и анализ 7 вопросов
- Тест на тему Бюджетная классификация - определение, структура 7 вопросов
- Тест на тему Калькуляция - основные понятия, примеры расчетов себестоимости 7 вопросов
- Тест на тему Бухгалтерский учет материально-производственных запасов на предприятии 8 вопросов
- Тест на тему Пистолет Макарова - шпаргалка по тактико-техническим характеристикам 9 вопросов
- Тест на тему Чрезвычайная ситуация - понятие, типы ЧС, причины возникновения, стадии развития 7 вопросов
- Тест на тему Вооруженные силы Российской Федерации — организационная структура и предназначение 7 вопросов
- Тест на тему ВМФ (Военно-Морской флот) России - структура, история, состав 7 вопросов
- Тест на тему Перу - географическое положение, климат и достопримечательности 9 вопросов
- Тест на тему Климатические пояса Земли - характеристика и особенности 8 вопросов
- Тест на тему Тайга - географическое положение, животный и растительный мир, особенности и характеристика природной зоны 7 вопросов
- Тест на тему Озеро - определение, классификация, признаки 6 вопросов
- Тест на тему Братья Гримм - биография, жизнь и творчество немецких писателей 10 вопросов
- Тест на тему Тамерлан (1336-1405) - биография, жизнь и завоевания великого полководца 10 вопросов
- Тест на тему Максим Горький (1868-1936) - биография, кратко самое важное, интересные факты из жизни писателя 9 вопросов
- Тест на тему Блок Александр Александрович (1880-1921) - биография, жизненный и творческий путь 11 вопросов
- Тест на тему "Ночь перед Рождеством" - краткое содержание повести Н. В. Гоголя 10 вопросов
- Тест на тему "Маленький Мук" - краткое содержание сказки Вильгельма Гауфа 10 вопросов
- Тест на тему "Дворянское гнездо" - краткое содержание романа И.С. Тургенева 8 вопросов
- Тест на тему "Бирюк" - краткое содержание рассказа И.С. Тургенева 10 вопросов
- Тест на тему Серная кислота - химические и физические свойства и реакции 8 вопросов
- Тест на тему Муравьиная кислота - формула, свойства, получение и применение 7 вопросов
- Тест на тему Сложные эфиры - характеристика, классификация и примеры соединений 8 вопросов
- Тест на тему Толуол - формула, свойства и применение химического вещества 8 вопросов
- Тест на тему Оценка персонала - виды, критерии и методы 7 вопросов
- Тест на тему Управление персоналом - задачи, функции, современные подходы 5 вопросов
- Тест на тему Менеджмент предприятий — сущность, виды, задачи и цели 7 вопросов
- Тест на тему Организационная структура предприятия — типы и предназначение 7 вопросов