Шеннон, Клод
Клод Элвуд Шеннон Родился 30 апреля 1916 года городе Петоцки, штат Мичиган.
В 1932 г. Шеннон поступил в Мичиганский университет, который окончил в 1936 г., получив степень бакалавра по двум специальностям: математика и электротехника. Во время обучения он нашел в библиотеке университета две работы Джорджа Буля (George Boole) — «Математический анализ логики» и «Логическое исчисление», написанные в 1847 и 1848 годах соответственно. Шеннон тщательным образом их изучил, и это, по-видимому, определило его дальнейшие научные интересы.
Источник:http://controlengrussia.com/retrospektiva/klod-shennon-sozdatel-teorii-informatsii-k-100-letiyu-so-dnya-rozhdeniya/
Теория связи в секретных системах
Работа Шеннона “Теория связи в секретных системах” (1945) с грифом “секретно”, которую рассекретили и опубликовали только лишь в 1949 году, послужила началом обширных исследований в теории кодирования и передачи информации, и, по всеобщему мнению, придала криптографии статус науки. Именно Клод Шеннон впервые среди американцев начал изучать криптографию, применяя научные подходы, разработанные математиками еще в XIX веке. В этой статье Шеннон определил основополагающие понятия теории криптографии, без которых криптография уже немыслима. Важной заслугой Шеннона является исследования абсолютно стойких систем (которых на самом деле не существует в принципе) и доказательство их существования, а также существование криптостойких шифров, и требуемые для этого условия. Шеннон также сформулировал основные требования, предъявляемые к надежным шифрам. Он ввёл ставшие уже привычными понятия рассеивания и перемешивания, а также методы создания криптостойких систем шифрования на основе простых операций. Данная статья является отправным пунктом изучения науки криптографии в США.
Статья “Математическая теория связи”
Статья “Математическая теория связи” была опубликована в 1948 году и сделала Клода Шеннона всемирно известным. В ней Шеннон изложил свои идеи, ставшие впоследствии основой современных американских теорий и техник обработки, передачи и хранения информации. Шеннон обобщил идеи Хартли и ввёл понятие информации, содержащейся в передаваемых сообщениях, эквивалентное тому, что было известно в термодинамике со времен Больцмана (1873) под названием "энтропия".
В качестве меры информации передаваемого сообщения, Хартли предложил использовать логарифмическую функцию
I = log M
Шеннон первым начал рассматривать передаваемые сообщения и шумы в каналах связи с точки зрения статистики Больцмана, рассматривая как конечные, так и непрерывные множества сообщений. Развитая Шенноном теория передачи информации помогла решить проблемы, связанные с передачей сообщений, а именно: устранить избыточность передаваемых сообщений, произвести кодирование и передачу сообщений по каналам связи с шумами.
Решение проблемы передачи сообщения по каналам связи с шумами при заданном соотношении мощности полезного сигнала к мощности сигнала помехи в месте приема, позволяет передавать по каналу связи сообщения с достаточно малой вероятностью ошибки при передаче сообщения. Также, это отношение определяет пропускную способность канала. Это обеспечивается применением кодов, устойчивых к помехам, при этом скорость передачи сообщений по данному каналу должна быть ниже его пропускной способности.
В своих работах Шеннон доказал принципиальную возможность решения обозначенных проблем, это явилось в конце 40-х годов настоящей сенсацией в американских научных кругах.
Ученые из СССР и США (СССР — Хинчин, Добрушин, Колмогоров; США — Галлагер, Вольфовиц, Файнштейн дали строгую математическую трактовку изложенной Шенноном теории.
Источник:http://bourabai.ru/shannon/
Теоремы Клода Шеннона
Прямая и обратная теоремы Шеннона для источника общего вида — о связи энтропии источника и средней длины сообщений.
Прямая и обратная теоремы Шеннона для источника без памяти — о связи энтропии источника и достижимой степени сжатия с помощью кодирования с потерями и последующего неоднозначного декодирования.
Прямая и обратная теоремы Шеннона для канала с шумами — о связи пропускной способности канала и существования кода, который возможно использовать для передачи с ошибкой, стремящейся к нулю при увеличении длины блока.
(В теории информации, по традиции, утверждения типа “для любого кода имеет место некоторое свойство” называются обратными теоремами, а утверждения типа “Существует код с заданным свойством” — прямыми теоремами).
Шеннон повторно в 1949 году доказал теорему Котельникова 1933 года, которая на Западе называется теоремой Найквиста — Шеннона — об однозначном восстановлении сигнала по его дискретным отсчётам.
Теорема Шеннона об источнике шифрования (или теорема бесшумного шифрования) устанавливает предел максимального сжатия данных и числовое значение энтропии Шеннона.
Теорема Шеннона — Хартли
