Шеннон, Клод
(Новая страница: «=Клод Элвуд Шеннон= родился 30 апреля 1916 года. Является основателем теории информации, на…») |
(→Теоремы Клода Шеннона) |
||
(не показаны 28 промежуточных версий 3 участников) | |||
Строка 1: | Строка 1: | ||
− | + | Клод Элвуд Шеннон | |
− | + | Родился 30 апреля 1916 года городе Петоцки, штат Мичиган. | |
− | |||
− | В | + | В 1932 г. Шеннон поступил в Мичиганский университет, который окончил в 1936 г., получив степень бакалавра по двум специальностям: математика и электротехника. Во время обучения он нашел в библиотеке университета две работы Джорджа Буля (George Boole) — «Математический анализ логики» и «Логическое исчисление», написанные в 1847 и 1848 годах соответственно. Шеннон тщательным образом их изучил, и это, по-видимому, определило его дальнейшие научные интересы. |
+ | Источник:http://controlengrussia.com/retrospektiva/klod-shennon-sozdatel-teorii-informatsii-k-100-letiyu-so-dnya-rozhdeniya/ | ||
+ | |||
+ | =Теория связи в секретных системах= | ||
+ | Работа Шеннона “Теория связи в секретных системах” (1945) с грифом “секретно”, которую рассекретили и опубликовали только лишь в 1949 году, послужила началом обширных исследований в теории кодирования и передачи информации, и, по всеобщему мнению, придала криптографии статус науки. Именно Клод Шеннон впервые среди американцев начал изучать криптографию, применяя научные подходы, разработанные математиками еще в XIX веке. В этой статье Шеннон определил основополагающие понятия теории криптографии, без которых криптография уже немыслима. Важной заслугой Шеннона является исследования абсолютно стойких систем (которых на самом деле не существует в принципе) и доказательство их существования, а также существование криптостойких шифров, и требуемые для этого условия. Шеннон также сформулировал основные требования, предъявляемые к надежным шифрам. Он ввёл ставшие уже привычными понятия рассеивания и перемешивания, а также методы создания криптостойких систем шифрования на основе простых операций. Данная статья является отправным пунктом изучения науки криптографии в США. | ||
+ | =Статья “Математическая теория связи”= | ||
+ | Статья “Математическая теория связи” была опубликована в 1948 году и сделала Клода Шеннона всемирно известным. В ней Шеннон изложил свои идеи, ставшие впоследствии основой современных американских теорий и техник обработки, передачи и хранения информации. Шеннон обобщил идеи Хартли и ввёл понятие информации, содержащейся в передаваемых сообщениях, эквивалентное тому, что было известно в термодинамике со времен Больцмана (1873) под названием "энтропия". | ||
− | + | В качестве меры информации передаваемого сообщения, Хартли предложил использовать логарифмическую функцию | |
+ | I = log M | ||
+ | Шеннон первым начал рассматривать передаваемые сообщения и шумы в каналах связи с точки зрения статистики Больцмана, рассматривая как конечные, так и непрерывные множества сообщений. Развитая Шенноном теория передачи информации помогла решить проблемы, связанные с передачей сообщений, а именно: устранить избыточность передаваемых сообщений, произвести кодирование и передачу сообщений по каналам связи с шумами. | ||
+ | |||
+ | Решение проблемы передачи сообщения по каналам связи с шумами при заданном соотношении мощности полезного сигнала к мощности сигнала помехи в месте приема, позволяет передавать по каналу связи сообщения с достаточно малой вероятностью ошибки при передаче сообщения. Также, это отношение определяет пропускную способность канала. Это обеспечивается применением кодов, устойчивых к помехам, при этом скорость передачи сообщений по данному каналу должна быть ниже его пропускной способности. | ||
+ | |||
+ | В своих работах Шеннон доказал принципиальную возможность решения обозначенных проблем, это явилось в конце 40-х годов настоящей сенсацией в американских научных кругах. | ||
+ | |||
+ | Ученые из СССР и США (СССР — Хинчин, Добрушин, Колмогоров; США — Галлагер, Вольфовиц, Файнштейн дали строгую математическую трактовку изложенной Шенноном теории. | ||
+ | |||
+ | Источник:http://bourabai.ru/shannon/ | ||
+ | |||
+ | =Теоремы Клода Шеннона= | ||
Прямая и обратная теоремы Шеннона для источника общего вида — о связи энтропии источника и средней длины сообщений. | Прямая и обратная теоремы Шеннона для источника общего вида — о связи энтропии источника и средней длины сообщений. | ||
Прямая и обратная теоремы Шеннона для источника без памяти — о связи энтропии источника и достижимой степени сжатия с помощью кодирования с потерями и последующего неоднозначного декодирования. | Прямая и обратная теоремы Шеннона для источника без памяти — о связи энтропии источника и достижимой степени сжатия с помощью кодирования с потерями и последующего неоднозначного декодирования. | ||
− | Прямая и обратная теоремы Шеннона для канала с шумами — о связи пропускной способности канала и существования кода, который возможно использовать для передачи с ошибкой, стремящейся к нулю | + | Прямая и обратная теоремы Шеннона для канала с шумами — о связи пропускной способности канала и существования кода, который возможно использовать для передачи с ошибкой, стремящейся к нулю при увеличении длины блока. |
− | + | (В теории информации, по традиции, утверждения типа “для любого кода имеет место некоторое свойство” называются обратными теоремами, а утверждения типа “Существует код с заданным свойством” — прямыми теоремами). | |
+ | |||
+ | Шеннон повторно в 1949 году доказал теорему Котельникова 1933 года, которая на Западе называется теоремой Найквиста — Шеннона — об однозначном восстановлении сигнала по его дискретным отсчётам. | ||
Теорема Шеннона об источнике шифрования (или теорема бесшумного шифрования) устанавливает предел максимального сжатия данных и числовое значение энтропии Шеннона. | Теорема Шеннона об источнике шифрования (или теорема бесшумного шифрования) устанавливает предел максимального сжатия данных и числовое значение энтропии Шеннона. | ||
− | Теорема Шеннона — Хартли | + | Теорема Шеннона — Хартли |
+ | |||
− | + | ---- | |
+ | [[Категория:Информатика]] | ||
+ | [[Категория:Кибернетик]] |
Текущая версия на 16:09, 28 сентября 2018
Клод Элвуд Шеннон Родился 30 апреля 1916 года городе Петоцки, штат Мичиган.
В 1932 г. Шеннон поступил в Мичиганский университет, который окончил в 1936 г., получив степень бакалавра по двум специальностям: математика и электротехника. Во время обучения он нашел в библиотеке университета две работы Джорджа Буля (George Boole) — «Математический анализ логики» и «Логическое исчисление», написанные в 1847 и 1848 годах соответственно. Шеннон тщательным образом их изучил, и это, по-видимому, определило его дальнейшие научные интересы.
Источник:http://controlengrussia.com/retrospektiva/klod-shennon-sozdatel-teorii-informatsii-k-100-letiyu-so-dnya-rozhdeniya/
[править] Теория связи в секретных системах
Работа Шеннона “Теория связи в секретных системах” (1945) с грифом “секретно”, которую рассекретили и опубликовали только лишь в 1949 году, послужила началом обширных исследований в теории кодирования и передачи информации, и, по всеобщему мнению, придала криптографии статус науки. Именно Клод Шеннон впервые среди американцев начал изучать криптографию, применяя научные подходы, разработанные математиками еще в XIX веке. В этой статье Шеннон определил основополагающие понятия теории криптографии, без которых криптография уже немыслима. Важной заслугой Шеннона является исследования абсолютно стойких систем (которых на самом деле не существует в принципе) и доказательство их существования, а также существование криптостойких шифров, и требуемые для этого условия. Шеннон также сформулировал основные требования, предъявляемые к надежным шифрам. Он ввёл ставшие уже привычными понятия рассеивания и перемешивания, а также методы создания криптостойких систем шифрования на основе простых операций. Данная статья является отправным пунктом изучения науки криптографии в США.
[править] Статья “Математическая теория связи”
Статья “Математическая теория связи” была опубликована в 1948 году и сделала Клода Шеннона всемирно известным. В ней Шеннон изложил свои идеи, ставшие впоследствии основой современных американских теорий и техник обработки, передачи и хранения информации. Шеннон обобщил идеи Хартли и ввёл понятие информации, содержащейся в передаваемых сообщениях, эквивалентное тому, что было известно в термодинамике со времен Больцмана (1873) под названием "энтропия".
В качестве меры информации передаваемого сообщения, Хартли предложил использовать логарифмическую функцию
I = log M
Шеннон первым начал рассматривать передаваемые сообщения и шумы в каналах связи с точки зрения статистики Больцмана, рассматривая как конечные, так и непрерывные множества сообщений. Развитая Шенноном теория передачи информации помогла решить проблемы, связанные с передачей сообщений, а именно: устранить избыточность передаваемых сообщений, произвести кодирование и передачу сообщений по каналам связи с шумами.
Решение проблемы передачи сообщения по каналам связи с шумами при заданном соотношении мощности полезного сигнала к мощности сигнала помехи в месте приема, позволяет передавать по каналу связи сообщения с достаточно малой вероятностью ошибки при передаче сообщения. Также, это отношение определяет пропускную способность канала. Это обеспечивается применением кодов, устойчивых к помехам, при этом скорость передачи сообщений по данному каналу должна быть ниже его пропускной способности.
В своих работах Шеннон доказал принципиальную возможность решения обозначенных проблем, это явилось в конце 40-х годов настоящей сенсацией в американских научных кругах.
Ученые из СССР и США (СССР — Хинчин, Добрушин, Колмогоров; США — Галлагер, Вольфовиц, Файнштейн дали строгую математическую трактовку изложенной Шенноном теории.
Источник:http://bourabai.ru/shannon/
[править] Теоремы Клода Шеннона
Прямая и обратная теоремы Шеннона для источника общего вида — о связи энтропии источника и средней длины сообщений.
Прямая и обратная теоремы Шеннона для источника без памяти — о связи энтропии источника и достижимой степени сжатия с помощью кодирования с потерями и последующего неоднозначного декодирования.
Прямая и обратная теоремы Шеннона для канала с шумами — о связи пропускной способности канала и существования кода, который возможно использовать для передачи с ошибкой, стремящейся к нулю при увеличении длины блока.
(В теории информации, по традиции, утверждения типа “для любого кода имеет место некоторое свойство” называются обратными теоремами, а утверждения типа “Существует код с заданным свойством” — прямыми теоремами).
Шеннон повторно в 1949 году доказал теорему Котельникова 1933 года, которая на Западе называется теоремой Найквиста — Шеннона — об однозначном восстановлении сигнала по его дискретным отсчётам.
Теорема Шеннона об источнике шифрования (или теорема бесшумного шифрования) устанавливает предел максимального сжатия данных и числовое значение энтропии Шеннона.
Теорема Шеннона — Хартли