Система Orphus

Система Orphus

Применение основ теории информации в криптографии

Информационная энтропия — мера неопределённости или непредсказуемости информации, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения.

Количество информации – в теории информации это количество информации в одном случайном объекте относительно другого. Пусть x и y – случайные величины, заданные на соответствующих множествах X и  Y . Тогда количество информации x относительно y есть:

I(x,y)=H(x)-H(x|y) ,

где

H(x)=-\sum_{x \in X} p(x) \ln p(x) , — энтропия, а

H(x|y)=-\sum_{y \in Y} p(y) \sum_{x \in X} p(x|y) \ln p(x|y) , — условная энтропия, в теории передачи информации она характеризует шум в канале.


Система Orphus

Комментарии