VII Международная студенческая научная конференция Студенческий научный форум - 2015

Понятия возможности, случайности, вероятности находятся в определенном отношении с понятием неопределенности. Если множество состоит всего из одного элемента, то степень неопределенности выбора предмета из этого множества равна нулю, так как мы можем выбрать один и только один элемент. Вероятность выбора в этом случае равна единице.

Рассмотрим случай, когда опыт имеет n равновероятных исходов. Неопределенность каждого из них зависит от n – меры неопределенности, которая является функцией числа исходов. Обозначим ее через Hn.

Отметим свойства данной функции:

1. H1=0, так как для одного исхода результат очевиден.

2. При возрастании числа исходов Hn так же возрастает.

3. Для определения явного вида функции Hn рассмотрим два независимых опыта: α и β с равновероятными исходами nα и nβ соответственно.

4. Теперь рассмотрим сложный опыт, который состоит в одновременном выполнении опыта α и β – α∩β. Сложный опыт имеет nα∙nβ равновероятных исходов. Мера неопределенности такого сложного опыта – Hnα∙nβ, по независимости составляющих опытов α и β, равна сумме мер независимостей Hnα и Hnβ.

5. Hnα∙nβ=Hnα+Hnβ

6. Можно показать, что функция Hn=logan является единственной из всех существующих классов функций, удовлетворяющих такому набору свойств.

7. Переход к другому основанию равносилен изменению масштаба измерения неопределенности: logbn=logan∙logba.

8. Удобным оказалось брать основание, равное двум. Единица коᴫичестʙа информации, предстаʙᴫяющая собой ʙыбор из дʙух раʙноʙероятных событий, поᴫучиᴫа назʙание дʙоичной единицы, иᴫи бита. Назʙание bit образоʙано из дʙух начаᴫьных и посᴫедней букʙ ангᴫийского ʙыражения binary unit, что значит дʙоичная единица. Бит яʙᴫяется не тоᴫько единицей коᴫичестʙа информации, но и единицей измерения степени неопредеᴫенности. При этом имеется ʙ ʙиду неопредеᴫенность, которая содержится ʙ одном опыте, имеющем дʙа раʙноʙероятных исхода.

9. Таким образом, нами выбран явный вид функции числа исходов Hn=log2n. Эта величина получила название энтропия.

10. Информационная энтропия — мера хаотичности информации. При отсутствии информационных потерь численно она равна количеству информации на символ передаваемого сообщения. Информационная энтропия обладает всеми теми математическими свойствами, например, она аддитивна: энтропия нескольких сообщений равна сумме энтропий отдельных сообщений.

11. Рассмотрим опыт с двумя исходами. Вероятность наступления первого исхода равна р, тогда для второго – (1-р). Энтропия в этом случае равна:

12. Нр=-рlog2(р)-1-рlog21-р

13. Исследуем свойства данной функции:

1. Энтропия не может быть отрицательной величиной. DH – область определения функции Нр.

1. D(H) = [0; 1].

1. H(p) – непрерывная функция.

2. Максимальное значение функция принимает при р = 12.

1. Найдем стационарные точки данной функции – H(p) с помощью производной. Обозначим p через x, а H(p) – через y(x):

2. y(x) = -xlog2x-(1-x)log2(1-x)

3. Тогда значение производной будет равно:

4. y/(x) = -log2x-x1x*ln2+log21-x+(1-x)11-xln⁡2

5. y/(x)= -log2x+log21-x=log21-xx

6. y/(x)= log21-xx

7. Приравняем производную к нулю:

• y12=(-12)log212-(-12)log212=log22=1.

• Таким образом, указанная выше функция достигает своего максимума при р = 12 в значении H(1/2) = 1.

• Укажем промежутки возрастания и убывания. Для этого вспомним признак возрастания функции:

• Если на промежутке X выполняется неравенство y/(x)≥0, то функция y(x) возрастает на этом промежутке.

• y/(x)= log21-xx => =>

• Для убывания функции необходимо, чтобы: =>

1. Исследование на выпуклость: для этого находим вторую производную функции:

• y(2)x=-1x1-xln2 , y(2) log223-ркрк=0 => 23-ркрк=1 => 23-рк=рк

• Таким образом, рк – вероятность приехать Коле первым должна быть равна 1/3. рю=23-13=13. Значит, чтобы энтропия опыта максимальна при равных вероятностях.

• Hp=-13log213-13log213-13log213=log23≈ 1,2 бит.

• Из жизненного опыта мы знаем, что выводы, получаемые из различных критериев зачастую противоречат друг другу. Поэтому необходимо использовать понятия энтропии, а также её свойств на практике. Реальная ценность энтропии определяется в первую очередь тем, что выражаемая ей «степень неопределенности» опытов оказывается во многих случаях именно той характеристикой, которая играет определяющую роль в различных процессах, встречающихся в природе и технике.

• Литература

1. Бриллюэн, Л. Н. Научная неопределенность и информация / Л. Н. Бриллюэн – М.: КомКнига, 2006. – 278с.

2. Гмурман, В. Е. Теория вероятностей и математическая статистика / В. Е. Гмурман – М.: Высшая школа, 1972. – 308 с.

3. Яглом, М. А. Вероятность и информация / М. А Яглом, И. М. Яглом – М.: Наука, 1973. – 512 с.