100 éve született az információelmélet megalkotója

Claude Elwood ShannonClaude Elwood Shannon amerikai híradástechnikus és matematikus, az információelmélet megalapítója a Michigani Egyetemen végzett. 1941 és 1956 között a Bell Telephone Laboratories cégnél kutató matematikus volt.

Az információelmélet legalapvetőbb törvényeit fedezte fel, általában tapasztalati úton. Később tételeit matematikailag is igazolták más matematikusok (például Kolmogorov, Fagyejev, Hincsin).

Fő műve, A kommunikáció matematikai elmélete (Mathematical Theory of Communication) című munkája, 1948–49-ben jelent meg. Alapvető eredménye a Shannon-entrópia fogalmának bevezetése.

Claude Elwood Shannon, az információelmélet megalkotója a következő egyenlettel írta le az információtartalmat:

H = k\cdot  \log _{a}(1/p)

ahol k a jelkészletből felhasznált jelek száma, p a jelkészletből 1 jel kiválasztásának valószínűsége.

Ha a különböző jelek kiválasztásának valószínűségei nem azonosak, a Shannon-féle entrópiát kell használni.

Tételezzük fel, hogy egy n elemű X jelhalmaz (például egy független komplett üzenetekből álló készlet) x1, x2, … xn elemei rendre p1, p2, … pn valószínűséggel fordulnak elő, ekkor az egyedi információmennyiségek, azaz log2 (1/pi) várható értéke definíció szerint:

 H \left( x_{1} , x_{2} , ... , x_{n} \right)  :=  \sum_{i=1}^{n} p(x_{i}) \log _{2} \frac{1}{ p \left( x_{i} \right) }

ahol összegezni kell i=1-től n-ig. H a Shannon-féle entrópia, ezt tekintjük az üzenet információjának. A képlet formailag hasonló a statisztikus fizika entrópia képletéhez.[

(Visited 32 times, 1 visits today)
%d bloggers like this: