Entropy

Teorian tietojen - ja suhteessa teoria signaalien - entropia mittaa määrä epävarmuutta tai tietoja läsnä satunnaissignaali. Toisesta näkökulmasta, entropia on pienin kuvaileva monimutkaisuus satunnaismuuttuja, että on alaraja pakkaamiseen kärsimättä tietoja. Yhteydessä termodynaaminen entropia on puristussuhde: lämpötilan laskiessa vastaa vähentää redundanssia signaalin, ja tämän vuoksi kasvu puristus. Tiedot entropia saavuttaa vähintään joka yleensä on nollasta poikkeava, päinvastoin termodynaamisen entropia.

Historia

Se on tutkia Claude Shannonin entropia informaatioteorian, hänen ensimmäinen tehtäväksi sisältyy asetuksen matemaattinen teoria tiedonannossa 1948 ensimmäisellä lause Shannon, tai Shannon lause, lähde koodaus Hän osoitti, että satunnainen tietolähde ei voi edustaa useita bittejä pienempi kuin sen entropia, eli sen autoinformatione Media. Tämä tulos oli implisiittisesti tilastollisen määritelmän entropia John von Neumann, vaikka samaa Von Neumann, kysyttiin sitä Shannon ehkä ainoa keskustelun välillä, ei pitänyt sitä huomionarvoinen. Kuten Shannon muistaa myöhemmin noin seurauksena hän löysi:

Formaali

Entropia lähteistä ilman muistia

Entropia satunnaismuuttujan määritellään odotusarvo satunnaismuuttujan dell'autoinformazione:

Jos määrä arvoja, jotka voivat ottaa on rajallinen niin odotusarvo alennetaan keskimäärin dell'autoinformazione kunkin symbolin painotettu niiden todennäköisyyksillä

Jos sen sijaan se on jatkuva satunnaismuuttuja dell'autoinformazione odotusarvo on laskettava kautta kiinteä:

Entropia jatkuvan satunnaismuuttujan ei jaa kaikkia ominaisuuksia että erillisen muuttujan, esimerkiksi, voit olla negatiivinen.

Pohjan logaritmin alunperin käyttämä Shannon oli luonteva, mutta se on yleisessä käytössä tänään pohja 2, koska sen avulla saada tuloksia selkeämpi, erityisesti arvo entropian saatu mitataan bitteinä, ja voidaan tulkita määrä bittiä tarvitaan keskimäärin tallentaa symbolin lähettämän lähde. On erityisesti koodauksia erikoistunut tässä suhteessa, kuten aritmeettinen koodaus.

Siinä tapauksessa, että joidenkin panos entropian on laskettava raja, varsinkin jos sinulla on taipumus nolla todennäköisyys saat seuraavan tuloksen:

On osoitettu, että entropia diskreetti satunnainen muuttuja, joka voidaan olettaa erilliset arvot on aina suhteessa:

Esittely

Koska,

Entropia lähteistä muistilla

Entropia lähteitä muistilla on kohtuullisen alhaisempi entropia lähde ilman muistia. Itse asiassa, viestit pääsee riippuu jossain määrin kuin aikaisemmin annettujen, mikä tekee niistä paremmin ennustettavissa.

Esimerkiksi ajatella lähde, joka lähettää bittiä musta / valkoinen faksi. On selvää, että yksi bitti valkoista todennäköisesti edeltää toinen vähän valkoista. Saatat mieti sitten ei koodata yhden vähän, mutta tällainen paria bittiä. Kuten aiemmin mainittiin vähän paria samanvärisiä ovat todennäköisesti näy, mikä johtaa alempaan entropian.

Esimerkit

Entropia binary lähde todennäköisyydellä ja on yksinkertaisesti:

Se on siis 1 bitti siinä tapauksessa, että equi-todennäköisyys tuloksia, ja 0 bittiä tapauksessa, jossa lähde on täysin ennustettavissa. Tämä tulos on kohtuullinen, koska ensimmäisessä tapauksessa todetaan, että on välttämätöntä vähän tietoa jokaisen viestin synnyttämä lähde, kun taas toisessa tapauksessa ole tarpeen mitään bittejä koska se tietää etukäteen kaikkien viestien ja sitten lähde on hyödytön.

Ymmärtää läheinen suhde tiedot entropia ja entropia termodynamiikan voimme tehdä seuraavan esimerkin:

Harkita fyysiseen järjestelmään tietyissä olosuhteissa on lämpötila, paine ja tilavuus ja stabiliamone arvo entropian; yhteyteen on mahdollista vahvistaa aste järjestyksen ja siten määrä tietomme. Oletetaan nyt alentaa lämpötilaa vaikuttamatta muut parametrit: nähdä, että sen entropia vähenee aste suurenee ja se meidän tietotason. Äärirajoilla, lämpötilassa lähellä absoluuttista nollapistettä, kaikki molekyylit ovat "melkein" yritys, entropia taipumus minimiin ja järjestys on suurin mahdollinen ja se on korkein varmaa tietoa; Itse asiassa ei ole enää vaihtoehto valita.

Tarkoitus

Yksi odottamattomia käyttötarkoituksia entropia ja pakkausalgoritmit sen pohjalta, on tunnustamista tekstin, molempien salaus, sekä kaavoja.

Entropy ja tiedot

Vuodesta tilastollisen määritelmän entropian termodynamiikan aistii, että tiedot ja tämä on termodynaaminen liittyvät jotenkin. Tämän alan tutkimusten liittyvät uraauurtavaa työtä Claude Shannon alalla informaatioteorian.

Vuonna 1948, Claude Shannon itse asiassa vahvistetaan ainutlaatuisuus lause, entropia informaatioteorian: Määritellään itse asiassa joukko kirjaimia ja numeroita = {,,, ...} p ja määritellään todennäköisyys tarkkailla symboli määritellään itse asiassa H, s, ... s) entropia. Se on täytettävä kolme edellytystä:

  • jos on todennäköisyys p, esiintyminen niin H = 0, s, ... p, 0) = H, p, ... p)
  • tietojärjestelmät riippumaton ja B subadditivity: H & lt; H + H
  • Entropia H on suurimmillaan, kun p = 1 / R

Sitten määritelmä entropia on hyvin päivämäärä ja on ainoa mahdollinen.

Tiedot matemaattisesti ilmaistaan ​​suhteessa

että, käyttämällä emästä 2 logaritmin todennäköisyys P esiintymisen tietyn tapahtuman, se voidaan saada mittausarvo bitteinä. 1 bitti vastaa esimerkiksi saamia tietoja nakata kolikon.

Entropy ilmaistaan ​​Boltzmannin on helppo saada tasa

jonka avulla voidaan ilmaista entropian samassa tiedon yksikkö, eli hieman. Huomaa, miten P samaistuu.

Lopuksi se osoittaa, että seuraava suhde pätee

joka voidaan todeta, koska "lisääntymiseen entropia vastaa menetystä tietoa tietyn järjestelmän, ja päinvastoin".

Hakeminen käsitteitä tietojen ja entropia on erittäin hyödyllinen, sekä tieto- ja viestintätieteiden, kuten termodynamiikan ja luonnontieteiden yleensä. Tarkastellaan esimerkiksi järjestelmää muodostettu kiteisen ionisesta kiinteä: kiinteä faasi ionit miehittää hyvin määritelty kantojen ristikko, ja sitten niiden kanta on helposti tunnistettavissa; järjestelmä on ominaista korkea tiedot ja matala entropia. Syöttäminen vähitellen ennen nestemäisessä olomuodossa ja sitten aeriform, asema yksittäisten ionien enää ole yksiselitteinen vaan pyrkii vaihtelemaan joka on enintään vaihtelua kaasumaisessa tilassa; Siksi tiedot pyrkii laskemaan kun entropia kasvaa jopa maksimiarvo liittyy aeriform vaihe.

  0   0
Edellinen artikkeli Alfredo Chabrolín
Seuraava artikkeli Puerto Rico

Aiheeseen Liittyvät Artikkelit

Kommentit - 0

Ei kommentteja

Lisääkommentti

smile smile smile smile smile smile smile smile
smile smile smile smile smile smile smile smile
smile smile smile smile smile smile smile smile
smile smile smile smile
Merkkiä jäljellä: 3000
captcha