Informacja to pojęcie o wielu definicjach w różnych dziedzinach. Zasadniczo mamy dwa podstawowe punkty widzenia na informację. Pierwszy, który można nazwać obiektywnym i wywodzi się z fizyki i matematyki, gdzie informacja oznacza pewną własność fizyczną lub strukturalną obiektów, i drugi, subiektywny (kogniwistyczny), gdzie informacją jest to, co umysł jest w stanie przetworzyć i wykorzystać do własnych celów.
  • Informacja obiektywna
W teorii informacji Shannona, informacja jest też mierzona jako prawdopodobieństwo zajścia zdarzenia. Zdarzenia mniej prawdopodobne dają więcej informacji. Dokładny wzór to:
I = − log2(1 / p), gdzie:
I = liczba bitów informacji (ilość informacji),
p - prawdopodobieństwo zajścia zdarzenia

W informatyce podstawowa jednostka informacji to bit, jest to ilość informacji potrzebna do zakodowania, które z dwóch równie prawdopodobnych zdarzeń alternatywnych zaszło. Bit odpowiada ilości informacji zawartej w odpowiedzi na pytanie, na które można odpowiedzieć tak lub nie. Wartości bitu przyjęło się oznaczać cyframi dwójkowymi 0 i 1. Mogą istnieć ułamkowe ilości informacji - np. w zajściu zdarzenia, którego szansa wynosiła 90% zawiera się 0.152 bitów. Własność ta jest wykorzystywana w niektórych algorytmach kompresji, takich jak kodowanie arytmetyczne. To podejście pomija znaczenie (semantykę), jakie niesie komunikat, a skupia się jedynie na jego składni (syntaktyce).
Source: Wiki