W standardowych podręcznikach teorii informacji (Cover i Thomas 1991) pojęcie entropii i informacji wzajemnej wprowadza się dla zmiennych dyskretnych. W analizie procesów dyskretnych, czyli nieskończonych ciągów zmiennych dyskretnych, przydatne jest jednak uogólnienie entropii i informacji wzajemnej na przypadek dowolnych zmiennych losowych.

Bliższa analiza tych pojęć wskazuje, że wygodnie jest definiować jest je nie dla zmiennych losowych, lecz dla sigma-ciał generowanych przez te zmienne. W referacie omówię, jak takie uogólnienie skonstruować w przypadku wystarczającym w analizie procesów dyskretnych. Przedstawione ujęcie jest twórczym rozwinięciem podejścia zaproponowanego w pracach Gelfanda, Kołmogorowa i Jagłoma (1956) i Dobruszyna (1959). Pokażę także przykład zastosowania uogólnionej entropii i informacji wzajemnej do rozkładu ergodycznego entropii nadwyżkowej, który ma pewien związek z językiem naturalnym.