Monografia dotyczy matematycznych podstaw statystycznego modelowania języka. Statystyczny model języka to rozkład prawdopodobieństwa na ciągach liter, który aproksymuje proces tworzenia tekstów przez ludzi. Modele takie - jak na przykład modele GPT-{2,3} oparte na głębokich sieciach neuronowych - są obecnie podstawowymi modelami w przetwarzaniu języka naturalnego, np. w rozpoznawaniu mowy i maszynowym tłumaczeniu.
Monografia analizuje statystyczne modele języka oczami matematyka - za pomocą aparatu teorii informacji i teorii procesów stochastycznych. Punktem wyjścia są rozmaite empiryczne prawa potęgowe spełniane przez teksty w języku naturalnym. Celem jest zrozumienie, dlaczego prawa te są spełnione, oraz skonstruowanie prostych przykładów stacjonarnych procesów stochastycznych, które spełniają te prawa. Świadom czynionych idealizacji autor zakłada, że postęp na obu tych polach może pomóc w dalszym ulepszaniu praktycznych statystycznych modeli języka.
Książka pisana była przede wszystkim z myślą o zainteresowaniu matematyków i studentów matematyki podstawowymi problemami statystycznego modelowania języka. Równolegle autor postanowił przedstawić sposób probabilistycznego matematycznego myślenia o języku naukowcom zajmującym się sztuczną inteligencją, lingwistyką komputerową i kwantytatywną oraz fizyką układów złożonych. W związku z tym pierwszy rozdział nakreśla główne tematy książki czytelnikom o mniejszym przygotowaniu matematycznym.
