Aktualności Instytutu Podstaw Informatyki PAN

Nagroda im. Profesora Zdzisława Pawlaka za Wybitną Monografię z Zakresu Informatyki dla Łukasza Dębowskiego


Information Theory Meets Power LawsDyplom Nagroda im. Pawlaka

Monografia pt. Information Theory Meets Power Laws: Stochastic Processes and Language Models autorstwa dra hab. Łukasza Dębowskiego, prof. IPIPAN została uhonorowana Nagrodą za Wybitną Monografię z Zakresu Informatyki, przyznaną przez Komitet Informatyki Polskiej Akademii Nauk w pierwszej edycji konkursu im. Profesora Zdzisława Pawlaka.

Monografia dotyczy matematycznych podstaw statystycznego modelowania języka. Statystyczny model języka to rozkład prawdopodobieństwa na ciągach liter, który aproksymuje proces tworzenia tekstów przez ludzi. Modele takie - jak na przykład modele GPT-{2,3} oparte na głębokich sieciach neuronowych - są obecnie podstawowymi modelami w przetwarzaniu języka naturalnego, np. w rozpoznawaniu mowy i maszynowym tłumaczeniu.

Monografia analizuje statystyczne modele języka oczami matematyka - za pomocą aparatu teorii informacji i teorii procesów stochastycznych. Punktem wyjścia są rozmaite empiryczne prawa potęgowe spełniane przez teksty w języku naturalnym. Celem jest zrozumienie, dlaczego prawa te są spełnione, oraz skonstruowanie prostych przykładów stacjonarnych procesów stochastycznych, które spełniają te prawa. Świadom czynionych idealizacji autor zakłada, że postęp na obu tych polach może pomóc w dalszym ulepszaniu praktycznych statystycznych modeli języka.

Książka pisana była przede wszystkim z myślą o zainteresowaniu matematyków i studentów matematyki podstawowymi problemami statystycznego modelowania języka. Równolegle autor postanowił przedstawić sposób probabilistycznego matematycznego myślenia o języku naukowcom zajmującym się sztuczną inteligencją, lingwistyką komputerową i kwantytatywną oraz fizyką układów złożonych. W związku z tym pierwszy rozdział nakreśla główne tematy książki czytelnikom o mniejszym przygotowaniu matematycznym.


© 2021 INSTYTUT PODSTAW INFORMATYKI PAN | Polityka prywatności | Deklaracja dostępności