Seminaria ogólnoinstytutowe:

Głębokie sieci neuronowe (DNN) w ostatnich kilku latach stały się narzędziem, które dla wielu problemów w przetwarzaniu obrazu i dźwięku dają najlepsze rozwiązania. Również w przetwarzaniu języka naturalnego można mówić o rewolucji i zupełnie nowych podejściach do problemów takich, jak tłumaczenie czy reprezentacja słów. Prezentacja ta ma posłużyć wyrobieniu sobie dobrych intuicji związanych z DNN i funkcjonowaniem podstawowych architektur tych sieci. Omówię i zasugeruję również narzędzia i materiały źródłowe, które mogą pomóc w dalszym zgłębianiu tego zagadnienia i samodzielnych eksperymentach.

Pomimo ciągłego rozwoju eksperymentalnych metod wyznaczania struktur białek, wśród których przoduje krystalografia rentgenowska i spektroskopia magnetycznego rezonansu jądrowego, istnieje ogromna dysproporcja między ilością znanych sekwencji białek, a rozwiązanych struktur i ciągle się ona zwiększa. Z tego powodu konieczny jest rozwój metod teoretycznych, komputerowych umożliwiających rutynowe przewidywanie struktury białek z dużą dokładnością, niezbędną do przeprowadzania analiz biologicznych. Obecnie jest to intensywnie rozwijana gałąź nauki, które obejmuje zarówno metody bioinformatyczne, bazujące na danych dostępnych w bazach sekwencji, struktur białek i genów je kodujących, jak i metody oparte o fizykę oddziaływań, wykorzystujące m.in. pola siłowe oraz odnoszące największe sukcesy metody mieszane. Tematykę tą ze szczególnym uwzględnieniem pola siłowego UNRES, w rozwoju którego uczestniczyłam, postaram się Państwu przybliżyć w trakcie prezentacji.

Słownik walencyjny języka polskiego Walenty przeznaczony jest do wykorzystania przez narzędzia przetwarzania języka naturalnego, przede wszystkim parsery, i dlatego posiada w pełni sformalizowaną reprezentację informacji walencyjnej.
W trakcie seminarium zostanie omówione pojęcie walencji. Przede wszystkim skupię się na pokazaniu języka reprezentacji walencji w tym słowniku wraz z przykładami ilustrującymi, jakie zjawiska językowe są w dany sposób zapisywane. Główny temat stanowi poziom składniowy słownika, lecz w miarę możliwości postaram się też powiedzieć o jego poziomie semantycznym.

Maksymalne powtórzenie w tekście to maksymalna długość powtarzającego się podsłowa. Ta prosta statystyka jest przedmiotem zainteresowania probabilistów od roku 1970 i informatyków od roku 1999. Maksymalne powtórzenie można obliczyć w czasie liniowym w długości tekstu i, jak pokażę w moim referacie, z tempa wzrostu maksymalnego powtórzenia można wnioskować o intensywności entropii Renyiego ewentualnego procesu stochastycznego odpowiedzialnego za produkcję tekstów. Tezę tę zilustruję na przykładzie tekstów w języku naturalnym. Maksymalne powtórzenie w tekstach w języku naturalnym rośnie w przybliżeniu jak sześcian logarytmu długości tekstu. Z tej prostej obserwacji empirycznej wynika między innymi, że proces generowania tekstów w języku naturalnym ma zerową intensywność warunkowej entropii kolizji i nie może być ukrytym procesem Markowa, czyli nie zawiera się w klasie modeli powszechnie używanych w lingwistyce komputerowej. Skonstruuję alternatywne procesy stochastyczne, procesy RHA (random hierarchical association), dla których maksymalne powtórzenie rośnie jak w języku naturalnym. Modele te cechują się jednak zerową intensywnością entropii Shannona i z tego powodu nie mogą być dobrymi modelami języka. Problem ulepszenia statystycznych modeli języka stosowanych w lingwistyce komputerowej pozostaje zatem otwarty.