Aktualności Instytutu Podstaw Informatyki PAN

Artykuł o metodzie ciągłego uczenia sieci neuronowych przy przy zachowaniu gwarancji niezapominania na konferencji ICML 2022


Paweł Morawiecki z Zakładu Podstaw Informatyki we współpracy z grupą naukowców z Uniwersytetu Jagiellońskiego opublikowali pracę "Continual Learning with Guarantees via Weight Interval Constraints" na konferencji ICML 2022 (International Conference on Machine Learning).

W pracy autorzy zaproponowali nowy rodzaj treningu, który daje pewne gwarancje w uczeniu ciągłym (ang. continual learning) sieci neuronowych. Współczesne metody ciągłego uczenia się skupiają się na efektywnym uczeniu sieci neuronowych ze strumienia danych, jednocześnie redukując negatywny wpływ katastrofalnego zapominania, ale nie dają żadnej solidnej gwarancji, że wydajność sieci nie ulegnie niekontrolowanemu pogorszeniu w czasie.

W pracy pokazano, jak ograniczyć zapominanie poprzez przeformułowanie ciągłego uczenia się modelu jako ciągłego skracania jego przestrzeni parametrów. W tym celu zaproponowano nową metodologię treningu, w której każde zadanie jest reprezentowane przez hiperprostokąt w przestrzeni parametrów, w pełni zawarty w hiperprostokątach poprzednich zadań. Ta formuła redukuje problem NP-trudny z powrotem do czasu wielomianowego, zapewniając jednocześnie odporność na zapominanie. Opublikowana praca może być punktem startowym do dalszych ulepszeń, w których trafność klasyfikacji byłaby lepsza przy zachowania gwarancji niezapominania.

Artykół dostępny jest na stronie Proceedings of Machine Learning Research Volume 162

Rusza rekrutacja do Szkoły Doktorskiej Technologii Informacyjnych i Biomedycznych PAN


20 czerwca rusza rekrutacja do Szkoły Doktorskiej Technologii Informacyjnych i Biomedycznych Instytutów PAN (TIBPAN). TIBPAN prowadzi kształcenie interdyscyplinarne przygotowujące do uzyskania stopnia doktora w następujących dyscyplinach:

  • informatyka techniczna i telekomunikacja,
  • inżynieria biomedyczna,
  • nauki medyczne.

Instytut Podstaw Informatyki PAN w ramach studiów w TIBPAN prowadzi rekrutację w 6 tematach badań doktoranckich:

  1. Badanie segmentacji danych w głębokim uczeniu,
  2. Informacja interakcyjna i jej wykorzystanie w Genome Wide Interaction Studies,
  3. Ku semantycznym miarom zawartości informacyjnej - integracja wiedzy z grafu linków i semistrukturalnej informacji tekstowej,
  4. Learning to rank w modelowaniu różnicowym i medycynie spersonalizowanej,
  5. Określenie źródła zmienności ekspresji genów w populacjach komórek – analiza zależności między sygnałami epigenetycznymi a trójwymiarową strukturą chromatyny,
  6. Weryfikacja socjotechnicznych modeli systemów wieloagentowych i protokołów elektronicznego głosowania.

Więcej na ten temat na stronach:
https://ipipan.waw.pl/studia/szkola-doktorska-tib-pan
http://tib.ippt.pan.pl

Termin nadsyłania zgłoszeń na adres Instytutu Podstawowych Problemów Techniki PAN mija 24 czerwca 2022 r.

Nagroda im. Profesora Zdzisława Pawlaka za Wybitną Monografię z Zakresu Informatyki dla Łukasza Dębowskiego


Information Theory Meets Power LawsDyplom Nagroda im. Pawlaka

Monografia pt. Information Theory Meets Power Laws: Stochastic Processes and Language Models autorstwa dra hab. Łukasza Dębowskiego, prof. IPIPAN została uhonorowana Nagrodą za Wybitną Monografię z Zakresu Informatyki, przyznaną przez Komitet Informatyki Polskiej Akademii Nauk w pierwszej edycji konkursu im. Profesora Zdzisława Pawlaka.

Monografia dotyczy matematycznych podstaw statystycznego modelowania języka. Statystyczny model języka to rozkład prawdopodobieństwa na ciągach liter, który aproksymuje proces tworzenia tekstów przez ludzi. Modele takie - jak na przykład modele GPT-{2,3} oparte na głębokich sieciach neuronowych - są obecnie podstawowymi modelami w przetwarzaniu języka naturalnego, np. w rozpoznawaniu mowy i maszynowym tłumaczeniu.

Monografia analizuje statystyczne modele języka oczami matematyka - za pomocą aparatu teorii informacji i teorii procesów stochastycznych. Punktem wyjścia są rozmaite empiryczne prawa potęgowe spełniane przez teksty w języku naturalnym. Celem jest zrozumienie, dlaczego prawa te są spełnione, oraz skonstruowanie prostych przykładów stacjonarnych procesów stochastycznych, które spełniają te prawa. Świadom czynionych idealizacji autor zakłada, że postęp na obu tych polach może pomóc w dalszym ulepszaniu praktycznych statystycznych modeli języka.

Książka pisana była przede wszystkim z myślą o zainteresowaniu matematyków i studentów matematyki podstawowymi problemami statystycznego modelowania języka. Równolegle autor postanowił przedstawić sposób probabilistycznego matematycznego myślenia o języku naukowcom zajmującym się sztuczną inteligencją, lingwistyką komputerową i kwantytatywną oraz fizyką układów złożonych. W związku z tym pierwszy rozdział nakreśla główne tematy książki czytelnikom o mniejszym przygotowaniu matematycznym.

Przełomowe technologie teleinformatyczne – konferencja 11 maja w CN Kopernik


Podczas konferencji „Przełomowe technologie teleinformatyczne” – zaplanowanej na 11 maja w godz. 9:30-14:30 w CN Kopernik – zostaną zaprezentowane najważniejsze aspekty technologiczne, które będą miały wpływ na naszą przyszłość w aspekcie gospodarczym, geopolitycznym i społecznym. Wybitni naukowcy, przedstawiciele firm i instytucji państwowych omówią kwestie związane z nowoczesnymi metodami wytwarzania oprogramowania, kryptografią kwantową, bezpieczeństwem usług chmurowych oraz Internetem rzeczy i sieciami 5G w standardzie Open RAN. Udziału w konferencji organizowanej z okazji Światowego Dnia Społeczeństwa Informacyjnego jest bezpłatny (konieczna jest wcześniejsza rejestracja przez formularz dostępny na stronie https://sdsi.pl/konferencja/#rejestracja).

Rozwój najnowszych trendów – Internetu rzeczy (IoT), Internetu zachowań (IoB), sztucznej inteligencji (AI) czy też rozproszonych mechanizmów przetwarzania (DC) – staje się możliwy jedynie przy odpowiednim wsparciu inżynierii oprogramowania. Dlatego na początku konferencji zostaną zaprezentowane metody i techniki tworzenia nowoczesnego oprogramowania oraz niezbędne do tego kompetencje, bardzo poszukiwane na dzisiejszym rynku pracy.
Zastosowanie Internetu rzeczy – do produkcji przemysłowej, ale także do zarządzania przestrzenią publiczną – zostaną zgłębione w ramach osobnego bloku konferencyjnego. Kluczowe z punktów widzenia szerokiej implementacji tych systemów jest zapewnienie efektywnej i bezpiecznej komunikacji pomiędzy nimi.
Dwa pozostałe bloki tematyczne dotyczyć będą niezmiernie istotnych – z punktu widzenia geopolityki, ale także strategii firm – kwestii bezpieczeństwa. Omówione zostaną aspekty cyberbezpieczeństwa w coraz bardziej popularnych usługach chmurowych. Zostaną także przedstawione szanse i zagrożenia, które niesie kryptografia kwantowa – wykorzystywana zarówno do tworzenia zabezpieczeń, jak i ich łamania.

Instytut Podstaw Informatyki Polskiej Akademii Nauk objął Patronatem Instytucjonalnym obchody Światowego Dnia Społeczeństwa Informacyjnego, których kulminacyjnym punktem będzie konferencja „Przełomowe technologie teleinformatyczne”.

Kategorie składniowe członów w konstrukcjach współrzędnie złożonych w j. polskim - artykuł w Language


Artykuł "Coordination of Unlike Grammatical Cases (and Unlike Categories)" autorstwa prof. Adama Przepiórkowskiego z Zespołu Inżynierii Lingwistycznej został przyjęty do publikacji w Language, najbardziej prestiżowym czasopiśmie lingwistycznym.

Artykuł – oparty przede wszystkim na danych z języka polskiego – pokazuje, że w konstrukcjach współrzędnie złożonych („Bart i Lisa”, „pracuje w elektrowni lub siedzi w barze”) poszczególne człony nie muszą mieć ani tej samej kategorii składniowej (rzeczownik, przymiotnik itd.; por. „w Springfield lub gdzieś indziej” – koordynacja frazy przyimkowej i przysłówkowej), ani tego samego przypadka gramatycznego (mianownik, biernik itd.; por. „późnym wieczorem lub następnego poranka” – koordynacja narzędnika i dopełniacza). Artykuł pokazuje także, jakie mechanizmy teoretyczne pozwalają modelować taką koordynację niejednorodną w czterech ważnych teoriach lingwistycznych: Lexical Functional Grammar, Categorial Grammar, Head-driven Phrase Structure Grammar oraz Minimalist Program.

Artykuł ukaże się w Language w numerze grudniowym 2022 lub marcowym 2023 roku. Obecnie dostepny jest pod adresem https://ling.auf.net/lingbuzz/006492.


© 2021 INSTYTUT PODSTAW INFORMATYKI PAN | Polityka prywatności | Deklaracja dostępności