17.05.2021 - Seminarium Instytutowe — godz. 12:00 seminarium on-line,

Łukasz Dębowski (Instytut Podstaw Informatyki PAN) i Tomasz Steifer (Instytut Podstaw​owych Problemów Techniki PAN)

Streszczenie (autorskie):

Przedstawimy elementy teorii kompresji i predykcji uniwersalnej dla procesów stacjonarnych. Rozpoczniemy od prostych przykładów procesów Markowa i ogólniejszych definicji procesów stacjonarnych i ergodycznych. Opowiemy o twierdzeniach Birkhoffa i Azumy, o nierównościach Krafta i Pinskera. Przedyskutujemy parametry procesu takie jak intensywność entropii i nieprzewidywalność. Wytłumaczymy, czemu minimalizacja krosentropii prowadzi do minimalizacji stopy błędu. Skonstruujemy także przykładową uniwersalną miarę prawdopodobieństwa PPM (Prediction by Partial Matching) indukującą kod i predyktor uniwersalny. Wspomnimy o problemie efektywizacji i losowości algorytmicznej. Nie będziemy stronić od wzorów, ale postaramy się przedstawiać intuicje, nie zamiatając pod dywan ograniczeń rozpatrywanej teorii.

19.04.2021 - Seminarium Instytutowe - godz. 12:00 seminarium on-line

Paweł Morawiecki (Instytut Podstaw Informatyki PAN)

Odnośnik do spotkania w MS Teams (nowe okno)

Streszczenie (autorskie):

Organizacja danych do treningu sieci neuronowej (np. klasyfikatora) zwykle odbywa się w następujący sposób. Przykłady ze wszystkich klas mieszane są ze sobą i tworzą mniejsze „paczki” (ang. batch), tak by rozkład przykładów w poszczególnych paczkach był możliwie podobny do rozkładu w całym zbiorze treningowym. Jeśli zrezygnujemy z tego założenia i próbujemy uczyć sieć w bardziej naturalny sposób, sekwencyjnie pokazując kolejne klasy/zadania, okazuje się, że jest to bardzo problematyczne. Taki sposób uczenia nazywany jest „continual learning”. Na seminarium zostanie przedstawiony główny problem, scenariusze, w których badamy to zagadnienie oraz metody, które z mniejszym lub większym sukcesem próbują sobie radzić ze zjawiskiem zapominania w sieciach neuronowych.


© 2021 INSTYTUT PODSTAW INFORMATYKI PAN | Polityka prywatności | Deklaracja dostępności