Institute seminar:

Referat dotyczy metod selekcji zmiennych dla klasyfikacji wieloetykietowej (KW) w sytuacji danych o dużym wymiarze. W ostatnich latach problem KW wzbudził bardzo duże zainteresowanie w wielu dziedzinach, takich, jak automatyczna anotacja obrazów (przewidywanie, jakie obiekty znajdują się na zdjęciu w oparciu o pewne cechy obrazu cyfrowego), kategoryzacja tekstów (przewidywanie, jakich tematów dotyczy tekst w oparciu o cechy używanego języka), marketing (przewidywanie kupowanych produktów w oparciu o pewne cechy klientów) i medycyna (przewidywanie, które choroby występują jednocześnie, na podstawie pewnych cech pacjentów). Jednym z podstawowych zadań w KW jest umiejętne wykorzystanie zależności między etykietami, co pozwala osiągnąć znacznie lepsze rezultaty niż "naiwna" metoda, w której budujemy oddzielnie klasyfikator dla każdej etykiety (nie biorąc pod uwagę zależności między odpowiedziami). W ostatnich latach opracowano szereg metod umożliwiających predykcję dla wielu etykiet jednocześnie. Większość metod bazuje na wykorzystaniu zależności między etykietami. Brakuje jednak wyników (zarówno teoretycznych, jak i empirycznych), które pokazują, jaki jest wpływ wyboru zmiennych na działanie klasyfikatorów. W referacie przedstawię metodę która umożliwia jednoczesną predykcję etykiet i selekcję istotnych zmiennych. Metoda ta wykorzystuje łańcuchy klasyfikatorów i sieć elastyczną.

Rozwój technologii teleinformatycznych sprawia, że możemy utonąć w powodzi danych. Ale możemy też z tej powodzi starać się wydobywać nową i wartościową wiedzę. Na przykład niezwykle rozwinęły się biotechnologie pozwalające na zbieranie masowych danych o żywych komórkach. Wyzwanie, jakie się za tym od początku kryło, brało się stąd, że typowe dane w takich zastosowaniach biologicznych charakteryzowały się małą liczbą obserwacji (obiektów) – np. rzędu dziesiątków lub setek – z których każda opisana była tysiącami lub większą liczbą atrybutów (cech). Dobrymi i ważnymi przykładami problemów tego typu były dane mikromacierzowe, dotyczące tzw. ekspresji genów, lub dane proteomiczne. Z czasem badania tego typu przyniosły większe liczby obserwacji, ale też jeszcze większe liczby atrybutów opisujących te obserwacje. W ramach wykładu, w jego zasadniczej części, przedstawiony zostanie stan badań w obszarze uczenia pod nadzorem w opisanej sytuacji.

W drugiej, znacznie krótszej, części wykładu spojrzymy ze statystycznej – i w jakiejś mierze filozoficznej – perspektywy na problem szerszy, a mianowicie analizy zbiorów danych zwanych po angielsku „Big Data”.

Na wstępie prezentacji zarysuję historię Big Data i jej składowych technologii. Podejmę próbę określenia pojęcia Big Data nieco różnego od klasycznej definicji "4V". Propozycja ta zostanie zilustrowana krótkim przeglądem danych wydających się spełniać wszelkie definicje Big Data, a dotyczących eksploatacji mórz i oceanów. Przedstawię bieżące prace nad metodami analizy tych danych (z naciskiem na metody maszynowego uczenia się ), prowadzone obecnie w Institute for Big Data Analytics, Dalhousie University. Pod koniec prezentacji zarysuję i podam pod dyskusję kilka zagadnień stanowiących – w mojej opinii - zasadnicze wyzwania, zarówno techniczne jak i społeczne, stojące przed Big Data.

Staszek Matwin jest Profesorem oraz “Canada Research Chair” w Faculty of Computer Science, Dalhousie University, Halifaks, Kanada. Dyrektor Institute for Big Data Analytics, pierwszej tego typu placówki naukowej w Kanadzie. Były prezes Canadian Artificial Intelligence Society. Członek Rady Naukowej Polskiego Stowarzyszenia Sztucznej Inteligencjii, od pięciu lat prowadzi konkurs PSSI na najlepszą polską dysertację doktorską z tej dziedziny. Posiada m. in. tytuł ECCAI Fellow. Jego zainteresowania badawcze obejmują tematykę analizy danych tekstowych, eksploracji danych, oraz prywatności danych.
Dalhousie University Halifax, N.S.

W standardowych podręcznikach teorii informacji (Cover i Thomas 1991) pojęcie entropii i informacji wzajemnej wprowadza się dla zmiennych dyskretnych. W analizie procesów dyskretnych, czyli nieskończonych ciągów zmiennych dyskretnych, przydatne jest jednak uogólnienie entropii i informacji wzajemnej na przypadek dowolnych zmiennych losowych.

Bliższa analiza tych pojęć wskazuje, że wygodnie jest definiować jest je nie dla zmiennych losowych, lecz dla sigma-ciał generowanych przez te zmienne. W referacie omówię, jak takie uogólnienie skonstruować w przypadku wystarczającym w analizie procesów dyskretnych. Przedstawione ujęcie jest twórczym rozwinięciem podejścia zaproponowanego w pracach Gelfanda, Kołmogorowa i Jagłoma (1956) i Dobruszyna (1959). Pokażę także przykład zastosowania uogólnionej entropii i informacji wzajemnej do rozkładu ergodycznego entropii nadwyżkowej, który ma pewien związek z językiem naturalnym.