W Moskwie uśmiechają się na 0.53

0
0

Co jest takiego ciekawego w autoportretach selfies z Instagramu, że zainteresował się pan tym zjawiskiem? Razem z zespołem badawczym przeanalizował pan tysiące tego typu zdjęć.
W 2005 r. dotarło do mnie, że prawdziwa eksplozja mediów tworzonych przez użytkowników oraz cyfryzacja dziedzictwa kulturowego tworzy nowe, wyjątkowe możliwości dla badania kultury i społeczeństwa. Możemy skorzystać z metod, jakie daje nam do dyspozycji wizualizacja danych czy sztuka mediów, by odkryć wzory w ogromnej liczbie obrazów i nagrań. Da nam to nowe spojrzenie na historię i pozwoli prześledzić rozwój globalnych kultur cyfrowych, dzięki szczegółowej obserwacji zmian i zależności. To było na kilka lat, zanim popularne stały się narzędzia do monitorowania mediów społecznościowych, obecnie wykorzystywane przez wszystkie duże firmy. Podejście takie nazwałem „analityką kulturową”. W 2007 r. założyłem zespół badawczy, z którym do dziś przeanalizowaliśmy dziesiątki zbiorów obrazów, od 4525 okładek magazynu “Time” z lat 1923-2009 po milion stron mangi, japońskich komiksów.
W 2013 r. zakończyliśmy nasz pierwszy większy projekt związany z obrazami z mediów społecznościowych – „Phototrails” (http://phototrails.net). Polegał on na przeanalizowaniu 2,3 miliona zdjęć opublikowanych na Instagramie z 13 miast na świecie. Począwszy od „Phototrails” zaczęliśmy wykorzystywać zdjęcia z Instagramu jako źródło informacji na temat współczesnego życia setek tysięcy ludzi.
Przy kolejnym projekcie, „Selfiecity” (http://selfiecity.net), postanowiliśmy pójść o krok dalej i skupić się na mniejszym zestawie zdjęć tego samego gatunku. Zdecydowaliśmy się zbadać współczesne autoportrety – zdjęcia selfie z portali społecznościowych. Zaczęliśmy od ponad 650 tys. zdjęć z sześciu miast opublikowanych na Instagramie w jednym tygodniu, a ostatecznie wybraliśmy 3200 zdjęć selfie i przeanalizowaliśmy je za pomocą metod ręcznych i komputerowych. Następnie stworzyliśmy interaktywną aplikację z wizualizacją pozwalającą osobom odwiedzającym naszą stronę porównać zdjęcia, używając różnych filtrów, np. według miasta (Nowy Jork, Sao Paulo, Berlin, Moskwa, Bangkok), pozycji (spojrzenie do góry, w dół, przed siebie) czy odchylenia (w lewo, prawo).
Podczas gdy w „Phototrails” mieliśmy do czynienia z dużą liczbą danych na bardzo abstrakcyjnym poziomie, „Selfiecity” skupia się na jednostkach, ich historii i kontekście. Nie jest to zamknięty, ostatecznie zakończony projekt – zamiast tego ma być punktem startowym dla dogłębnej analizy wizualnych mediów społecznościowych i źródłem pomysłów na ciekawe zastosowania zdjęć publikowanych przez użytkowników.

Jaka jest specyfika zdjęć selfie?
Odkryliśmy znaczne różnice kulturowe pomiędzy miastami, którym się przyglądaliśmy. Dla przykładu, choć większość osób ze zdjęć selfie jest dość młoda (szacowany średni wiek to 23,7 roku), zachodzą pewne różnice. Osoby z Bangkoku są najmłodsze (21 lat), a z Nowego Jorku najstarsze (25,3 roku). Z przeprowadzonej przez nas komputerowej analizy twarzy wyniknęło, że na zdjęciach z Bangkoku i Sao Paulo ludzie często się uśmiechają (osiągając punktację odpowiednio 0,68 i 0,64), podczas gdy w Moskwie robią to najrzadziej (jedynie 0,53 na skali).
Co istotne, komputer nie określa jedynie, czy osoba na zdjęciu uśmiecha się czy nie – zamiast tego przydziela punktację pomiędzy 0 a 1 w skali ciągłej. Tak więc wykorzystanie komputerów do analizy obrazów pozwala na dokonanie subtelniejszego porównania. Człowiek nie byłby w stanie ocenić uśmiechu na każdej fotografii w ciągłej skali z mnóstwem opcji (np. 0,00; 0.01; 0,02 itd.).
Podczas pracy z danymi i obrazami powiązanymi z mediami społecznościowymi zadaję sobie pytanie: czego dokładnie uczymy się, analizując ten materiał? Czy daje on nam wgląd w prawdziwe zachowania społeczne i kulturowe, stanowi odbicie stylu życia określonej grupy ludzi, którzy korzystają z platform mobilnych oraz określonych usług sieciowych, czy też jest jedynie produktem mobilnych aplikacji? Innymi słowy – czy media społecznościowe to „przekaz” czy „przekaźnik”?
Fenomen zdjęć selfie okazuje się bardzo przydatny przy próbie odpowiedzi na te pytania. Z jednej strony, bez ułatwień technologicznych takich jak Instagram i aparat w telefonie skierowany w stronę użytkownika, nie mielibyśmy mody na selfies. Patrząc na pozy, kompozycje i obramowanie w tysiącach selfies, widać wyraźnie, że w dużym stopniu odzwierciedlają one ograniczenia fizyczne i sprzętowe narzucone przy robieniu tego rodzaju zdjęć.

Pańskie projekty wizualizacyjne są atrakcyjne, ale czy to nie jest zbyt daleko idąca redukcja?
To pytanie można by zadać w odniesieniu do każdych komputerowych badań artefaktów kultury. Pytanie, co oznacza przedstawianie ich w formie danych? Łatwiej może odpowiedzieć, gdy mamy do czynienia ze statycznymi artefaktami z przeszłości. Jednak jak analizować interaktywne procesy medialne, np. ewolucję stron internetowych czy rozgrywki gier komputerowych?
Na to drugie pytanie zwrócono uwagę w dziedzinie badań nad interakcją człowieka z komputerem, jednak przeważnie jedynie z pragmatycznego punktu widzenia – czyli tego, jak sprawić, by interfejsy były wydajniejsze i łatwiejsze w użyciu. Co jednak, jeśli spojrzymy na interaktywne media z perspektywy nauk humanistycznych? Jak możemy „odczytać” (tzn. przeanalizować i zinterpretować) interaktywne doświadczenia? Czym są „dane” w przypadku interaktywnych mediów? Czy to kod programu w akcji, zapisy aktywności użytkownika (np. kliknięcia i ruchy kursora), nagranie filmowe ekranu użytkownika czy też zarejestrowana za pomocą elektroencefalografii lub rezonansu magnetycznego aktywność mózgu? Może wszystkie z powyższych, a może coś innego?
Zapożyczając termin z dziedziny lingwistyki: być może powinniśmy analizować nie tylko język: statyczny kod programów i systemów komputerowych, ale też mowę: interakcje, za które oprogramowanie odpowiada jedynie częściowo.
Wystarczy pomyśleć o obecnej pozycji humanistyki cyfrowej. W ciągu ostatnich kilku lat rosnąca liczba badaczy w tej dziedzinie zaczęła korzystać z narzędzi komputerowych, by analizować duże zbiory statycznych artefaktów kultury w formie cyfrowej. Jednak zwykle trzymają się oni tradycyjnego humanistycznego podejścia – patrzą na obiekty kultury (zamiast na ich interakcje z ludźmi). Zmieniła się skala „danych”, ale nie metoda.
Badania nad kulturą komputerową wymagają całkowicie innej metodologii w humanistyce. Musimy być w stanie zarejestrować i przeanalizować interaktywne doświadczenia, śledząc aktywność pojedynczych użytkowników odwiedzających stronę internetową czy grających w grę komputerową; musimy przebadać różnych graczy, nie ograniczając się do naszego własnego stylu gry; musimy zaobserwować, w jaki sposób osoby odwiedzające instalację interaktywną odkrywają możliwości zaprojektowane przez autora – możliwości, które stają się prawdziwymi wydarzeniami tylko wtedy, kiedy odwiedzający je wykorzystują.

Koncepcja humanistyki cyfrowej jest jednym z kluczowym pojęć pana książki „Język nowych mediów”.
W 2005 r. zorientowałem się, że humanistyka cyfrowa nabierze dużego znaczenia. Do roku 2010 tak właśnie się stało. Wielu ludzi pracujących na tym polu uważa, że ostatecznie korzystanie z badania danych, wizualizacji, mapowania i innych technik komputerowych do analizowania i prezentowania dużych zestawów artefaktów kultury przejdzie do porządku dziennego, a wtedy termin „humanistyka cyfrowa” przestanie być potrzebny.
Jednak obecnie humanistyka cyfrowa jest wciąż czymś nietypowym, a nauki humanistyczne z reguły opierają się ilościowym i systematycznym metodom naukowym. Młodzi ludzie, którzy poszli w kierunku matematyki i nauk ścisłych, przeważnie nie interesują się przedmiotami humanistycznymi, a humanistów nie zajmują komputery i przedmioty ścisłe.

W Polsce humanistyka cyfrowa ma szczególny wymiar, gdyż  jest to forma obrony statusu, ważności i aktualności studiów humanistycznych, gdy zawiesza się możliwość studiowania filozofii na niektórych uczelniach, a z racji niżu demograficznego likwiduje się dofinansowania na kierunki humanistyczne.
To samo dzieje się w wielu innych krajach, w tym USA. Poprzez wiązanie się z naukami ścisłymi i inżynierią, niektórzy ludzie mają nadzieję, że humanistyka stanie się bardziej istotna. Z wyjątkiem kulturoznawstwa, studiów cyfrowych i kilku innych dziedzin, większość badań humanistycznych zwykle skupia się na przeszłości. A kiedy humaniści piszą o współczesnej technokulturze, mają tendencję do lekceważenia wielu zjawisk, na przykład kultury Instagramu, i dużego uogólniania. Wszystko staje się przykładem „późnego kapitalizmu”, „racjonalizacji” czy „pracy kognitywnej”. Takie ogólniki nie mówią za dużo o specyfice naszych czasów – na przykład szczególnej roli algorytmów i tego, jak są one wykorzystywane na portalach społecznościowych.

W jaki sposób narzędzia i wyniki badań z zakresu analityki kulturowej można przekładać na konstruowanie rozwiązań edukacyjnych?
Jednym z głównych celów mojej pracy naukowej jest spopularyzowanie badania danych. W „społeczeństwie dużych danych” umiejętność zbierania, organizowania, analizowania i wizualizacji danych jest podstawową kompetencją. Można ją określić terminem data literacy. Każdy powinien ją posiadać, by zrozumieć społeczeństwo, w którym żyje. Prace mojego zespołu skupiają się popularyzacji obszaru badania zbiorów obrazów i nagrań filmowych, jak i interaktywnych mediów wizualnych.
Początki obliczeniowej analizy obrazów sięgają wczesnych lat 60. XX w. i obecnie jest ona częścią wszystkich urządzeń i programów do obrazowania. Za każdym razem, kiedy robisz zdjęcie telefonem, program analizuje wszystkie informacje wyłapane przez czujnik i dopasowuje wartość pikseli, by nadać jak najlepszy kontrast i kolory. A kiedy nakładasz na zdjęcie filtr, algorytmy znowu pracują, dokonując obliczeń i zmieniając każdy piksel, by uzyskać pożądany efekt. Istnieją tysiące innych zastosowań komputerowej analizy obrazów, od obrazowania medycznego po monitoring.
Jednakże poza osobami zajmującymi się informatyką nikt zwykle nie wie, jak działają algorytmy, lub też że są one wykorzystywane przy rejestrowaniu, edycji, a nawet prostym wyświetlaniu obrazów. W moim laboratorium używamy podstawowych technik analizy obrazów cyfrowych i rozpoznawania obrazów (jak np. algorytmiczna analiza treści obrazów), by móc utworzyć wizualizacje tysięcy, a nawet milionów obrazów. Możemy na przykład automatycznie przeanalizować przeważający kolor w każdym ze zdjęć, a następnie wykorzystać narzędzia do wizualizacji, by pokazać razem wszystkie obrazy automatycznie posortowane na podstawie tych kolorów.
Kiedy więcej zestawów zostaje w ten sposób zwizualizowanych, można porównać zachodzące w nich tendencje. Możemy na przykład dokładniej porównać kolory najczęściej stosowane przez van Gogha w jego obrazach paryskich z późniejszymi obrazami z okresu w Arles lub porównać rozwój Pieta Mondriana oraz Marka Rothko. W wizualizacjach do projektu „Phototrails” porównaliśmy 50 000 próbek obrazów z Bangkoku, Tokio i San Francisco, by zobaczyć, jak wielkie różnice (o ile jakiekolwiek) można znaleźć w kolorach zdjęć z tych miast.
Od roku 2009 dokumentujemy nasze najważniejsze narzędzia programowe do analizy oraz wizualizacji zbiorów obrazów dowolnej wielkości i udostępniamy je za darmo (http://lab.softwarestudies.com/p/software-for-digital-humanities.html). Często wykorzystuję te narzędzia podczas prowadzonych przeze mnie zajęć na uniwersytecie, a inne osoby również używają ich przy własnych projektach. Co więcej, pewien polski profesor regularnie korzysta z nich wraz ze swoimi studentami. Radosław Bomba z Instytutu Kulturoznawstwa UMCS opracował szczegółowy przewodnik w języku polskim po naszych głównych narzędziach do wizualizacji.

Od pierwszego wydania „Języka nowych mediów” minęło trzynaście lat. Patrząc z dzisiejszej perspektywy, co zmieniłby Pan w swoich wcześniejszych teoriach?
„Język nowych mediów” ukończyłem w 1999 r. – piętnaście lat temu. Kluczowym elementem, jaki bym dziś zmienił, jest jedynie sam termin „nowe media”. W 1999 r. media cyfrowe wciąż były czymś odrębnym od fizycznej przestrzeni społecznej i kulturowej, a także reszty przemysłu kulturowego. Tak naprawdę dawniej ludzie mówili o dwóch przestrzeniach – „wirtualnej” i „fizycznej”. Po roku 2000 ten podział zaczął się stopniowo zacierać. Media cyfrowe, sieci komputerowe oraz sprzęt są tak ściśle związane z codziennym życiem miliardów ludzi, jak również z profesjonalnym przemysłem kulturowym, że nie możemy już mówić o „nowych mediach”. Nowy tytuł mojej książki mógłby brzmieć po prostu „Język mediów” – bez „nowych”.

W poprzedniej dekadzie porównywał pan początki internetu do początku kina. Czym jest teraz internet?
Tim Berners-Lee opracował protokoły sieci www w 1989 r. Pierwszą przeglądarkę w trybie graficznym (NCSA Mosaic) wprowadzono w 1993 r. Tak więc dziś sieć www ma dwadzieścia pięć lat, jeśli liczyć od dnia wynalezienia – lub co najmniej 21 lat, jeśli liczyć od narodzin pierwszej przeglądarki graficznej. Sieć się skonwencjonalizowała. Wszystkie popularne zachodnie portale społecznościowe zawierają te same elementy: strony profilowe, możliwość udostępniania multimediów, miejsce na wiadomości, aktualności czy statusy innych użytkowników itd. Miliony stron internetowych wykorzystują taki sam zestaw drobnych technik nawigacyjnych. Oczywiście można by podać inne przykłady tej dojrzałości sieci oraz nawet młodszych technologii sieciowych, takich jak aplikacje mobilne.
Jako że zmieniają się także „stare media” – ludzie eksperymentują z nowymi formatami książek i telewizji, nowymi projektami i technikami budowniczymi w architekturze, nowymi, „inteligentnymi” materiałami w dziedzinie designu itd. – być może powinniśmy przestać myśleć o internecie jako o najbardziej dynamicznej formie technokultury. Pomimo jego ciągłej ewolucji, istnieje tak wiele innych. Oczywiście wszystkie one są ze sobą powiązane, więc możemy je uznać za „technokulturową ekologię” gatunków i zwyczajów, które wspólnie ewoluują – jednak w tempie szybszym niż w przyrodzie (za przykład mogą posłużyć internetowe platformy dziennikarskie i tradycyjne gazety, które wspólnie się rozwijają, wzajemnie na siebie wpływając i wymieniając pomysłami).

ROZMAWIAŁ: MICHAŁ CHUDOLIŃSKI
PRZEKŁAD: EWA LIPIŃSKA
POMOC MERYTORYCZNA: DR MAREK TROSZYŃSKI

Lew Manovich (ur. w 1960 r.) – profesor Uniwersytetu Nowojorskiego, wykłada także w Europejskiej Szkole Wyższej w Szwajcarii. Ekspert w sprawach „digital humanities”, nowych mediów oraz informatyki. Autor przełomowej książki „Język nowych mediów”, ukazującej przejście ze świata Gutenberga do przestrzeni cyfrowej.

Autor: MICHAŁ CHUDOLIŃSKI