Czy(m) mierzyć sztukę?

Jeśli coś istnieje, to istnieje w jakiejś ilości.¹
Edward Thorndike

Cokolwiek istnieje w jakiejś ilości, może być mierzone. ²
William A. McCall

Wprowadzenie

Doświadczamy obecnie trzeciej i być może ostatecznej rewolucji technologii VR. Dynamiczny rozwój technologii (komputerowej, a w konsekwencji VR) doprowadził w końcu do jej upowszechnienia³. Zanurzenie w cyfrowym środowisku przestało być zarezerwowane dla specjalistów w laboratoriach. Urządzenia umożliwiające korzystanie z aplikacji VR, których liczba rośnie lawinowo, trafiły do „przeciętnych” użytkowników podobnie jak niegdyś komputery PC. Kiedy pojawiły się pierwsze prototypy HMD⁴, czyli w latach 60. XX wieku, komputery dysponowały zbyt małą mocą obliczeniową, by generować użyteczne środowiska wirtualne, a ponadto dostępne były jedynie dla naukowców i wojskowych. Można uznać, że tamta rzeczywistość wirtualna miała charakter eksperymentu, którego wyniki rozbudzały apetyt na przyszłość i wyznaczały kierunek dalszych poszukiwań. Gdy w VRLAB IP PAN⁵ zaczynaliśmy badania CVR⁶, w Polsce dopiero zaczynały powstawać pierwsze doświadczenia tego typu. Teraz jest ich bardzo wiele. Stało się tak po części za sprawą wspomnianego już rozwoju technologii, ale także rozmaitych inicjatyw, które ułatwiły twórcom działanie. Poszukują oni nowego paradygmatu dla doświadczeń VR. Niektórzy chcą to robić systematycznie, z zastosowaniem metody naukowej, inni zdają się na intuicję. Ta sama technologia, która umożliwiła kręcenie stereoskopowych filmów 360° i prowadzenie doświadczeń interaktywnych w generowanych komputerowo środowiskach, daje też możliwość dokładnego analizowania reakcji uczestników na przedstawiane treści. Wykorzystanie tych informacji zależy od bliskiej, transdyscyplinarnej współpracy twórców i badaczy VR.

Współpraca VRLAB IP PAN z twórcami to jeden z filarów laboratorium. Jego podstawowym celem jest badanie zachowania uczestników doświadczeń VR (ich emocji, uwagi, obecności przestrzennej i współobecności, lokomocji itp.), ale badania prowadzone wspólnie z filmowcami dodały aspekt stosowany. Podstawowe badania psychologiczne pozwoliły wytworzyć metody badawcze (na przykład rejestracji dynamiki ruchu poszczególnych części ciała, reakcji fizjologicznych takich jak przewodnictwo elektryczne skóry czy akcja serca, śledzenia ruchu gałek ocznych, ale także metody kwestionariuszowe) oraz metody zintegrowanej wielopoziomowej analizy danych. Narzędzia te zostały dostosowane do eksploracyjnego charakteru badań CVR.

Specyfika i ograniczenia psychofizjologicznego mierzenia sztuki

Badania oddziaływania dzieł sztuki na zachowanie ludzi mają w psychologii długą tradycję, w toku ich rozwoju wypracowano też wiele różnych podejść. Początki psychologii naukowej to badania dzieł sztuki Wilhelma Wundta z drugiej połowy XIX wieku. Już wtedy pojawia się wątek sztuki, choćby w badaniach wrażeń zmysłowych⁷. Sztuka zajmuje centralne miejsce w badaniach Gustava Theodora Fechnera, skupionych na relacji bodziec–wrażenie, będącej przedmiotem psychofizyki⁸. Edward B. Titchener pisał, że mieszanie informacji, które zachodzi w percepcji, „może być tak zupełne, że daje nam złudzenie jakościowej prostoty. Ale systematyczna obserwacja zawsze pokazuje, że możemy zająć się oddzielnymi składnikami”⁹. Jak bardzo są one oddzielne? Proces percepcji dzieła sztuki zaczyna się już w momencie recepcji bodźca, gdy układ nerwowy odbiorcy zaczyna poszukiwać znaczenia w tym, co do niego dociera. Już na tym etapie możemy obserwować proste efekty uwagowe i reakcje afektywne, które kształtują finalne doznanie. Na przeciwległym krańcu kontinuum złożoności jest podejście, w którym analizujemy proces tworzenia się wielowymiarowej relacji z dziełem.

Matthew Pelowski i jego współpracownicy¹⁰ dokonali przeglądu empirycznych i psychologicznych podejść do badania kontaktu ze sztuką, zwracając szczególną uwagę na poznawcze modele przetwarzania informacji. Niemal wszystkie opisywane przez nich modele uwzględniają emocje i oceny jako główny wynik kontaktu ze sztuką. Istotnymi elementami są też poszukiwanie znaczenia dzieła, odnoszenie wrażeń do pamięci, a nawet dopasowanie dzieła do Ja. Pośród odroczonych skutków pojawiają się samoregulacja, dobrostan i zdrowie. Robert L. Solso wyjaśnia:

Jest tyle sposobów patrzenia na sztukę, ilu jest jej odbiorców. Ta ogromna różnorodność jest jedną z oznak, że my, ludzie, jesteśmy bardzo wyróżniającą się kreatywną grupą. Nie oznacza to jednak, że nie ma uniwersalnych zasad percepcji i poznania, które obowiązują nas wszystkich, gdy spostrzegamy i podziwiamy sztukę¹¹.

Czy ma rację? Owszem, ale jedynie w kwestii istnienia uniwersalnych zasad. Sposoby patrzenia i odbiorców da się sklasyfikować, wyróżniając skończoną liczbę typów. Czy to źle, że Solso w niektórych kwestiach się myli? Nie, gdyż powinno nas interesować to, co można zgeneralizować. Przypadki odstające od średniej nie dostarczają tak cennych informacji. Mogą stanowić impuls do stawiania nowych pytań i podejmowania prób wyjaśnienia, ale w gruncie rzeczy nie da się ich odróżnić od zdarzeń losowych, błędów pomiaru itp. W naszym podejściu koncentrujemy się na reakcjach odbiorcy w czasie kontaktu z dziełem sztuki i bezpośrednio po nim. Naszym celem jest rejestracja uświadamianych i nieuświadamianych reakcji w czasie rzeczywistym podczas kontaktu oraz sumaryczne reakcje tuż po kontakcie z dziełem. Dzięki temu mamy pewność, że zaobserwowana zmienność jest wynikiem oddziaływania danego dzieła lub jego elementów. Rozumiemy potrzebę badania długoterminowego wpływu sztuki, lecz przypomina ono nieco krytykowane przez Dariusza Dolińskiego podejście nazywane przezeń koncepcją „człowieka w zamrażarce”¹². Psycholog nie może traktować uczestnika badania tak, jakby był on po kontakcie z dziełem sztuki wkładany do zamrażarki i wyjmowany dopiero po pewnym czasie, by mieć szansę przypomnieć sobie ów kontakt, skojarzyć go z informacjami ze swojej pamięci i odpowiedzieć na pytania z kwestionariusza. „Prawdziwe życie nie przypomina zamrażarki”, pisze Doliński; w czasie odroczenia może dojść do niezliczonych zdarzeń mających wpływ na finalną reakcję. Sprawia to, że tracimy kontrolę nad zmiennymi – nie wiemy, co faktycznie jest, a co nie jest efektem kontaktu ze sztuką. Przestaje to zatem być interesujące. Podsumowując, nasze podejście wyróżnia stosowanie metody naukowej i kontrola zmiennych zakłócających dzięki zastosowaniu nowych technologii zbierania i analizy danych. Dzięki temu wyniki naszych badań da się niezależnie zweryfikować.

Badania własne

W badaniach psychologicznych zwykle dąży się do maksymalnego uproszczenia sytuacji badawczej, w miarę możliwości bez szkody dla realizmu psychologicznego¹³. Naukowca nie zadziwi badanie polegające na mierzeniu tempa naciskania klawisza po pojawieniu się litery na ekranie, w zależności od tego, czy było poprzedzone pojawieniem się punktu fiksacyjnego. Profesor Piotr Francuz stwierdził, że w świecie wirtualnym zbyt wiele się dzieje, żeby można było go rzetelnie badać¹⁴. Doświadczenia z badań w Laboratorium Rzeczywistości Wirtualnej i Psychofizjologii Instytutu Psychologii PAN pokazują jednak, że można i należy próbować. Przyjrzyjmy się kilku przykładom z badań dotyczących zachowania, uwagi i emocji użytkowników doświadczeń wirtualnych. Część z nich pochodzi z badania środowisk, w których mamy do czynienia z liniową opowieścią. Inne pochodzą z interaktywnych, przestrzennych doświadczeń, które można swobodnie eksplorować w dowolnym kierunku i dowolnie długo. Celowo nie zamierzam szczegółowo opisywać tych doświadczeń, aby nie odciągać uwagi czytelników od metod i możliwego zastosowania wyników. Treść doświadczeń nie jest teraz ważna, zwróćmy raczej uwagę na ich ogólny charakter.

Metoda

Poniżej syntetycznie przedstawię metody zastosowane w kilku różnych eksperymentach prowadzonych w toku współpracy VRLAB IP PAN z artystami, filmowcami, twórcami, filmoznawcami i popularyzatorami sztuki. Nie będzie to raport z serii badań, gdyż przekracza to ramy tego opracowania. Każdy z przywoływanych wyników jest przykładem ukazującym różne oblicza naszego podejścia do mierzenia wpływu sztuki. Opisanie każdego z nich szczegółowo wymagałoby osobnego wstępu teoretycznego i szerszych analiz, dyskutowania hipotez, które w każdym z tych badań były nieco inne. Nie to jest tym razem moim celem. Pokazuję za to, jakie korzyści świat nauki może przynieść sztuce i jej twórcom. Dyskutuję również z autorami, którzy kwestionują możliwość współpracy nauki i sztuki.

Uczestnicy. W badaniach, z których pochodzą przykłady wyników, uczestniczyło od 40 do 160 dorosłych Polaków (z jednym wyjątkiem, gdzie uczestnikami byli nastolatkowie – uczniowie ostatnich klas szkół podstawowych i pierwszych klas szkół średnich). Zwykle stosowano arbitralny podział na twórców i odbiorców sztuki (na podstawie deklaracji uczestników). Grupy odbiorców były poddawane przesiewowi: do uczestnictwa zapraszano tylko osoby, które interesują się i przynajmniej od czasu do czasu uczestniczą w wydarzeniach kulturalnych. Chodziło o wyeliminowanie sytuacji, w której dzieła (zwykle filmu VR) doświadcza ktoś, kto w normalnej sytuacji nie zrobiłby tego, gdyż nie interesuje się lub wręcz pogardza sztuką. Badanie takich specjalnych grup (na przykład ludzi, którzy po raz pierwszy w życiu stykają się ze sztuką) jest samo w sobie ciekawe, ale tym razem wykraczało poza nasze cele badawcze. Uczestnictwo wymienionych grup zostało zaakceptowane przez odnośną komisję etyczną. Zastosowano również specjalny protokół mający na celu zmniejszenie ryzyka zakażenia COVID-19.

Materiały i aparatura. Środowiska wirtualne były wyświetlane na HMD HTC Vive Pro Eye lub HTC VIVE z fabryczną modyfikacją SMI. W przypadku doświadczeń 3DoF¹⁵ używano zestawu przewodowego, zaś w przypadku doświadczeń 6DoF¹⁶ zestawu bezprzewodowego HTC. Zastosowano komputery PC z procesorem Intel I9 2,8 GHz lub Intel(R) Xeon(R) E5-1630 3.70 GHz z Gigabyte Geforce RTX 3070 lub nVidia GeForce GTX 1080 Ti oraz 64-bitowy system operacyjny Windows 10 Pro. W celu zbierania danych psychofizjologicznych użyto wzmacniaczy BIONOMADIX podłączonych do urządzenia BIOPAC MP150 i oprogramowania ACQKNOWLEDGE lub wzmacniacza EEG NEUROSCAN i oprogramowania CURRY. Do analizy danych psychofizjologicznych użyto oprogramowania MATLAB (EEGLAB i LEDALAB) oraz R z odpowiednimi pakietami.

Zastosowano standardowe metody kwestionariuszowe do mierzenia zmiennych psychologicznych (na przykład FCZ-KT, STAI stan) oraz specjalnie skonstruowane kwestionariusze dopasowane do celów konkretnego badania. Stosowano również pytania otwarte i ustrukturyzowane wywiady.

Procedura. Uczestnicy byli zapraszani do laboratorium, gdzie zapoznawali się z procedurą i podpisywali formularz świadomej zgody. Następnie przechodzili przez procedurę treningową, pomiaru bazowego i doświadczenie VR. Na koniec wypełniali kilka kwestionariuszy, uczestniczyli w wywiadzie oraz procedurze debriefingu.

Stanowisko badawcze. Fizyczny obszaru ruchu VR w laboratorium został dostosowany do badanych środowisk. Fizyczne wymiary laboratorium to 4,8 na 8,9 metra, wobec czego bezpieczne pole ruchu wynosiło 4 na 4 metry dla doświadczeń 6DoF. W przypadku doświadczeń 3DoF badania dokonywano w tej samej przestrzeni, jednak uczestnicy siedzieli na specjalnym obrotowym fotelu przystosowanym do badań EEG. Jedynym wyjątkiem było jedno doświadczenie 3DoF, które stanowiło warunek kontrolny do doświadczenia 6DoF – w tym wypadku uczestnicy stali i obracali się w miejscu.

WYNIKI

Doświadczenie przestrzeni w swobodnej eksploracji

Istnieje coraz więcej wirtualnych środowisk rozrywkowych, szkoleniowych i badawczych, w których uczestnicy mogą swobodnie eksplorować ograniczoną lub (niemal) nieograniczoną przestrzeń. Analiza sposobu poruszania się w przestrzeni symulacji może nam pozwolić wnioskować o wpływie, jaki jej warunki wywierają na użytkowników. Możemy na przykład zaobserwować reakcje dążenia do pozytywnie ocenianych obiektów i unikanie obiektów ocenianych negatywnie. Można też wnioskować, czy otoczenie sprawia, że użytkownicy czują się zrelaksowani, czy zestresowani. Na rysunku 1 pokazano trasy swobodnej eksploracji interaktywnego środowiska wirtualnego, do którego wprowadzono (w losowej kolejności) bodźce pozytywne lub negatywne, realistyczne lub symboliczne w formie. Użytkownicy mogli dowolnie poruszać się w przestrzeni o wymiarach 4×4 m. Wpływ bodźców zakłócających był kontrolowany, środowiska w poszczególnych warunkach były bardzo podobne, choć nieidentyczne. Różniły się systematycznie jedynie wprowadzanymi w poszczególnych warunkach bodźcami.

Porównanie powierzchni, po której poruszali się użytkownicy, sugeruje – zgodnie z przewidywaniami – że byli oni bardziej zrelaksowani w otoczeniu bodźców pozytywnych i realistycznych, bardziej zaś stresowali się wśród bodźców negatywnych i abstrakcyjnych. Bodźce pozytywne sprawiały, że eksplorowali średnio większą powierzchnię niż w przypadku tych negatywnych.

Reakcja na postać w środowisku wirtualnym

Co się wydarzy, jeśli w środowisku wirtualnym umieścimy jakąś postać? Może to być na przykład wirtualny agent, zwykle o humanoidalnej formie, z którym użytkownik może wchodzić w interakcje i który sam może próbować inicjować kontakt. Wirtualni aktanci coraz częściej stanowią element interfejsu środowisk wirtualnych, ale mogą też pełnić inne funkcje, na przykład odgrywać rolę w opowieści snutej w przestrzeni wirtualnej. Humanoidalne postacie są z ewolucyjnego punktu widzenia bodźcami potencjalnie bardzo istotnymi dla użytkowników, powinny więc wywoływać silne reakcje, takie jakie w zwykłej sytuacji wywołują inni ludzie w naszym otoczeniu (na przykład zachowywanie dystansu, nieprzekraczanie strefy osobistej i intymnej, powstrzymanie się od dotykania). Z drugiej strony jeśli użytkownicy – z dowolnego powodu – nie będą traktować wirtualnych agentów jak innych ludzi, może to prowadzić do odmiennego zachowania wobec nich (na przykład nienaturalnego, nadmiernego skracania dystansu, dotykania, popychania czy prób zniszczenia). Na rysunku 2 przedstawiono porównanie najkrótszych dystansów, jakie młodsi i starsi użytkownicy przyjmowali wobec wirtualnego agenta w środowisku wirtualnym¹⁷.

Starsi użytkownicy przyjmowali średnio większy dystans względem wirtualnego agenta niż młodsi. Żadna z grup nie próbowała go dotykać – obie zachowały dystans i nie przekraczały jego osobistej sfery. Różnice w dystansie mogą wynikać z kulturowych różnic międzypokoleniowych. Jest to istotna wskazówka w przypadku tworzenia środowisk i doświadczeń dla osób starszych.

Uwaga wzrokowa w filmowych doświadczeniach VR

Filmowe doświadczenia VR (cinematic VR, CVR) stanowią specyficzny rodzaj środowisk wirtualnych. Z jednej strony, w porównaniu z generowanymi komputerowo środowiskami 3D, są uboższe, gdyż nie pozwalają na swobodne poruszanie się w przedstawionym świecie, interakcję z obiektami i postaciami ani wpływanie na stan tego świata. Zwykle doświadczamy w nich jakiejś liniowo opowiadanej historii, która jest mniej więcej taka sama dla wszystkich uczestników, trwa tak samo długo, a poszczególne zdarzenia zachodzą w tych samych momentach. Oczywiście należy pamiętać o tym, że dzięki (zwykle) sferycznej projekcji i centralnemu umieszczeniu uczestnika doświadczenia poszczególnych osób mogą się bardzo od siebie różnić (czasem zgodnie z intencją twórcy, a innym razem nie). Z drugiej strony mogą być znacznie bogatsze w tym sensie, że oferują póki co trudny do osiągnięcia w środowiskach generowanych poziom fotorealizmu, który pozwala osiągnąć wysoki poziom iluzji obecności przestrzennej i współobecności¹⁸.

Skuteczne opowiadanie historii w CVR zależy od tego, czy w kluczowych momentach uczestnicy są zwróceni we właściwym kierunku, dzięki czemu mają fizyczną możliwość śledzenia tego, co widać na sferze. Oczywiście duże znaczenie ma to, na co patrzą. Współcześnie dostępne HMD nawet w wersjach komercyjnych coraz częściej umożliwiają zbieranie danych o ruchu gałek ocznych. Dane te można na różne sposoby analizować, a nawet zwrócić wyniki analizy z powrotem do środowiska i zmodyfikować jego wygląd lub działanie. Ważnym wnioskiem z takiej analizy może być stwierdzenie, czy uczestnicy poświęcają pożądanym elementom środowiska uwagę, czy też nie. Dobrym wskaźnikiem zbieżności uwagi wzrokowej jest współczynnik konwergencji¹⁹. Przyjmuje on wysokie wartości, gdy wszyscy widzowie patrzą na ten sam fragment obrazu, niskie zaś wtedy, gdy ich spojrzenia są rozproszone. Szczególnie wartościowych informacji dostarcza w przypadku filmu VR, gdzie niska konwergencja może oznaczać, że widzowie są odwróceni w różne strony.

Rysunek 3 przedstawia surowy zapis fiksacji wzrokowych zarejestrowanych w czasie oglądania pewnego filmu sferycznego. Jak widać, większość spojrzeń pada w okolicach „równika” sfery. Można też zauważyć, że uczestnicy nieproporcjonalnie częściej patrzą na zdarzenia dziejące się na jednej z „półkul”. Na górze, na dole ani za plecami widza nie dzieje się nic ciekawego. Wygląda na to, że twórca nakręcił w zasadzie płaski film przy pomocy kamery 360°. Wszystko, co interesujące, dzieje się po jednej stronie sfery. Jeśli uczestnik na początku przypadkiem skieruje się we właściwą stronę, to przez całe doświadczenie może się nie odwracać, patrzeć jak na kinowy ekran. Jeśli zaś rozpocznie doświadczenie w martwym punkcie, trzeba będzie użyć jakichś zabiegów, żeby skłonić go do poszukiwania akcji gdzie indziej. Na szczęście widzowie wykazują się w takiej sytuacji dużą aktywnością i samodzielnie poszukują interesujących rejonów (zob. rys. 4).

Górna część rysunku 4 przedstawia sytuację tuż po cięciu. Rozpoczyna się nowa scena, a uczestnicy poszukują akcji dookoła siebie (fiksacje są rozproszone niemal równomiernie wzdłuż „równika” sfery). Wzrok pada na różne obiekty – w tym wypadku na osoby znajdujące się dookoła uczestnika. Po kilku sekundach znajdują miejsce akcji i skupiają się na nim. W tym przypadku grupowy współczynnik konwergencji na początku przyjmuje niskie wartości i dopiero z czasem rośnie. Dolna część rysunku przedstawia sytuację, w której scena trwa już od kilku sekund. Akcja toczy się w jednym miejscu, a widzowie są w większości zwróceni w jej kierunku. Ich uwaga pozostaje skupiona od początku do końca. Większość spojrzeń pada na ten obszar na sferze. Grupowy współczynnik konwergencji utrzymuje się cały czas na wysokim poziomie. Jak osiągnąć taki wynik? Jakich środków użyć, by skutecznie przejść od zachowania widocznego na górze rysunku 4 do zachowania widocznego na dole? To można i należy sprawdzać w toku systematycznego, kontrolowanego i powtarzalnego badania.

Interesującym wariantem współczynnika konwergencji jest wskaźnik indywidualny. Przyjmuje on wysokie wartości, gdy w danym interwale (zwykle 5, 10 lub 15 sekund) uczestnik patrzy na ten sam fragment obrazu, zaś niskie, gdy jego spojrzenie jest rozproszone. Może on służyć jako składnik wskaźnika uwagi (na przykład w połączeniu ze zmianami rytmu serca, o czym niżej). Jeśli indywidualny współczynnik konwergencji jest obliczany w czasie rzeczywistym, można dzięki niemu identyfikować momenty, w których uczestnik doświadczenia jest rozproszony, i wyemitować jakieś wskazówki, które pomogą mu ponownie podążyć za opowieścią. Może też służyć do identyfikowania międzyosobniczych różnic w odbiorze utworu. Właśnie takie zastosowanie znalazł on w niedawnych badaniach specyficznych reakcji twórców CVR w porównaniu z kontrolną grupą odbiorców.

Pomiar reakcji fizjologicznych – uwaga i emocje w (C)VR

Aktywność elektryczna skóry (ang. electrodermal activity – EDA, wcześniej określana między innymi jako galvanic skin response – GSR) jest prostą i użyteczną miarą stosowaną w badaniach CVR i wirtualnych środowisk interaktywnych. EDA jest rozumiana jako zapis niespecyficznych zmian przewodnictwa elektrycznego skóry, który zależy od poziomu jej nawilżenia, przez co jest w istocie miarą aktywności gruczołów potowych następującej w wyniku pobudzenia autonomicznego układu nerwowego. EDA może być wskaźnikiem spontanicznej reakcji organizmu na wystąpienie jakiegoś zdarzenia, na przykład wzrostu pobudzenia lub przeżywania emocji w trakcie oglądania filmu.

Rysunek 5 przedstawia typowy zapis EDA jednej osoby, wstępnie przeanalizowany za pomocą programu LedaLab²⁰. Sygnał EDA ma charakterystyczny wygląd – zmienia się dość powoli, co jakiś czas występują szczyty o stromym lewym i łagodnym prawym zboczu. Wynika to z charakteru pobudzenia w wyniku znaczących bodźców – rośnie ono szybko, a opada powoli. Czasami zdarza się, że kolejny bodziec pojawia się, zanim pobudzenie opadnie do wyjściowego poziomu po poprzednim bodźcu. Wtedy przeciętny poziom pobudzenia narasta, inaczej mówiąc: rośnie aktywność toniczna. Pojawiające się co chwilę szczyty to aktywność fazowa. Im więcej pojawia się ich w ciągu kilku sekund po zdarzeniu, tym większy ma ono wpływ na ogólne pobudzenie. Twórcy CVR mogą przyjmować różne strategie sterowania tym bodźcem.

Niektóre zdarzenia w CVR prowadzą do silnego pobudzenia, ponieważ przypominają pierwotne sygnały zagrożenia (na przykład niespodziewany i głośny dźwięk, nagła zmiana światła, ciemność). Umieszczenie takich bodźców w środowisku VR powoduje oczywiście wzrost pobudzenia, ale nie musi się to wiązać bezpośrednio z zamierzoną treścią przekazu. Podwyższona aktywność toniczna może jednak ułatwić wywołanie reakcji na zdarzenia będące istotną częścią opowieści. Może też ją utrudnić, jeśli twórca przesadzi z ilością pierwotnego pobudzenia i aktywność toniczna osiągnie wartości szczytowe.

Znacznie ciekawsze są sytuacje, kiedy pobudzenie wywołuje opowieść, nie zaś bodźce pierwotne. Mogą to być na przykład: pojawienie się postaci, interakcja między nimi, wypowiadane słowa czy muzyka. Na rysunku 6 przedstawiono przykładową reakcję widzów na sytuację, w której bohaterka opowieści cierpi.

EDA nie jest jedynym prostym pomiarem niosącym wartościowe informacje dla twórców VR. Elektrokardiogram (EKG), czyli miara zmian potencjałów w trakcie depolaryzacji i repolaryzacji komórek mięśnia sercowego, daje znacznie większe możliwości, gdyż z jednego sygnału można wyprowadzić wiele różnych wskaźników. Przykładem może być przyspieszenie rytmu serca (ang. heart rate, HR) – akceleracja HR może być rozumiana jako wzrost pobudzenia związanego z przetwarzaniem danego bodźca (podobnie jak zwiększenie EDA). Deceleracja HR może się wiązać z intensyfikacją uwagi przy wystąpieniu danego bodźca.

Pojawienie się w filmie przedmiotów lub osób, które kojarzą się negatywnie, prowadzi do wzrostu pobudzenia obserwowanego jako przyspieszenie HR. Z kolei pojawienie się sytuacji lub elementów znaczących wywołuje skupienie uwagi, o którym wnioskujemy z deceleracji HR. Chwilowe zmiany rytmu serca pokazano na rysunku 7. Widzimy chwilowe przyspieszenie o 4 uderzenia na minutę w reakcji na bodziec negatywny oraz spowolnienie, gdy na ekranie pojawia się człowiek – główny bohater – po tym, jak z całkowitej ciemności przechodzimy do jasnej sceny oraz gdy słychać głośny dźwięk wydawany przez pewien istotny dla opowieści przedmiot.

Dyskusja i kierunki przyszłych badań

Niedawno obchodziliśmy dwustulecie berlińskiej formierni gipsu (Berliner Gipsformerei), najstarszej wciąż działającej jednostki należącej do tamtejszych muzeów państwowych. Od 1819 roku wykonywane są tam formy i odlewy gipsowe najprzeróżniejszych dzieł sztuki. Większość z nich to kopie niewielkich obiektów. Chyba najsławniejszym jest popiersie Nefertiti, kopiowane w formierni od 1913 roku w setkach egzemplarzy²¹. Zdarzały się też większe obiekty tego typu, pośród których znajduje się na przykład kilkumetrowy odlew steli wykonanej przez Majów²². Gipsowe kopie trafiały do muzeów lub podróżowały od miasta do miasta w formie wystaw, dzięki czemu publiczność mogła doświadczyć egzotycznych dzieł sztuki niemal bez ruszania się z miejsca. Powstał nawet plan zawiązania sojuszu muzeów w celu masowej wymiany takich gipsowych kopii. Dziś analogicznie stosuje się technologię VR: wspomnianą już stelę Majów można podziwiać dzięki skanom 3D. Ściślej mówiąc, podziwiać możemy skan gipsowego odlewu wykonanego pod koniec XIX wieku.

Dzięki skanom i modelom możemy dziś podziwiać sztukę w nowym kontekście. VR znosi niemal wszystkie ograniczenia. Użytkownik może dowolnie manipulować przedmiotem: przybliżać go, powiększać i dotykać²³, a do tego robić to dosłownie wszędzie i o dowolnej porze. Zmieniła się też skala, fotogrametria umożliwia bowiem skanowanie jeszcze większych obiektów i przestrzeni. Co więcej, demokratyzacja dostępu do technologii sprawiła, że nie trzeba być rzemieślnikiem, artystą ani naukowcem zatrudnionym przez muzeum, aby tworzyć tego typu doświadczenia i je udostępniać. Dlatego możemy zwiedzać grobowiec Nefertari²⁴ lub Göbekli Tepe²⁵. Oba te doświadczenia pozwalają zagłębić się w historię ukazanych miejsc. Dla jednych będzie to podróż czysto techniczna – obejrzą odtworzone z laserową precyzją wnętrza, a w nich malowidła, hieroglify i płaskorzeźby; dzięki interaktywnym elementom dowiedzą się czegoś o budowie, mitologii itp. Inni podążą za opowieścią miejsca. Ten drugi przypadek uważam za znacznie ciekawszy.

Znamy treść opowieści grobowca Nefertari. W porównaniu z Göbekli Tepe jest to zabytek stosunkowo młody – ma zaledwie 3276 lat. Inskrypcje prowadzą użytkowników w doświadczenie ostatniej drogi Nefertari, opowiadają o jej życiu, a także o miłości, jaka połączyła ją z Ramzesem II. Dzięki temu odbiorcy mogą doświadczyć jej wyjątkowości poprzez wyjątkowość miejsca, które odwiedzili.

Göbekli Tepe to znacznie starsze miejsce – wiek znaleziska (a przynajmniej najstarszej części, która została dotąd odkryta) szacowany jest przez archeologów na 11000 lat. Nie wiemy, do czego służyło to miejsce ani jakie znaczenie mają znalezione tam płaskorzeźby. Nie wiemy też, dlaczego jego twórcy (i czy aby na pewno oni?) postanowili je zasypać (ukryć? a może zniszczyć?). Użytkownicy muszą sami odkryć opowieść zamkniętą w kamiennych kręgach i postaciach, ponieważ nie jest ona napisana hieroglifami ani innym pismem, nie narzuca się wprost. Forma Göbekli Tepe sugeruje jednak istnienie jakiejś opowieści. Ustawione w kręgu postacie (być może przedstawiające ludzi) oraz płaskorzeźby zwierząt i figury geometryczne przypominają styl, który pojawił się bliżej naszych czasów w świątyniach. Różnica polega na tym, że w kościele dość łatwo nam znaleźć właściwą ścieżkę: ogromne obrazy na ścianach wyraźnie pokazują początek historii i prowadzą przez opowieść (i przestrzeń). Weźmy jako przykład obrazy lub rzeźby przedstawiające drogę krzyżową – są one zwykle ponumerowane. Tymczasem Göbekli Tepe nie ułatwia zadania. Użytkownicy nie wiedzą, czy iść w lewo, czy w prawo, ale podobnie jak idzie się od jednej do drugiej stacji drogi krzyżowej, mogą podążać od lisa do żurawia lub od żurawia do lisa i odtwarzać jedną z co najmniej dwóch możliwych opowieści.

Wirtualne przestrzenie grobowca Nefertari i Göbekli Tepe mają wpisane w siebie scenariusze. Pierwsza z nich jest, mimo interaktywności, w zasadzie jednokierunkowa i przypomina liniowy film, choć umożliwia dokładniejszą eksplorację lub pomijanie niektórych wątków. Druga jest wielokierunkowa. Takie są też potencjalne historie, które powstają w kontakcie z nimi. Rodzi się pytanie, czy i jak można ocenić, jaki to ma wpływ na użytkowników. Technologia rzeczywistości wirtualnej daje badaczom unikalne jak dotąd możliwości obserwacji i rejestracji zachowania, zupełnie nieporównywalne z tymi, którymi dysponowaliśmy dotychczas. W przypadku doświadczeń VR mamy do czynienia z całkowitą digitalizacją zachowania. Z milisekundową precyzją rejestrujemy pozycję użytkowników względem wirtualnej przestrzeni, prędkość ruchu, sygnały psychofizjologiczne będące odzwierciedleniem reakcji centralnego i autonomicznego układu nerwowego (na przykład uderzenia serca, aktywność elektryczną skóry, napięcie mięśni, głębokość oddechu) oraz miejsca w przestrzeni, na które pada ich wzrok, a także towarzyszące temu rozszerzenie źrenic. Każda z tych miar ma znaczenie i może być interpretowana osobno lub w kontekście pozostałych. Dzięki ich precyzyjnej rejestracji oraz nowoczesnym metodom analizy możemy wnioskować na przykład o emocjach i uwadze użytkowników. Jeśli uda się to zrobić w czasie rzeczywistym, możemy zwrotnie podać te informacje do środowiska wirtualnego i użyć ich do modyfikacji przedstawianej opowieści.

W tym tekście staraliśmy się pokazać nasze podejście do badania oddziaływania sztuki na odbiorców. We własnych badaniach wykazaliśmy użyteczność istniejących w psychologii metod oceny reakcji emocjonalnych i uwagi w kontekście badania utworów VR, filmów i środowisk interaktywnych. Pokazane metody nie zamykają katalogu dostępnych narzędzi – i chodzi tu zarówno o techniki rejestracji danych, jak i o metody ich analizy. Rodzi to możliwość rozwoju współpracy przedstawicieli nauki i sztuki oraz poszukiwania nowych wyzwań. Pierwszym z ważnych celów jest dostarczenie twórcom narzędzia weryfikacji swoich hipotez na wczesnych etapach powstawania dzieła. Kolejnym może być opracowanie katalogu środków specyficznych dla technologii rzeczywistości wirtualnej. Trzecim – opracowanie metod wykorzystania pomiarów reakcji odbiorców i włączenia ich w dzieło w czasie rzeczywistym. Wymienione kierunki badań nie są oczywiście jedynymi możliwymi, ale na tym etapie wydają się najciekawsze.

Dzięki współpracy nauki i sztuki, zapewniającej wzajemne przenikanie się dyscyplin, mogą powstać ciekawe pytania badawcze, utwory stanowiące materiał badawczy, rzetelne i trafne metody oraz znacząca interpretacja wyników badań. W świecie wirtualnym wiele się dzieje, a nauka daje narzędzia, aby go badać.

Dziękuję współpracownikom VRLAB IP PAN za długie godziny spędzone w laboratorium i przed ekranami komputerów na czyszczeniu i analizie danych. Są to w szczególności: Laura Osęka, Małgorzata Draps, Agata Feledyn oraz stażystki i stażyści, którzy nam pomagali. Dziękuję też Sado Rabaudiemu (WorldViz) i Danielowi Cnotkowskiemu (LIT OPI PIB), bez których to by się nie zaczęło, oraz Pawłowi Kobylińskiemu (LIT OPI PIB), bez którego nie rozwinęłoby się w nowych obszarach.
Publikacja powstała na bazie badań przeprowadzonych jako część projektu „Nowe Formy i Technologie Narracji”. Projekt finansowany w ramach programu Ministra Edukacji i Nauki pod nazwą „Regionalna Inicjatywa Doskonałości” w latach 2019–2023, nr projektu 023/RID/2018/19, kwota finansowania: 11865100 złotych.
Część publikacji oparto na wynikach badań przeprowadzonych w ramach umowy z Narodowym Centrum Kultury Filmowej nr 461/FDE/BSU/2018.
Część wyników pochodzi z badań przeprowadzonych w ramach #eeagrants NCN IDEALAB, grant nr 2019/35/J/HS6/03166.
Badania przeprowadzono dzięki dotacji MNISW na dużą infrastrukturę badawczą, wniosek nr IA/SP/0165/2017.