Jak Ubisoft chce odmienić gry? Tak ma wyglądać w przyszłości sztuczna inteligencja NPC [WYWIAD]

Dzięki uprzejmości Ubisoftu skontaktowaliśmy się z Xavierem Manzanaresem (R&D director & producer), Virginie Mosser (narrative director) i Mélanie Lopez Malet (senior data scientist), żeby dowiedzieć się więcej o wyzwaniach i perspektywach na przyszłość.

Paweł Kicman: Jak długo pracujecie nad NEO NPC? Jak wygląda historia powstania tego narzędzia?

Xavier Manzanares: Od samego początku chcieliśmy sprawdzić, jak generatywna AI pozwoli nam tworzyć dynamiczniejsze, mocniej zarysowane i bardziej immersyjne interakcje między enpecami a graczami oraz innymi enpecami. Pragnęliśmy też dowiedzieć się więcej o tym, jak z owej technologii mogliby skorzystać animatorzy, dyrektorzy narracji czy GPP (gameplay programmerzy – dop. red.), jakie nowe możliwości by im zapewniła oraz jakie nowe funkcje należałoby stworzyć w zespole, np. data scientist. Z modelami generatywnymi pracujemy już od lat, ale ta pełna integracja między produkcją a uczeniem maszynowym trwa zaledwie rok!

Jakie są największe wyzwania w pracy z generatywną AI?

XM: W demie NEO NPC chcieliśmy sprawdzić, jak nasze zespoły mogą wykorzystać generatywną AI jako podstawowy element rozgrywki, żeby zapewnić graczom ciekawsze, bardziej immersyjne doznanie. Zintegrowanie tak skomplikowanej i nieprzewidywalnej technologii rzeczywiście wiąże się z pewnymi wyzwaniami i wciąż musimy się jeszcze sporo nauczyć.

Odeszliśmy od oskryptowanego środowiska na rzecz „kontrolowanej nieprzewidywalności”, żeby mieć pewność, że enpece będą udzielali spójnych odpowiedzi. To znaczy, że choć dajemy graczom pełną swobodę w interakcji, to musimy też w jakiś sposób nadać temu doznaniu pewne ramy, aby osoby grające czuły, że za rozmową z enpecem stoi jakaś konkretna intencja. Dialog musi nie tylko sprawiać wrażenie naturalnego, ale też mieć sens w kontekście historii i rozgrywki.

Jeśli chodzi o generowanie animacji w czasie rzeczywistym, musieliśmy się upewnić, że nasi enpece będą wiarygodni, zróżnicowani i zniuansowani. Jako że nie możemy przewidzieć, co dokładnie powie dana postać, musimy polegać na generowanej na bieżąco synchronizacji głosu z ustami (lip sync). Jednocześnie chcemy zachować kontrolę nad tym, jak enpece będą się poruszać. Dlatego połączyliśmy technologię audio2face z sesjami mocap z prawdziwymi aktorami. Połączenie tych dwóch podejść – nowatorskiego i klasycznego – jest trudne, ale dzięki temu bardzo dużo się uczymy.

Wersja testowa NEO NPC.

Virginie Mosser: Od strony narracji pracowaliśmy nad koncepcją „duszy” i „mózgu”, starając się przesunąć granicę w zakresie sposobu opowiadania historii w grach wideo. Kiedy masz do czynienia z liniową strukturą i skończoną liczbą wyborów, możesz kontrolować ton i tempo narracji. Żeby mieć pewność, że enpece w NEO są wiarygodni i spójni pod względem osobowości, a ich styl wypowiedzi i struktura narracji są przestrzegane, współpracujemy blisko z zespołem odpowiedzialnym za uczenie maszynowe. Przeprowadziliśmy do tej pory sporo testów z graczami, aby lepiej zrozumieć, co sprawia, że interakcje z postaciami niezależnymi działają, i jak te postacie zaprojektować, żeby można było stworzyć z nimi prawdziwą więź.

Mélanie Lopez Malet: Musieliśmy przeorganizować trochę proces głównego zespołu, żeby włączyć do niego technologię data science i uczenie maszynowe. Zazwyczaj jako ekipa od data science pomagamy, kiedy trzeba. W przypadku NEO NPC nasza wiedza i umiejętność dzielenia się nią bezpośrednio wpłynęły na podejmowane decyzje dotyczące designu i procesu kreatywnego. Ta technologia korzysta z możliwości oferowanych przez generatywną AI, lecz jest też przez nie ograniczona. Podczas naszego panelu na GDC (Game Developers Conference – dop. red.) mówiliśmy o tym, że kształtowanie emocji było dla nas wyzwaniem. Musieliśmy na poziomie technicznym podjąć decyzje dotyczące ich wykrywania, które pasowałyby do „emocjonalnej matrycy” stworzonej na potrzeby danej produkcji.

Czy trudno znaleźć równowagę pomiędzy czymś, co będzie miało sens od strony narracyjnej, i czymś, co da zarówno osobom grającym, jak i enpecom odpowiednio dużo swobody? Nie boicie się, że stracicie kontrolę nad opowiadaną historią, kiedy w grę wchodzi tak wiele różnych możliwości generowanych przez AI?

VM: Tworzenie NPC NEO zmieniło nasze podejście do pracy nad scenariuszem. Musieliśmy przejść z pisania w pełni oskryptowanych dialogów na tworzenie spójnych i bogatych życiorysów postaci, tak, aby ich odpowiedzi miały sens w kontekście szerszej historii. Poza napisaniem fabuły trzeba nakarmić duże modele językowe danymi po to, żeby w każdej możliwej sytuacji dialogowej postacie zachowywały swój charakter, styl wypowiedzi i reagowały na to, co się do nich mówi.

Żeby to osiągnąć, musimy polegać na różnych systemach pomocniczych, choćby klasycznych, opartych na prostych zasadach, czy malutkich modelach uczenia maszynowego. LLM to tylko jeden z elementów całej układanki! Największym wyzwaniem było jednak zaakceptowanie, że jako scenarzyści i scenarzystki musimy wycofać się o krok i pozwolić enpecom improwizować. Koniec końców chodzi o doznanie graczy i pozwalanie im na budowanie własnych historii i relacji z postaciami niezależnymi. Może się nawet okazać, że odkryją coś, czego o nich wcześniej nie wiedzieli!

Improwizacja enpeców w świecie AC mogłaby znacząco zdynamizować grę.

Ale to nie tak, że tylko stworzycie życiorys enpeca, zakodujecie go i gotowe. Na pewno musicie pracować nad kolejnymi iteracjami i upewnić się, że dana postać nie wychodzi ze swojej roli. To wszystko wygląda na kupę roboty dla testerów. W którym momencie macie pewność, że to już jest to i możecie przejść dalej?

XM: Świetne pytanie. Testowanie rzeczywiście okazało się sporym wyzwaniem. Oczywiście mamy policzalne wskaźniki tego, czy model działa dobrze, ale tak naprawdę to, na czym nam zależy, to coś, co nazywamy „czuciem gry”. Jak zmierzyć immersję i wiarygodność postaci? Naszemu projektowi bliżej czasem do badania interakcji na drodze człowiek-komputer i nasz zespół badawczy bardzo nam pomógł w zrozumieniu, jak to doznanie postrzegają gracze.

Innym wyzwaniem jest to, że charakter postaci niezależnej może niekiedy kłócić się z rozgrywką. Wcześniej, w scenie ustalania strategii, mieliśmy niezwykle wrogą, sarkastyczną i trudną w interakcji Iron. Komunikacja z nią okazała się dla graczy zbyt frustrująca, bo mieli wrażenie, że ich pomysły w ogóle nie są brane pod uwagę. Jako że gracze odkrywają nową mechanikę, nie wydaje się fair im to utrudniać. Dlatego zmieniliśmy charakter postaci tak, żeby była bardziej wspierająca i dzięki temu pozwoliła testerom na więcej.

Jeśli dobrze rozumiem, NEO to projekt odpowiedzialny za generowanie dialogów. A co z kontrolowaniem innych zachowań enpeców, jak ucieczka, walka czy chowanie się, i uwzględnianiem przy tym wcześniejszych i obecnych wyborów osób grających? Czy coś takiego będzie kiedyś możliwe?

XM: Badamy dopiero wierzchołek góry lodowej. Istnieje kilka wartych zgłębienia technologii, w których gracz wpływa na świat: UGC (user generated content, czyli zawartość tworzona przez użytkownika – dop. red.), questy, fabuła, towarzysze generowani przez algorytmy itd. Wyobrażamy sobie, że enpece NEO będą rozdawać misje, pomagać w trenowaniu czy działać jako kompani, dzięki czemu okażą się świetnym dodatkiem do każdego rodzaju gry. Musielibyśmy sprawdzić, jak można by dodać funkcje motoryczne bez zaburzania innych i żeby to miało sens dla rozgrywki. Jeśli w grze to gracz kontroluje enpeców albo są jego wsparciem, mogłoby to być interesujące. Ale jeżeli tylko oferują questy, reagowanie na zachowania gracza mogłoby okazać się zbędne i wprowadzić zamieszanie.

A jak wyglądałyby rozmowy ze złolami z Far Cry'ów, gdyby opierały się na generatywnym AI?

Przed NEO jeszcze długa droga, zanim stanie się w pełni operacyjne. Jak wygląda ten proces i czego możemy się spodziewać po pierwszych grach, w których ta technologia zostanie wykorzystana?

XM: Jak na razie NEO NPC jest jeszcze w fazie rozwoju. Wraz postępami w pracy będziemy ulepszać prototyp i dzielić się tym, co stworzyliśmy, z innymi zespołami wewnątrz firmy. W ich decyzji pozostanie, czy włączenie NEO do ich projektu będzie miało sens.

Wyobrażam sobie, że gracze mogą chcieć „zepsuć” grę, zadając enpecom dziwne pytania albo robiąc wszystko na opak. Jak planujecie ograniczyć takie ryzyko?

XM: Zespół od narracji wykonał kawał roboty, opracowując postacie niezależne tak, by zapewnić spójność w ich odpowiedziach. Przeprowadziliśmy też sporo testów, w których część graczy próbowała przekroczyć granice NEO NPC, i ciekawie było zobaczyć, jak postacie reagują i dostosowują się do sytuacji. Jeśli zauważyliśmy, że jakaś odpowiedź wykraczała poza przyjęte lore czy określony zakres, dostosowywaliśmy odpowiednio arkusz postaci. Pracowaliśmy również nad wprowadzeniem zabezpieczeń, aby enpece nie zbaczali z kursu. Jest to część iteracyjnego procesu tworzenia skomplikowanych postaci, nad którym pracowaliśmy z Inworld AI.

To jeden z podstawowych problemów tworzenia gier: Czy pozwolę graczom na okazywanie niechęci do współpracy? W jakim stopniu? Na razie podjęliśmy decyzję, że pozwolimy testerom mówić, co tylko zechcą, i będziemy pracować nad tym, jak postacie niezależne na to reagują i w jaki sposób pomagają im wrócić do sedna rozmowy. Mogą np. się wkurzyć i zażądać, żeby gracz był milszy. Możemy sobie też wyobrazić, że będą przerywać wypowiedzi! To zarówno technologiczne, jak i projektowe zagadnienie, nad którym intensywnie pracujemy.

Używanie generatywnej AI wywołuje sporo zarówno ekscytacji, jak i krytyki. Jak radzicie sobie z etycznymi i prawnymi aspektami tej technologii, szczególnie że wciąż nie mamy tu jasnej sytuacji?

XM: Naszą przewodnią zasadą w zakresie wykorzystania AI do tworzenia gier jest to, że ma służyć developerom i wspomagać ich, a nie samo dzieło. Artyści, scenarzyści czy programiści zawsze będą w centrum procesu twórczego. Naszym zadaniem jest wspieranie naszych zespołów poprzez testowanie nowych możliwości i metod pracy, zachowywanie otwartego podejścia do wszystkich tematów związanych z tą technologią. Współpracujemy blisko z zespołami D&I (diversity & inclusion – dop. red.) i prawnym, szkolimy pracowników z zakresu etyki, żeby mieć pewność, że podejmujemy świadome decyzje. Nawet przy naszych najlepszych staraniach musimy ostrożnie podchodzić do wdrażania tej technologii. Dlatego jest to tylko projekt badawczo-rozwojowy.