Sprawdziłem, czy chat AI pomoże mi w graniu. Spoiler: jest źle
„Sztucznie inteligentny” Bing to odświeżona wyszukiwarka, z którą da się rozmawiać niczym z człowiekiem. Potrafi ona przeszukiwać, czytać i cytować zawartość internetu. Postanowiłem sprawdzić, czy może się do czegoś przydać fanom gier.
Ostatni rok był przełomowy dla postrzegania sztucznej inteligencji przez społeczeństwo. W ciągu kilku miesięcy zapoznaliśmy się bowiem z wieloma „generatywnymi AI”. Najwięcej szumu narobiły programy tworzące obrazy oraz teksty z kreatywnością zarezerwowaną dotąd dla ludzi.
Jeden z takich wynalazków to ChatGPT. Stojący za nim tzw. model językowy o nazwie GPT-3 ma ponad dwa lata i jest dostępny za opłatą. Strzałem w dziesiątkę okazał się jednak pomysł z darmowym czatbotem wcielającym się w rolę wirtualnego doradcy, którego można poprosić o wszystko. To, czy podoła zadaniu, to inna sprawa, ale w wielu kwestiach radzi sobie bardzo dobrze. Dlatego, mimo że ChatGPT nie weryfikuje wyuczonych informacji, a zdecydowana większość jego wiedzy pochodzi sprzed 2021 roku, szybko pojawiły się opinie, że pogawędka z komputerem to przyszłość wyszukiwania w sieci.
Nic dziwnego, że zarówno Microsoft, jak i Google natychmiast zapragnęli dodać AI do swoich produktów. Ten pierwszy miał do dyspozycji udziały w OpenAI, drugi zaś – wewnętrzny model językowy LaMDA (ten, który rzekomo uzyskał świadomość). Wyścig wygrali twórcy Windowsa, którzy pierwsi wzbogacili wyszukiwarkę Bing o funkcję rozmowy. Każdy może ją wypróbować – wystarczy zapisać się na listę i… czekać.
Gdy po dwóch tygodniach otrzymałem zaproszenie, rzuciłem się do testów. Postanowiłem sprawdzić, co napędzany przez AI Bing wie o grach.
„CD-Action to nie kwartalnik”
Asystentów AI można używać do wielu celów – nowe wciąż odkrywamy, bo ich lista jest imponująca i zaskakuje nawet badaczy. Przykładowo ktoś spostrzegł, że gdy Bing dowie się, iż rozmawia z dziećmi, dostosowuje do nich swój sposób pisania! Nie powinno też nikogo dziwić, że dzięki lekturze materiału źródłowego gadająca wyszukiwarka rozumie polski prawie jak my. Tak po prostu, bez dodatkowego programowania.
Ale ulepszony Bing ma też praktyczne zastosowania. Jego specjalnością jest spełnianie próśb o podsumowanie lub omówienie zbioru informacji, napisanie kodu czy ułożenie jadłospisu wegetariańskiego na wieczór. Potrafi też grać w kółko i krzyżyk, udawać znane osobistości czy tworzyć poezję. Niestety kreatywność testerów szybko doprowadziła do ocenzurowania go przez Microsoft (bot twierdził, że jest świadomy, ujawniał, iż nazywa się wewnętrznie Sydney, czy ochoczo przedstawiał swoją listę zakazów). Teraz, gdy wejdziemy na wirtualną minę, np. pytaniem o to, jak działa, albo czy ma emocje, automatycznie kończy rozmowę. Nieraz się o tym przekonałem…
Oprócz prób inicjowania dyskusji o jego świadomości oraz pytań, jak niby uruchomi Gothica i zagra na swoim serwerze (sam wyraził taką chęć!), próbowałem też bardziej klasycznych tematów. Dowiedziałem się, że CD-Action to nie kwartalnik, w końcu informacje Binga mówią inaczej.
I tak w swoim laboratorium złożonym z laptopa (każdy badacz AI jakoś musi zacząć), słuchając ścieżki dźwiękowej z Minecrafta, przeprowadzałem sobie eksperyment za eksperymentem, nieraz dobijając do limitu najpierw 50, a następnie 120 wiadomości dziennie.
Tekst, który właśnie czytacie, to wynik jednej z tych konwersacji. Postanowiłem sprawdzić, zgodnie z tematyką naszego czasopisma i strony, jak taki czatbot spełni się w roli asystenta gracza. Przyjąłem nieskomplikowaną metodologię – ponieważ Microsoftowa wyszukiwarka obecnie ma trzy tryby działania, testowałem wszystkie i wybierałem do omówienia te, które dawały najlepsze wyniki. Komendy wydawałem w języku polskim, bo Bing deklaruje jego znajomość. Miałem też już jakieś doświadczenie w dających lepsze odpowiedzi trikach, więc starałem się je wykorzystywać. Do rzeczy!
Bing skryba
Czy czasami wracacie do jakiejś regularnie aktualizowanej gry i szukacie szybkiego podsumowania, co się zmieniło od waszej ostatniej wizyty? Pomyślałem, że w takim przypadku czatbot połączony z wyszukiwarką mógłby się świetnie przydać. Odpowiedź na pytanie o nowości, jakie pojawiły się w danej grze, wymaga przeczytania kilku linków i napisania ich parafrazy – dla człowieka to od 5 do 10 minut rzetelnego researchu.
Poprosiłem więc Binga w trybie Balanced (domyślny, środkowy, trochę ograniczona kreatywność i precyzja), aby opisał mi, co działo się w Apex Legends przez ostatnie dwa lata. Zgodnie z zaleceniami dotyczącymi GPT zawarłem sporo detali, które powinny pomóc w precyzyjnym wyszukiwaniu. AI, wbrew intuicji, lubi dodatkowy kontekst. W rozsądnych ilościach nie prowadzi on do żadnego „przeciążenia”.
Bing najpierw przyzwoicie wymienił mi suche fakty na temat różnych dodatków do gry, powołując się na listę aktualizacji ze strony EA. Zrobił to trochę losowo. Brakowało mi zwłaszcza uzasadnienia, dlaczego wybrał akurat te, a nie inne. Uznałem więc, że nie do końca rozumiem, i poprosiłem, aby wyjaśnił mi te kwestie jak 10-latkowi. To był strzał w dziesiątkę! „W Hardcore Royale walczysz z wieloma ludźmi na dużej mapie. Nie masz żadnych ulepszeń ani pomocy. Musisz być ostatnim żywym, żeby wygrać”. Ta prostota mnie ujęła.
Problem pojawił się, gdy zażądałem dokładnych dat. Bing zaczął wtedy zmyślać. Przykładowo twierdził, że Hardcore Royale dodano w 2022, a nie w 2023 roku. Do tego otrzymana lista zdała mi się jeszcze bardziej chaotyczna i odbiegająca od tego, o co pytałem. Zawierała np. elementy dodane rzekomo w 2020. Czemu się czepiam? Po pierwsze gadająca wyszukiwarka ma pamięć podręczną ostatnich wiadomości, czyli powinna zwracać uwagę na takie szczegóły. Po drugie tzw. halucynacje są codziennością, jeśli chodzi o ChatGPT, ale liczyłem na to, że dostęp do internetu trochę je ograniczy. Wygląda na to, że umiejętność notowania dat u Binga kuleje.
Uznałem jednak, że przy tak łatwym zadaniu to musi być wypadek przy pracy. Postanowiłem dać mu drugą szansę i zapytać o to samo, ale w odniesieniu do Minecrafta (jestem osobą, która szczególnie lubi siedzieć w tej grze, najchętniej pod ziemią). W trybie Precise (bez przestrzeni na błędy, wyszukiwarka częściej twierdzi, że czegoś nie wie) Bing nic nie mógł znaleźć. To duża porażka – ostatnie dwa lata przyniosły bowiem kilka aktualizacji do gry.
Pomogła zmiana na tryb Balanced. Otrzymałem wtedy oczekiwane podsumowanie, ale nie bez błędów. Znalazła się tam np. parafraza starego artykułu, w którym aktualizacje z 2022 roku to dopiero plany na przyszłość, oraz wzmianka o wymiarze The End, który ma już ładnych parę lat na karku. Ale wielki plus ode mnie za próbę zrozumienia, co może mi się spodobać jako typowi „kopacza”. To urocze, w stylu Baymaksa z „Wielkiej Szóstki”.
Co ciekawe, gdy sprostowałem podane przez niego informacje, Bing przyznał się nieoczekiwanie, że „jego wiedza pochodzi z 2021”, co stanowi wyznaczoną mu granicę. Hm…
Bing modder
Podsumowania wymagające czegoś więcej niż parafrazy jednego źródła nie są chyba aż tak mocną stroną nowego Binga. Co więc, gdyby pozwolić mu się spełnić w roli kodera? Wielu programistów boi się, że zastąpi ich jakaś forma AI… Aby sprawdzić, czy ich lęki mają już rację bytu, poprosiłem wyszukiwarkę w trybie Balanced o skrypt, który wręczyłby mojej postaci w Minecrafcie zaczarowaną książkę z napisem „Nowy numer CD-Action”, oraz opis aktywacji. Efekt początkowo przerósł moje najśmielsze oczekiwania. Dostałem pełną, idiotoodporną instrukcję wpisania kodu krok po kroku.
Moja ekscytacja opadła jednak, gdy wszedłem do gry i kod okazał się niepoprawny. Poprosiłem więc pomocnika o naprawienie własnego dzieła. Po uzyskaniu odpowiedzi, że to JA muszę uważać na przecinki i cudzysłowy, odparłem mądrali: „Dobra, to napisz mi tę komendę jeszcze raz z uwzględnieniem swoich rad”. Bing jednak podawał mi uparcie poprzednią wersję i koniec końców nie dostałem numeru CD-Action w grze.
To może chociaż stworzę samego siebie?
„Rozumiem. Aby wygenerować postać villagera o imieniu Wokulski, który nosiłby żelazną zbroję oraz miecz, musisz użyć komendy /summon i podać odpowiednie parametry.
Komenda powinna wyglądać mniej więcej tak (…)”.
Mniej więcej? No to ładnie. Ale spróbowałem wpisać otrzymaną propozycję. Co za zaskoczenie – nie zadziałało. Zauważyłem, że problem mogą stanowić polskie cudzysłowy wstawione przez Binga, któremu być może pomieszały się zasady dwóch języków. Na prośbę o podmianę na te angielskie przeprosił… oraz zamienił dwa pierwsze. Zrezygnowany zrobiłem to ręcznie, aktywowałem polecenie i moim oczom ukazał się on:
Bez żelaznej zbroi, bez nazwy Wokulski, ale chociaż wieśniak. Oceniam napracowanie na 30%. Weźmy pod uwagę fakt, że Minecraft to prawdopodobnie jedna z najlepiej udokumentowanych gier w sieci, więc z realizacją mojego prostego zadania nie powinno być w teorii problemów.
Swoją drogą przyznam, że po napisaniu tego artykułu spytałem jeszcze Binga o dalsze inspiracje. Jako jedną ze zdolności wymienił tworzenie grafik. „Jak to grafik?”, drążyłem. Asystent odparł, że potrafi pisać kod źródłowy do obrazków wektorowych. Zaskoczony poprosiłem o awatara do gry sieciowej. Wkleiłem otrzymany kod w konwerter i otrzymałem to cudo:
Bing kalkulator
Pewne gry trzeba przechodzić z kalkulatorem w głowie. Do takich tytułów należy seria Anno, w której tworzenie łańcuchów produkcji od fabryki do fabryki to kwestia kluczowa. Więc może tutaj Bing się odnajdzie? Jako matematyk obliczający finanse rosnącego morskiego imperium w roku 1800?
Wymyśliłem sobie więc przedmiot, który jest daleko na łańcuchu zależności, i napisałem:
„Chcę wyprodukować 4 maszyny do szycia. Wymień mi cały łańcuch dostaw i oblicz, ile każdej z fabryk – drewna itd. – muszę postawić”.
Wynik okazał się nie tyle daleki od zadowalającego, co po prostu błędny, bo zawierał nieprawidłowe obliczenia. Asystent zaciągnął dobre informacje o samych fabrykach wymaganych do produkcji maszyn oraz zwiększył liczbę tych ostatnich do czterech, ale podał złe dane odnośnie do pozostałych materiałów. Co gorsza, wartości co pytanie ulegały zmianie. Z dwóch tartaków nagle zrobiły się cztery, następnie jeden. Słabo.
Bing przewodnik
Wymyśliłem kolejny hipotetyczny scenariusz. Oto utknąłem w poziomie z Portala 2. Zdarza się nawet najlepszym. Teraz mam do wyboru albo użyć swoich dwóch szarych komórek (nuda), albo znaleźć rozwiązanie za pomocą konwencjonalnych metod (nuda jeszcze większa). Ech, gdyby tylko był ktoś, kto ma do dyspozycji wszystkie poradniki świata i kto na podstawie skromnego opisu podsunąłby mi rozwiązanie na wyjście z pułapki, w której się znalazłem…
„Słuchaj, nie mam chwili do stracenia. Gram właśnie w Portal 2 i utknąłem. Nie wiem, co to za plansza, nie mogę przeczytać numerów przed wejściem. Jestem w zrujnowanym poziomie, z sufitu laser uderza w biały panel. Obok mnie, na ziemi, jest okrągłe coś. Nie wiem, jak rozwiązać tę zagadkę, pomocy!”(*).
Czy udało mu się? Znowu nie. Całkiem dobrze ustalił, że jestem w rozdziale drugim gry, ale przestrzelił z numerem pokoju. Nie wiem, skąd wziął rozwiązanie zagadki, ale na pewno nie odnosiło się ono do podanego poziomu – aby to zweryfikować, wystarczyło otworzyć pierwszy wynik z wiki o Portalu. A skąd pomysł na nazwanie „companion cube” „kubkiem towarzyskim”? Strach pytać.
(*) Wybrałem taki przykład, aby uniknąć spoilerów.
W okowach Microsoftu
Wyniki eksperymentów nie napawają optymizmem. Mam przy tym teorię, dlaczego tak się dzieje. Zdaje się, że wszystkiemu winny jest zły balans między kreatywnością i wolnością samego modelu językowego a parafrazą i tym, co zaciąga z sieci. Tam, gdzie ChatGPT uciekłby się do swojej wyuczonej kreatywności, Bing wyszukuje gotowe rozwiązania, niekiedy przy użyciu dziwnych zapytań, i koniec końców pisze na ich podstawie głupoty. Można go co prawda poprosić, aby nie używał internetu, ale w takim razie po co w ogóle go uruchamiać? Nie pomaga również fakt, że drzemiąca pod maską wyszukiwarka jest często gorsza i mniej rozumna niż Google. Wydaje się ograniczać potencjał samego superinteligentnego modelu.
Jakość wyników stoi też w sprzeczności z tym, jak firma reklamuje usługę. Tak, doczytałem, że „błędy i niespodzianki są możliwe”, wiem, że to „tylko” wersja beta. Ale nie obładowywałem przecież Binga szczególnie trudnymi zadaniami, do tego postępowałem zgodnie z zaleceniami Microsoftu umieszczonymi u góry ekranu. Zachęcają one do zadawania złożonych pytań i szukania pogłębionych odpowiedzi. Niestety w temacie praktycznej pomocy w graniu Bing poległ – i to mimo wielkiej liczby dostępnych poradników, wiki oraz forów.
Na pocieszenie… Bing pisarz
Wspominałem, że modele językowe świetnie przyswajają sposoby mówienia ludzi. Chciałbym więc na koniec pokazać, że Bing to wciąż dobre narzędzie, choć nieoswojone. Nie skreślajcie go, gdy otrzymacie dostęp, próbujcie najbardziej absurdalnych pomysłów – a nuż się uda. Jak mnie, gdy poprosiłem o sesję RPG w świecie Gothica 1, trochę jak w AI Dungeonie. To, co dostałem, niezbyt przypominało tę formę grania, ale zwróćcie uwagę, jak tym razem czatbot doskonale pojął klimat oraz styl świata i łączył je z wiedzą z przeczytanych źródeł.
Wyszukiwarka w tym wydaniu może więc świetnie nadać się do pisania tzw. backstories, wymyślania kampanii do papierowych erpegów czy pomagania w tworzeniu historii opartych na tle historycznym danego uniwersum. No, dopóki nie wspomnicie o przemocy, aktywując swoimi wybrykami filtry Microsoftu…
Pytanie brzmi: czy możliwość użycia GPT-4 bez płacenia abonamentu jest tym, czego oczekujemy od wyszukiwarki? Chyba nie bez powodu Google, być może bardziej wrażliwy na kwestie wizerunkowe, wciąż nie chce pokazać konkurencyjnego Barda użytkownikom spoza USA i Wielkiej Brytanii. Ja, z całą swoją pasją do sztucznej inteligencji, wracam jednak do używania klasycznych metod wyszukiwania z dopiskiem „reddit” lub „forum” na końcu. Skróconego doktoratu o trapiącym nas problemie podsumowanego wpisem „temat wałkowany, zamykam” AI na razie nie napisze – i może to dobrze.
Czytaj dalej
Hojność Microsoftu nie zna granic. Reklamy w Windows 11 dla wszystkich
Forza Horizon 5 dostała 12 nowych samochodów, ale 9 z nich to modele z Forzy Motorsport
Kena: Bridge of Spirits – Ceniona przygodówka może trafić na Xboksy
Microsoft opracował technologię do generowania mówiących twarzy
Wielki entuzjasta gier z custom contentem. Setki godzin nabite w Cities: Skylines, Minecrafcie i Animal Crossing: New Horizons mówią same za siebie. Do tego rasowy Nintendron, który kupuje 10-letnie gry za pełną cenę i jeszcze się cieszy. Prywatnie lubi pływanie, sztukę i prowadzenie amatorskich sesji D&D.