Google chwali się swoim AI. Już nie jest „patologicznym kłamcą”

W poście na swoim blogu firma tłumaczy, że tzw. large language models (LLM; wielkie modele językowe) takie jak Bard świetnie radzą sobie z kreatywnymi zadaniami, ale dużo słabiej idzie im rozwiązywanie problemów logicznych czy matematycznych.

Przekonał się o tym każdy, kto spróbował zastosować inne AI oparte na LLM, ChatGPT, do odrobienia pracy domowej z matematyki – bot potrafi z uporem godnym lepszej sprawy bronić zupełnie nonsensownych odpowiedzi. Czasami AI reflektuje się i zmienia zdanie: gdy testowo poprosiłem ChatGPT o rozwiązanie problemu z logiki, ten najpierw podawał mi złą odpowiedź, a później – po zadaniu pytania po angielsku, a następnie w innych słowach – „przeprosił za wcześniejsze nieścisłe informacje” i poprawnie odpowiedział na pytanie.

ChatGPT i jego zmagania z logiką

Z tymi samymi problemami mierzył się Bard, chatbot Google’a, który, jak podaje TechCrunch, przez niektórych pracowników firmy określany był mianem „patologicznego kłamcy”, a jego działanie oceniono jako „gorsze niż bezużyteczne”. Po wprowadzeniu Barda akcje Google’a spadły wręcz o 8 p.p. Firma nie poddaje się jednak w rozwoju swojego AI i chwali się, że Bard stał się dużo lepszym matematykiem i programistą.

Odpowiedzialny za rozwój AI w Google’u Jack Krawczyk tłumaczy, że od teraz Bard rozpozna, że zadane pytanie dotyczy problemu matematycznego, i uruchomi rozwiązujący go program. AI pochwali się nim, wklejając użytkownikowi okienko z kodem w Pythonie do wglądu. Wcześniej robot traktował każde pytanie, również matematyczne, tak samo, i starał się wygenerować na nie przekonującą odpowiedź, przewidując, czego może oczekiwać jego autor. Od teraz będzie umiał on rozróżnić zadawane mu polecenia i zastosować do nich inny model „myślenia”.

Krawczyk zastrzega, że nie rozwiązuje to wszystkich problemów, z którymi mierzył się Bard: istotnie, program w Pythonie może dobrze poradzić sobie np. z problemami arytmetycznymi, ale może być niewystarczający dla problemów logicznych, które wymagają korzystania z konkretnych twierdzeń. Poza tym program może być błędny lub Bard, jak twierdzi Krawczyk, może zignorować jego rezultat. Rozwój AI Google’a wydaje się jednak być krokiem w dobrą stronę w rozwiązywaniu przez chatboty zadań analitycznych.