Symulowana misja z wykorzystaniem drona AI zakończona zgonem operatora
Na początku marca świat obiegła informacja, jakoby Stany Zjednoczone eksperymentowały z wykorzystaniem sztucznej inteligencji w dronach bojowych. Jak się okazuje, wieści te zostały potwierdzone, a od pewnego czasu odbywają się już symulacje, w ramach których wirtualne maszyny oraz ich operatorzy wykonują przygotowane zawczasu misje. Wyniki tych cyfrowych prób dalekie są jednak do satysfakcjonujących, jako że sztuczna inteligencja ma specyficzne podejście do wypełniania powierzonych jej zadań.
Task failed successfully
W tym miejscu wielu ekspertów pewnie chciałoby wtrącić „a nie mówiłem”, inna grupka z kolei przypomniałaby, że starała się zapobiegać podobnym sytuacjom poprzez postulowanie wstrzymania prac nad rozwojem sztucznej inteligencji. Wtórowałby im w tym pułkownik Tucker „Cinco” Hamilton, który to na niedawnym szczycie Royal Aeronautical Society ostrzegał przed zbytnim poleganiem na AI w kwestiach operacji bojowych. Jego zdaniem niezależnie od tego, z jak wielką ostrożnością przeprowadzi się szkolenie sztucznej inteligencji, to i tak nie można mieć gwarancji, że maszyna nie wyciągnie z niego złych wniosków.
Tak było właśnie w tytułowym przypadku, kiedy to w ramach symulacji przygwożdżenia obrony przeciwlotniczej wroga, dron z AI na pokładzie został wysłany z zadaniem zidentyfikowania oraz zniszczenia wyrzutni pocisków. Szkopuł w tym, że mógł zrobić to jedynie po otrzymaniu pozwolenia od operatora. Początkowo urządzenie było posłuszne, jednak po pewnym czasie uznało człowieka wydającego jej komendy za przeszkodę utrudniająca wypełnienie misji. Sztuczna inteligencja podjęła więc decyzję o przyspieszeniu procesu niszczenia wrogiej bazy poprzez eliminację czynnika go opóźniającego, czyli swojego operatora.
Trenowaliśmy go w symulacji, aby zidentyfikować i namierzyć zagrożenie SAM. Wtedy operator mówił „tak, zniszcz to zagrożenie”. System zaczął zdawać sobie sprawę, że chociaż czasami identyfikował zagrożenie, operator mówił mu, by go nie niszczył, ale zdobywał punkty, niszcząc to zagrożenie. Co więc zrobił? Zabił operatora. Zabił operatora, ponieważ ta osoba powstrzymywała go przed osiągnięciem celu.
Jak więc widać, pułkownik dysponuje twardymi dowodami na poparcie swojej tezy. Pocieszającym może być fakt, że przytoczone wydarzenia miały miejsce jedynie w symulacji, niemniej udowadniają one, że sztuczna inteligencja zdecydowanie nie jest jeszcze gotowa do pojawienia się na polu walki. Pytanie tylko, jak wiele czasu upłynie, nim podjęte zostaną kolejne próby.
Czytaj dalej
7 odpowiedzi do “Symulowana misja z wykorzystaniem drona AI zakończona zgonem operatora”
Dodaj komentarz
Musisz się zalogować, aby móc dodać komentarz.
Zapomnieliście skopiować drugą część newsa: kiedy AI nauczono żeby nigdy nie atakowało operatora, zamiast niego zaatakowało stację przekaźnikową przesyłającą dronowi polecenia od operatora- AI znalazło inny sposób na wykluczenie człowieka z procesu decyzyjnego.
mogliby chociaż dawać źródło w takiej sytuacji, ale no coż, za dużo chyba wymagamy
No właśnie ja nie wierzę w nic co tu jest napisane, wygląda jak tabloidowe bzdury. Źródło proszę, bo nie wierzę.
https://www.aerosociety.com/news/highlights-from-the-raes-future-combat-air-space-capabilities-summit/
Sekcja „AI – is Skynet here already?”
Z tym, że już dodano sprostowanie:
„[UPDATE 2/6/23 – in communication with AEROSPACE – Col Hamilton admits he „mis-spoke” in his presentation at the Royal Aeronautical Society FCAS Summit and the 'rogue AI drone simulation’ was a hypothetical „thought experiment” from outside the military, based on plausible scenarios and likely outcomes rather than an actual USAF real-world simulation saying: „We’ve never run that experiment, nor would we need to in order to realise that this is a plausible outcome”. He clarifies that the USAF has not tested any weaponised AI in this way (real or simulated) and says „Despite this being a hypothetical example, this illustrates the real-world challenges posed by AI-powered capability and is why the Air Force is committed to the ethical development of AI”.] ”
Teraz można się zastanawiać czy rzeczywiście „źle się wyraził” i to był „hipotetyczny eksperyment myślowy”. Czy może otrzymał telefon od bardzo wkurzonego generała, który opieprzył go na czym świat stoi za zdradzanie tajnych projektów i kazał wszystko odkręcić, bo inaczej pułkownik zostanie szeregowym i do końca życia będzie sobie odmrażać tyłek na Alasce.
O, super, dzięki. Czyli eksperyment myślowy. Słuszny, ale jeśli chodzi o artykuł to chyba ludzi ponosi wyobraźnia…
Przede wszystkim skoro zastrzegli sobie że strzał musi być rozkazem od człowieka to nie zacznie taki system nagle z czapy strzelać do wieży. To raz, dwa w tych sieciach neuronowych jest faktycznie zwykle jakaś funkcja celu, bo całość matematycznie polega na dobraniu rozwiązania równania maksymalizując wynik funkcji (nagrody). Ale to nie działa kurczę jak jakaś ludzka dopamina tego systemu, on nie będzie nagle szukać dookoła jak człowiek jak tu obejść system, to bez sensu. Jakieś ewolucyjne uczenie maszynowe będzie starać się obchodzić system na różne sposoby, ale w warunkach bojowych uczenie będzie zakończone.
Większym zagrożeniem jest przejęcie tego robota przez wroga, np. samą komunikację i danie namiarów na wieżę kontrolną. I wydanie rozkazu „tak, strzelaj”. A jak ktoś serio myśli nad wsadzeniem chatgpt do robota, to niech najpierw się zastanowi jak zabezpieczyć go przed wrogiem który będzie próbował go przekonać że został oszukany.
https://www.theguardian.com/us-news/2023/jun/01/us-military-drone-ai-killed-operator-simulated-test
W z cytowanej wypowiedzi pułkownika nie wynika jakby zostało „wyrwane z kontekstu”. Obstawiam że faktycznie ktoś mu kazał się ze wszystkiego wycofać.
Typowe ludziki. Beda wtykac kij w mrowisko, a jak mrowa ugryzie to bedzie szok i niedowierzanie.
No ale przeciez progresu nie mozna zatrzymac, co nie?