Lumiere: AI od Google, które generuje klipy ze słodkimi zwierzakami

Lumiere to, jak twierdzą sami twórcy, model dyfuzji tekstu na wideo zaprojektowany do syntezy filmów. Powstałe w ten sposób materiały prezentują nie tylko realistyczny, ale również zróżnicowany i spójny ruch. Dzięki zastosowaniu architektury Space-Time U-Net od razu generowana jest całość filmu (aczkolwiek do najdłuższych one nie należą, bo klipy trwają zaledwie kilka sekund). Badacze odpowiedzialni za stworzenie Lumiere zwracają uwagę na to, że ich twór stanowi znaczny krok naprzód w stosunku do podobnych modeli AI obecnych na rynku. Te z kolei zazwyczaj uciekały się do syntezy odległych klatek kluczowych oraz następującego po niej czasowego zastosowania superrozdzielczości, jednak podejście to utrudniało osiągnięcie globalnej spójności czasowej. Więcej informacji na temat założeń stojących za Lumiere można znaleźć na stronie Uniwersytetu Cornella.

Google Lumiere

Jeśli interesuje was, jak prezentuje się twórczość wygenerowana z wykorzystaniem Lumiere (a zgaduję, że tak jest – w końcu to czytacie), to warto zapoznać się z poniższym filmem:

Narzędzie pozwala na generowanie krótkich klipów zarówno na bazie tekstu, jak i statycznych obrazów. Istnieje przy tym możliwość pokazania AI przykładowej grafiki, na której stylu będzie się wzorować przy tworzeniu materiałów.

{„alt” => „”, „caption” => „”, „imageUrls” => [„https://cdn.cdaction.pl/images/2024/01/25/5372b2e0-cd3f-4a0f-8833-c88d78661e47.png”, „https://cdn.cdaction.pl/images/2024/01/25/c0b8ed31-9790-4682-870b-79e60a6379d8.png”, „https://cdn.cdaction.pl/images/2024/01/25/a4e140d7-da19-4020-801d-1d16699cfedb.png”], „isStretched” => false}

Lumiere umożliwia także stylizację wybranego filmu. Nic nie stoi na przeszkodzie, aby przekształcić realistycznie wyglądającego niedźwiedzia w takiego, który został stworzony z papieru lub kolorowych klocków.

To wciąż jednak nie koniec możliwości nowego tworu Google. Opisywany model AI jest w stanie zanimować jedynie wybrany fragment zdjęcia, potrafi on także uzupełnić niewidoczne fragmenty filmów z uwzględnieniem zawartości kadru.

Prawdopodobnie najciekawszą opcję pozostawiono jednak na koniec, jako że Lumiere jest w stanie wzbogacić istniejące już materiały wideo o nowe elementy. Jak możemy zobaczyć na załączonym poniżej przykładzie, mały kurczak może zostać przyodziany w szlafrok, stanąć na taborecie, a nawet założyć kalosze i imprezową czapeczkę.

Nad powstaniem Lumiere pracował zespół Google Research, jak również badacze z Instytutu Weizmanna, Uniwersytetu Tel-Aviv i Technionu.