Trenowanie AI Mety Llama 4 będzie wymagać 10 razy więcej mocy obliczeniowej niż dla Llama 3

Niedawno pisaliśmy o Llama 3.1 – wielkim modelu językowym (LLM) Mety, który świetnie radzi sobie wydajnościowo, a poza tym jest opensource’owy. Jak jednak podaje TechCrunch, firma nie osiada na laurach i zaczyna opowiadać o projektowaniu Llamy 4. Zuckerberg twierdzi, że trenowanie Llamy 4 będzie wiązało się ze zużyciem… 10 razy więcej mocy obliczeniowej niż trenowanie Llamy 3.

Drożej, lepiej?

Szef Mety mówi również, że przyszłe modele będą dodatkowo przekraczać te wartości. Zgadza się on z tym, że obecnie trudno jest przewidzieć, jak zakończy się moda na AI. Lepiej jest jednak, jego zdaniem, inwestować mimo ryzyka niż liczyć się z tym, że w przyszłości można bardzo żałować zignorowania sztucznej inteligencji.

Tymczasem trenowanie sztucznej inteligencji wiąże się z ogromnymi kosztami. Przykładowo: nieoficjalnie wiadomo, że OpenAI płaci za trenowanie modeli 3 miliardy dolarów, a wypożyczenie serwerów od Microsoftu (po obniżce!) to dodatkowe 4 miliardy.

Myślicie, że bańka pęknie?