Trenowanie AI Mety Llama 4 będzie wymagać 10 razy więcej mocy obliczeniowej niż dla Llama 3

Niedawno pisaliśmy o Llama 3.1 – wielkim modelu językowym (LLM) Mety, który świetnie radzi sobie wydajnościowo, a poza tym jest opensource’owy. Jak jednak podaje TechCrunch, firma nie osiada na laurach i zaczyna opowiadać o projektowaniu Llamy 4. Zuckerberg twierdzi, że trenowanie Llamy 4 będzie wiązało się ze zużyciem… 10 razy więcej mocy obliczeniowej niż trenowanie Llamy 3.

Szef Mety mówi również, że przyszłe modele będą dodatkowo przekraczać te wartości. Zgadza się on z tym, że obecnie trudno jest przewidzieć, jak zakończy się moda na AI. Lepiej jest jednak, jego zdaniem, inwestować mimo ryzyka niż liczyć się z tym, że w przyszłości można bardzo żałować zignorowania sztucznej inteligencji.

Tymczasem trenowanie sztucznej inteligencji wiąże się z ogromnymi kosztami. Przykładowo: nieoficjalnie wiadomo, że OpenAI płaci za trenowanie modeli 3 miliardy dolarów, a wypożyczenie serwerów od Microsoftu (po obniżce!) to dodatkowe 4 miliardy.

Myślicie, że bańka pęknie?