Meta udostępniła narzędzia AI audio na licencji open source

Zestaw narzędzi nazywa się AudioCraft i składa się z trzech komponentów o różnych zastosowaniach. O programach głośno było już wcześniej, tym niemniej teraz koncern postanowił udostępnić je wszystkim zainteresowanym do dalszych badań.

Trzy zabawki AI

Pierwszym z udostępnionych narzędzi jest AudioGen, który służy do generowania różnych efektów dźwiękowych, tła audio i krótkich sampli. Ciekawiej prezentuje się MusicGen – ten model AI został wytrenowany w oparciu o katalog muzyki przygotowany i należący do koncernu Meta, potrafi zaś tworzyć utwory muzyczne w oparciu o wprowadzony tekst lub załadowane próbki audio. Ostatnim składnikiem pakietu jest EnCodec – to raczej „techniczny” składnik, który pozwala na kodowanie i dekodowanie muzyki w taki sposób, by uzyskiwać jak najmniejsze pliki audio przy możliwie największym zachowaniu podobieństwa do nieskompresowanego oryginału. Wrażenie robi fakt, że twórcy chwalą się uzyskaniem około dziesięciokrotnie większej kompresji w porównaniu ze standardem MP3 64 kb/s bez utraty jakości.

Modele zostały udostępnione do celów badawczych i dla lepszego zrozumienia technologii przez ludzi. Cieszymy się, że możemy zapewnić naukowcom i praktykom dostęp, aby po raz pierwszy mogli trenować własne modele z własnymi zestawami danych i pomóc w rozwoju najnowocześniejszej technologii.

Jak wynika z komunikatu koncernu, narzędzia zostały udostępnione jako open source bardziej pod kątem dalszych badań niż praktycznego zastosowania „tu i teraz”. Tym niemniej z MusicGena możemy skorzystać od ręki – na udostępnionej witrynie sprawdzimy w praktyce, jak to działa. Model w tej formie tworzy jednak wyłącznie krótkie, dwunastosekundowe fragmenty utworów, na rezultaty zaś – jeśli tylko strona działa, bo obciążenie jest obecnie ogromne – trzeba poczekać aż kilkanaście minut lub dłużej. O module AudioGen poczytacie z kolei tutaj (tamże również szereg przykładowych sampli), zaś więcej informacji na temat EnCodeca znajdziecie tutaj. Komunikat koncernu znajdziecie z kolei na jego witrynie.

Fot. otwierająca: Meta