Meta zaprezentowała Emu Video, ewolucję generatywnej sztucznej inteligencji (AI) Emu zdolnej do generowania filmów na podstawie opisu tekstowego. Narzędzie może tworzyć krótkie klipy o niskiej rozdzielczości w ciągu kilku sekund.
Emu Video działa jak generator obrazu. Narzędzie interpretuje opis użytkownika, przetwarza żądanie w bazie danych i zwraca czterosekundowy film w rozdzielczości 512 x 512 przy 16 klatkach na sekundę.
„Jest to ujednolicona architektura do zadań generowania wideo, która może reagować na różne dane wejściowe: tylko tekst, tylko obraz oraz tekst i obraz. Proces dzielimy na dwa etapy: po pierwsze, generujemy obrazy w zależności od podpowiedzi tekstowej i, następnie wygeneruj film uzależniony zarówno od tekstu, jak i wygenerowanego obrazu” – wyjaśnia Meta.
Według Meta to „podziałowe” podejście pozwala na skuteczniejsze uczenie modeli generatywnych. Wyniki są bardziej przekonujące niż wcześniej opracowana sztuczna inteligencja do generowania wideo, Make-A-Video.
Aby edytować treść, Meta uruchomiła Emu Edit. Ten drugi model generatywny pozwala opisać modyfikacje klipu wygenerowanego przez Emu Video. Użytkownik może go używać do dodawania lub usuwania elementów ze sceny, zmiany szybkości klipu, zmiany nastroju i wielu innych.
Wyniki są równie imponujące jak w przypadku oryginalnego filmu, ale teraz są jeszcze bardziej wierne prośbom użytkowników. „W przeciwieństwie do wielu obecnych modeli generatywnej sztucznej inteligencji, Emu Edit dokładnie postępuje zgodnie z instrukcjami, zapewniając, że piksele obrazu wejściowego niezwiązane z instrukcjami pozostaną nienaruszone” – opisuje Meta.
Tylko do badań
Emu Video i Emu Edit to ważne postępy w rozwoju generatywnej sztucznej inteligencji, ale nie jest jeszcze dostępny publicznie. Na razie projekt przeznaczony jest wyłącznie do celów badawczych, ale Meta zdaje sobie sprawę, że „potencjalne przypadki użycia są wyraźnie widoczne”.
Meta zdaje sobie sprawę, że nowe narzędzia nie zastępują artystów, animatorów i profesjonalistów w swojej dziedzinie, ale są technologiami, które mogą ułatwić im pracę.
