Około pół roku po wypuszczeniu przez Google przełomowego modelu MUM Baidu odpowiedział własnym przełomem. W grudniu 2021 r. chiński gigant wyszukiwania opublikował artykuł szczegółowo opisujący ERNIE 3.0 Titan, ulepszoną wersję i tak już imponującego modelu ERNIE.
Co zatem potrafi ERNIE 3.0 Titan, czym różni się od pierwotnego ERNIE 3.0, czym różni się od MUM i czy jego następcą będzie OSCAR 4.0 Grouch? Odpowiedzi na trzy pierwsze pytania znajdziesz dalej (niestety, na horyzoncie nie widać żadnych modeli OSCAR – jeszcze).
Co to jest ERNIE 3.0 Titan?
Po pierwsze – czym w ogóle jest ERNIE 3.0 Titan? Jak wyjaśnili badacze Baidu w artykuł na ten tematto model sztucznej inteligencji zaprojektowany do wykonywania zadań związanych z przetwarzaniem języka naturalnego (NLP).
Innymi słowy, ma na celu odszyfrowanie, co użytkownicy mają na myśli, wpisując wyszukiwane hasło. Jest to ta sama funkcja, którą Google zamierza osiągnąć za pomocą swojego algorytmu MUM i wcześniejszego BERT, i jest w stanie to osiągnąć dzięki zastosowaniu uczenia na dużą skalę w oparciu o miliardy parametrów (tj. fragmentów danych, z których model może się uczyć).
Podczas gdy oryginalny model ERNIE 3.0 firmy Baidu został wytrenowany przy użyciu imponujących 10 miliardów parametrów, ERNIE 3.0 Titan został wytrenowany przy użyciu wręcz zdumiewających 260 miliardów parametrów. To oszałamiający postęp, zwłaszcza że między ogłoszeniem ERNIE 3.0 a ogłoszeniem ERNIE 3.0 Titan upłynęło zaledwie około sześciu miesięcy.
Być może badaczom z Baidu udało się dokonać takiego wyczynu, ponieważ udało im się drastycznie zwiększyć możliwości ERNIE 3.0 bez całkowitej zmiany jego struktury. Podobnie jak ERNIE 3.0, ERNIE 3.0 Titan wykorzystuje wielkoskalowe dane tekstowe i wykres wiedzy, aby ułatwić uczenie się przez kilka strzałów (nauka z ograniczoną liczbą przykładów), uczenie się od zera (nauka bez przykładów) i dostrajanie (dalsze ulepszenia) :
Ponieważ Baidu jest zdecydowanie wiodącą wyszukiwarką w Chinach, nie powinno być zaskoczeniem, że ERNIE 3.0 Titan został zaprojektowany tak, aby rozumieć język chiński. Dzięki niesamowitej liczbie parametrów Titan jest jak dotąd największym chińskim, wstępnie wytrenowanym modelem.
Co najważniejsze, wydajność Tytana potwierdza jego wielkość. Zgodnie z wynikami eksperymentów badaczy Baidu, ERNIE 3.0 Titan przewyższa najnowocześniejsze modele (SOTA) w 68 zadaniach NLP. Obejmuje to rozumienie tekstu czytanego maszynowo, podobieństwo semantyczne, klasyfikację tekstu, odpowiadanie na pytania w formie zamkniętej księgi i nie tylko.
Dla porównania, oryginalny ERNIE 3.0 osiągnął lepsze wyniki niż modele SOTA w 58 chińskich zadaniach NLP. Po raz kolejny oznacza to ogromną poprawę w ciągu zaledwie pół roku.
Jak ERNIE 3.0 Titan wypada w porównaniu z MUM Google?
Google ogłosiła MAMA w maju 2021 r., a Pandu Nayak – wiceprezes firmy ds. wyszukiwania – nie wahał się wychwalać jej mocy. Jest „1000 razy potężniejszy niż BERT” – stwierdził i „może zmienić sposób, w jaki Google pomaga [users] ze złożonymi zadaniami.”
To dlatego, że MAMA jest:
- potrafi nie tylko rozumieć język, ale także go tworzyć;
- przeszkolony w 75 językach; I
- multimodalny, co oznacza, że rozumie zarówno tekst, jak i obrazy (a pewnego dnia będzie także rozumiał wideo, audio i inne formaty).
Jest to godne podziwu i z pewnością poprawi jakość SERP Google w najbliższej przyszłości. Ale faktem jest, że jego skala po prostu nie dorównuje ERNIE 3.0 Titan. Jak Krawędź obliczonyMUM ma mniej więcej taki sam rozmiar jak OpenAI Model języka GPT-3, który ma 175 miliardów parametrów. Oznacza to, że Titan nadal ma aż o 85 miliardów parametrów więcej niż MUM.
Chociaż Titan jest niezaprzeczalnie większy od MUM, należy zauważyć, że Titan był szkolony tylko w jednym języku (chiński), a nie w 75 językach, jak miało to miejsce w przypadku MUM. Ponadto Titan został zaprojektowany tak, aby rozumieć język i sam język, podczas gdy MUM został zaprojektowany do rozumienia obrazów, filmów i dźwięku, oprócz języka.
Nie oznacza to jednak, że MUM jest z natury lepszy od Tytana, ani nie oznacza odwrotnie. Zamiast tego oznacza to po prostu, że oba modele NLP są bardzo różne i precyzyjnie zaprojektowane, aby służyć szczególnym potrzebom ich firmy-matki.
Aby lepiej zrozumieć, dlaczego tak się dzieje, rozważ największe zalety MUM: zdolność rozumienia wielu różnych języków w wielu różnych formatach. Ma to sens w przypadku Google, ponieważ jest to wiodąca wyszukiwarka nie tylko w USA, ale także na dużych obszarach obu Ameryk, Australii, Europy i Azji. Google inwestuje także dużo w wyszukiwanie wizualne i wideo w internecie, dlatego stworzenie modelu multimodalnego takiego jak MUM przynosi ogromne korzyści.
Z drugiej strony ERNIE 3.0 Titan jest znacznie większy niż MUM, ale jest przeszkolony do rozumienia i generowania wyłącznie języka chińskiego. Na pierwszy rzut oka może się to wydawać ograniczeniem, ale w rzeczywistości jest dobrodziejstwem dla Baidu. W końcu baza użytkowników Baidu składa się prawie w całości osób mieszkających w Chinach.
Dlatego MUM i ERNIE 3.0 Titan są dostosowane do indywidualnych wymagań Google i Baidu. A ponieważ Google całkowicie opuścił chiński rynek w 2010 roku, żadna firma nie konkuruje ze sobą (choć jesteśmy pewni, że każda z nich byłaby szczęśliwa, mogąc zdobyć więcej powodów do przechwalania się).
Co ERNIE 3.0 Titan oznacza dla przyszłości wyszukiwania?
Premiera ERNIE 3.0 Titan może nie mieć bezpośredniego wpływu na codzienne życie kogokolwiek poza Chinami, ale nic nie istnieje w próżni (szczególnie dotyczy to Internetu). W związku z tym najnowszy model NLP Baidu nadal ma ogólny wpływ na krajobraz wyszukiwania.
W szczególności Titan przesuwa granice tego, co znamy jako „maksymalny” rozmiar modelu NLP, chińskiego i innego. I oczekuje się, że z GPT-4 około 100 parametrów kiedy zostanie wydany w przyszłości, pytanie „Jak duży może być model NLP?” jest bardziej aktualne niż kiedykolwiek.
Co więcej, Titan może pokazać światu, jak głęboko model sztucznej inteligencji może zrozumieć pojedynczy, złożony język, jeśli ma wystarczającą ilość danych do pracy. (Z kolei MUM Google pokaże nam, jak dobrze model NLP może rozumieć dziesiątki języków jednocześnie.)
Tytan to jeden duży krok dla Baidu i jeden ogromny skok w wyszukiwarkach
Jeśli optymalizowane witryny są przeznaczone głównie dla odbiorców spoza Chin, być może nie poświęciłeś zbyt wiele uwagi optymalizacji pod kątem Baidu lub poznaniu jego algorytmów, co jest zrozumiałe. Ale prawda jest taka, że przejmujesz się tym, co robi Baidu – jego wielkość i wpływ oznaczają, że jego działania mają ogromny wpływ na cały świat SEO i ogólnie wyszukiwarek, chińskich czy nie.
A w przypadku ERNIE 3.0 Titan jest to bardziej prawdziwe niż kiedykolwiek wcześniej. Wraz ze swoją premierą Baidu dokonał prawdziwego przełomu i możesz być pewien, że inżynierowie Google uważnie przyglądają się każdemu szczegółowi. Wyszukiwarki dopiero zaczynają odkrywać potencjał modeli NLP, takich jak ERNIE i MUM, a Baidu właśnie znacząco podniosło stawkę.
Kredyty obrazowe
Zrzut ekranu autorstwa autora / styczeń 2022
Google / maj 2021
