Technologiczne, Gadżety, Telefony Komórkowe, Pobieranie Aplikacji

ERNIE 3.0 Titan: Baidu poprawia swoją grę

Uwaga: Poniższy artykuł pomoże Ci w: ERNIE 3.0 Titan: Baidu poprawia swoją grę

Około pół roku po wypuszczeniu przez Google przełomowego modelu MUM Baidu odpowiedział własnym przełomem. W grudniu 2021 r. chiński gigant wyszukiwania opublikował artykuł zawierający szczegółowe informacje na temat ERNIEgo 3.0 Titan, wzmocniona wersja i tak już imponującego modelu ERNIE.

Więc co to jest ERNIE 3.0 Titan potrafi, czym różni się od oryginalnego ERNIEgo 3.0czym różni się od MUM i czy jego następcą będzie OSCAR 4.0 Zrzęda? Odpowiedzi na trzy pierwsze pytania znajdziesz dalej (niestety, na horyzoncie nie widać żadnych modeli OSCAR – jeszcze).

Co to jest ERNI 3.0 Tytan?

Po pierwsze – czym jest ERNIE 3.0 Tytan, w każdym razie? Jak wyjaśnili badacze Baidu w artykuł na ten tematto model sztucznej inteligencji zaprojektowany do wykonywania zadań związanych z przetwarzaniem języka naturalnego (NLP).

Innymi słowy, ma na celu odszyfrowanie, co użytkownicy mają na myśli, wpisując wyszukiwane hasło. Jest to ta sama funkcja, którą Google zamierza osiągnąć za pomocą algorytmu MUM i wcześniejszego BERT, i jest w stanie to osiągnąć dzięki zastosowaniu uczenia na dużą skalę w oparciu o miliardy parametrów (tj. fragmentów danych, z których model może się uczyć).

Podczas gdy oryginalny ERNIE Baidu 3.0 model został wytrenowany przy użyciu imponujących 10 miliardów parametrów, ERNIE 3.0 Titan został wytrenowany przy użyciu wręcz zdumiewających 260 miliardów parametrów. To oszałamiający postęp, zwłaszcza że od ogłoszenia ERNIE upłynęło zaledwie około sześciu miesięcy 3.0 i ERNIEgo 3.0 Tytan.

Być może badaczom Baidu udało się dokonać takiego wyczynu, ponieważ udało im się drastycznie zwiększyć ERNIE 3.0możliwości bez całkowitej zmiany struktury. Podobnie jak ERNIE 3.0ERNI 3.0 Titan wykorzystuje wielkoskalowe dane tekstowe i wykres wiedzy, aby ułatwić uczenie się w kilku krokach (nauka na ograniczonych przykładach), uczenie się od zera (nauka bez przykładów) i dostrajanie (dalsze ulepszenia):

Ponieważ Baidu jest zdecydowanie wiodącą wyszukiwarką w Chinach, nie powinno być zaskoczeniem, że ERNIE 3.0 Titan został zaprojektowany tak, aby rozumieć język chiński. Dzięki niesamowitej liczbie parametrów Titan jest jak dotąd największym chińskim, wstępnie wytrenowanym modelem.

Co najważniejsze, wydajność Tytana potwierdza jego wielkość. Jak wynika z eksperymentów badaczy Baidu, ERNIE 3.0 Titan przewyższa najnowocześniejsze modele (SOTA) w 68 zadaniach NLP. Obejmuje to rozumienie tekstu czytanego maszynowo, podobieństwo semantyczne, klasyfikację tekstu, odpowiadanie na pytania w formie zamkniętej księgi i nie tylko.

Dla porównania, oryginalny ERNIE 3.0 uzyskał lepsze wyniki niż modele SOTA w 58 chińskich zadaniach NLP. Po raz kolejny oznacza to ogromną poprawę w ciągu zaledwie pół roku.

Jak ERNIE 3.0 Titan w porównaniu do MUM Google?

Google ogłosiła MAMA w maju 2021 r., a Pandu Nayak – wiceprezes firmy ds. wyszukiwania – nie wahał się wychwalać jej mocy. Jego “1,000 razy potężniejszy niż BERT” – stwierdził – i „może zmienić sposób, w jaki Google pomaga [users] ze złożonymi zadaniami.”

To dlatego, że MAMA jest:

  • potrafi nie tylko rozumieć język, ale także go tworzyć;
  • przeszkolony w 75 językach; I
  • multimodalny, co oznacza, że ​​rozumie zarówno tekst, jak i obrazy (a pewnego dnia będzie także rozumiał wideo, audio i inne formaty).

Jest to godne podziwu i z pewnością poprawi jakość SERP Google w najbliższej przyszłości. Ale faktem jest, że jego skala po prostu nie dorównuje skali ERNIEgo 3.0 Tytan. Jak Krawędź obliczonyMUM ma mniej więcej taki sam rozmiar jak OpenAI GPT-3 model języka, który ma 175 miliardów parametrów. Oznacza to, że Titan nadal ma aż o 85 miliardów parametrów więcej niż MUM.

Chociaż Titan jest niezaprzeczalnie większy od MUM, należy zauważyć, że Titan był szkolony tylko w jednym języku (chiński), a nie w 75 językach, jak miało to miejsce w przypadku MUM. Ponadto Titan został zaprojektowany tak, aby rozumieć język i sam język, podczas gdy MUM został zaprojektowany do rozumienia obrazów, filmów i dźwięku, oprócz języka.

Nie oznacza to jednak, że MUM jest z natury lepszy od Tytana, ani nie oznacza odwrotnie. Zamiast tego oznacza to po prostu, że oba modele NLP są bardzo różne i precyzyjnie zaprojektowane, aby służyć szczególnym potrzebom ich firmy-matki.

Aby lepiej zrozumieć, dlaczego tak się dzieje, rozważ największe zalety MUM: zdolność rozumienia wielu różnych języków w wielu różnych formatach. Ma to sens w przypadku Google, ponieważ jest to wiodąca wyszukiwarka nie tylko w USA, ale także na dużych obszarach obu Ameryk, Australii, Europy i Azji. Google inwestuje także dużo w wyszukiwanie wizualne i wideo w internecie, dlatego stworzenie modelu multimodalnego takiego jak MUM przynosi ogromne korzyści.

Z drugiej strony ERNIE 3.0 Tytan jest znacznie większy niż MUM, ale jest przeszkolony do rozumienia i generowania wyłącznie języka chińskiego. Na pierwszy rzut oka może się to wydawać ograniczeniem, ale w rzeczywistości jest dobrodziejstwem dla Baidu. W końcu baza użytkowników Baidu składa się prawie w całości osób mieszkających w Chinach.

A więc MAMA i ERNIE 3.0 Każdy z rozwiązań Titan jest dostosowywany do indywidualnych wymagań firm Google i Baidu. A ponieważ Google całkowicie wycofał się z chińskiego rynku w 2010 roku, żadna firma nie konkuruje ze sobą (choć jesteśmy pewni, że każda z nich byłaby szczęśliwa, mogąc zdobyć więcej powodów do przechwalania się).

Co robi ERNIE 3.0 Tytanowy środek dla przyszłości wyszukiwania?

Wydanie ERNIEgo 3.0 Być może Tytan nie wpływa bezpośrednio na codzienne życie kogokolwiek poza Chinami, ale nic nie istnieje w próżni (szczególnie dotyczy to Internetu). W związku z tym najnowszy model NLP Baidu nadal ma ogólny wpływ na krajobraz wyszukiwania.

W szczególności Titan przesuwa granice tego, co znamy jako „maksymalny” rozmiar modelu NLP, chińskiego i innego. I z GPT-4 się spodziewać około 100 parametrów kiedy zostanie wydany w przyszłości, pytanie „Jak duży może być model NLP?” jest bardziej aktualne niż kiedykolwiek.

Co więcej, Titan może pokazać światu, jak głęboko model sztucznej inteligencji może zrozumieć pojedynczy, złożony język, jeśli ma wystarczającą ilość danych do pracy. (Z kolei MUM Google pokaże nam, jak dobrze model NLP może rozumieć dziesiątki języków jednocześnie.)

Tytan to jeden duży krok dla Baidu i jeden ogromny skok w wyszukiwarkach

Jeśli optymalizowane witryny są przeznaczone głównie dla odbiorców spoza Chin, być może nie poświęciłeś zbyt wiele uwagi optymalizacji pod kątem Baidu lub poznaniu jego algorytmów, co jest zrozumiałe. Ale prawda jest taka, że ​​przejmujesz się tym, co robi Baidu – jego wielkość i wpływ oznaczają, że jego działania mają ogromny wpływ na cały świat SEO i ogólnie wyszukiwarek, chińskich czy nie.

A w przypadku ERNIEgo 3.0 Titan, to prawda bardziej niż kiedykolwiek wcześniej. Wraz ze swoją premierą Baidu dokonał prawdziwego przełomu i możesz być pewien, że inżynierowie Google uważnie przyglądają się każdemu szczegółowi. Wyszukiwarki dopiero zaczynają odkrywać potencjał modeli NLP, takich jak ERNIE i MUM, a Baidu właśnie znacząco podniosło stawkę.

Kredyty obrazowe

Zrzut ekranu autorstwa autora / styczeń 2023
Google / maj 2021