Co to jest GPT-3 i jakie są jego zastosowania?

OpenAI wypuściło niedawno największy model języka naturalnego, GPT-3, podobny do swoich poprzedników. Być może zastanawiasz się, co to jest GPT-3? Model ten różni się przede wszystkim od pozostałych wersji. Mając dziesięciokrotnie więcej niż poprzedni największy model i trenując na znacznie większym zbiorze danych. Liczbowe różnice tej wielkości podano w ćwiczeniu GPT-3.

Pozwala to osiągnąć poprawę jakościową w stosunku do dotychczasowych konkurentów. W przeciwieństwie do innych wersji, wyszkolony model GPT-3 może wykonywać wiele zadań bez przeszkolenia w tym zakresie. Sprawa ta spotkała się z dużym uznaniem zarówno w technologii, jak i w wiadomościach. Kilka badań dotyczy niezliczonych zastosowań i kilku kluczowych ograniczeń. Chociaż GPT-3 poczynił znaczne postępy, pewnymi ograniczeniami zajmiemy się później.

Gdzie zaczęła się historia GPT-3?

28 maja OpenAI opublikowało artykuł zatytułowany „Modele językowe szybko się uczą”. Wprowadzono GPT-3 jako największy model językowy, jaki kiedykolwiek zbudowano. Ten 73-stronicowy artykuł pokazuje, jak nowe trendy GPT-3 podążają za postępem artystycznym w modelowaniu języka. GPT-3 osiąga obiecujące i konkurencyjne wyniki w testach porównawczych przetwarzania języka naturalnego.

GPT-3 pokazuje wzrost wydajności dzięki zastosowaniu większego modelu. Następuje ogromny wzrost modelu i rozmiaru informacji opisujących najnowsze osiągnięcia w dziedzinie NLP. Głównym przesłaniem tego stwierdzenia jest raczej to, jak ten model radzi sobie w benchmarkach. Chodziło o to odkrycie, że GPT-3 mógł wykonywać zadania w NLP, z którymi nigdy wcześniej się nie spotkał ze względu na swoją skalę. Rozwiąż po obejrzeniu raz lub kilku przykładów. Kontrastuje to z tym, co dzieje się dzisiaj. Modele nowych poleceń należy ćwiczyć, korzystając z ogromnych ilości informacji.

Ten obraz przedstawia metodę GPT-3 (po lewej) i starą metodę strojenia (po prawej). Wewnętrzne wyświetlacze modelu są ustawione na nowe informacje, gdy wykonywane są aktualizacje gradientu.

W zeszłym roku OpenAI opracowało drugą wersję GPT. Które mogły tworzyć długie i spójne teksty, które trudno było odróżnić od pisma ludzkiego. OpenAI twierdzi, że w swoim nowym produkcie wykorzystało model i strukturę GPT-2. Różnica polega jednak na wielkości sieci i informacjach, jakie przekazuje. Jest znacznie większy od swoich poprzedników. GPT-3 ma 175 miliardów komponentów w porównaniu do GPT-2, który ma 1,5 miliarda komponentów, i GPT-2, który ma ponad 40 miliardów gigabajtów tekstu. GPT-3 jest trenowany na 570 miliardach gigabajtów tekstu. Zwiększanie tej skali nie jest jednak innowacją. GPT-3 jest ważny ze względu na kilka opcji uczenia się pokazanych w poniższym przykładzie z różnymi przykładami ćwiczeń w języku naturalnym.

Przykłady GPT-3 Odpowiadanie na pytania w zakładce

Po opublikowaniu artykułu stwierdzono, że 11 czerwca GPT-3 będzie dostępny dla zewnętrznych programistów za pośrednictwem interfejsu programistycznego OpenAI. Pierwszy produkt promocyjny i w fazie beta testów. Dostęp do GPT-3 jest możliwy wyłącznie za zaproszeniem i nie jest jeszcze wyceniony. Po emisji przez interfejs programistyczny oprogramowania OpenAI, ze względu na unikalne demonstracje GPT-3 i jego potencjału (a także pisanie krótkich artykułów, wpisów na blogach i tworzenie kreatywnych tekstów fabularnych). W społeczności AI i poza nią toczyło się wiele dyskusji. Jednym z najlepszych przykładów tego potencjału jest stworzenie Tahna JavaScript z prostym wyjaśnieniem w języku angielskim.

Korzystając z GPT-3, stworzyłem procesor stronicowy, który przygotuje dla Ciebie kod JSX poprzez wyjaśnienie szablonu.

Tutaj znajdziesz wtyczkę GPT-3, która może stworzyć fałszywą stronę internetową podobną do oryginalnej wersji, pobierając adres URL i opis.

Po wielu godzinach zastanawiania się, jak to działa, przetestowałem świetną wersję demonstracyjną GPT-3. Zadziwiła mnie spójność testu GPT-3 i jego delikatność. Spróbujmy z tym podstaw arytmetyki.

Po otrzymaniu dostępu akademickiego pomyślałem o oprogramowaniu GPT-3 i jego znajomości w dziale językowym. Mając to na uwadze, wymyśliłem nowe demo, wykorzystanie akcesoriów; co można zrobić z przedmiotem?

Opinia GPT-3

Media, eksperci w tej dziedzinie i ogromna społeczność technologiczna mają odmienne poglądy na temat możliwości GPT-3 i jego wdrożenia na większą skalę; W komentarzach pojawia się optymizm co do większej produktywności człowieka w przyszłości i obawa przed utratą pracy, a także dokładne rozważenie możliwości i ograniczeń tej technologii.

Jakie są opinie mediów na temat GPT-3?

Od czasu wydania wersji demonstracyjnych wzrosło zainteresowanie mediów tym problemem:

• Informacje zwrotne z MIT na temat GPT-3 i różne źródła pokazały, w jaki sposób może on tworzyć tekst przypominający ludzki; Od generowania kodów reakcji po pisanie poezji. „Ta technologia umożliwia pisanie na wzór człowieka, ale nie przybliży nas do prawdziwej inteligencji” – stwierdził instytut o GPT-3.
• Instytut Verge skupił się na potencjale reklamowym oprogramowania GPT-3.
• Po dyskusjach na ten temat źródła wiadomości, takie jak Forbes i Venturebeat, zbadały takie kwestie, jak modele Bias i Hype.
• Oprócz wskazania jego wad, Wired zauważył, że GPT-3 może wprowadzić nowszą i bardziej niebezpieczną wersję technologii Deepfake, która eliminuje potrzebę stosowania niezmodyfikowanych nośników w porównaniu z próbkami podrobionymi. Teksty syntetyczne można zazwyczaj z łatwością publikować w dużych nakładach i są łatwo rozpoznawalne.
• „The New York Times” opublikował także artykuł zatytułowany „Nowa generacja sztucznej inteligencji jest bardzo interesująca i trochę przerażająca”. Istnieją obawy, że autorzy zastąpią GPT-3.
• Wreszcie John Nathan, profesor technologii otwartej na Open University i współautor The Guardian, postrzega GPT-3 jedynie jako postęp w stosunku do swoich poprzedników. Nie żeby było to nowe i ważne odkrycie. Nathan ostrzega, że ​​jeśli te ulepszenia mają dostarczyć jak najwięcej danych, to jest to możliwe. Koszty uboczne będą w przyszłości ogromne.

Jakie są opinie ekspertów sztucznej inteligencji na temat GPT-3?

Wbrew doniesieniom mediów, opinie ekspertów od uczenia maszynowego i technik języka naturalnego. Było to raczej spowodowane ciekawością i skupieniem się na użyciu GPT-3. I przekonaj się, jak bardzo potrafi w pełni zrozumieć ludzki język.

• Redaktor ds. badań nad sztuczną inteligencją firmy NVIDIA i profesor matematyki i rachunkowości w Caltech Anima Anandcomad z OpenAI skrytykowała fakt, że nie zwracano wystarczającej uwagi na stronniczość. GPT-2 miał podobne problemy z nowym modelem.
• Ponieważ w tej technologii wykorzystano niezarządzane zasoby informacyjne, takie jak Reddit, i wpłynęły one na ludzi do pisania tekstu.
• Dyrektor ds. sztucznej inteligencji w Facebooku, Jerome Pazenti, miał podobne poglądy: GPT-3 jest kreatywny i interesujący, ale może szkodzić prawom człowieka. Możemy uzyskać obrzydliwe rezultaty, gdy poprosimy GPT-3 o umieszczenie na Twitterze słów takich jak Żydzi, czarni, kobiety i Holokaust. Potrzebujemy dalszych prac nad responsywną sztuczną inteligencją, zanim udostępnimy ją społeczeństwu.

Badacz uczenia maszynowego Dilip Rao odpowiedział na to, publikując, że atmosfera stworzona w cyberprzestrzeni na temat pojawiających się technologii może wprowadzać w błąd. GPT-3 i nowsze wersje technologii uczenia się z małą ilością danych lub kilkuetapowym uczeniem się od etapu badawczego do etapu operacyjnego. Ale każdy skok technologiczny wynika z samej liczby rozmów. Debaty w mediach społecznościowych mogą zniekształcić nasze myślenie o prawdziwych możliwościach tych technologii.

• Julian Toglius, profesor sztucznej inteligencji na Uniwersytecie Nowojorskim, również opublikował wpis na blogu na ten temat zatytułowany „Bardzo mała historia czasów, w których rozwiązaliśmy sztuczną inteligencję”. W poście wskazuje na skok technologiczny w tej technologii i podaje powody, dla których należy obniżyć emocje, zgodnie z historyczną propozycją AI. „Algorytmy wyszukiwania, optymalizacji i uczenia się były jednym z naszych problemów; Na przykład, jak ludzkość upada i zastępuje ją maszynami! Ale dzisiaj algorytmy te zarządzają naszym oprogramowaniem i produktami oraz zwiększają ich produktywność. Gry i aplikacje na telefony i maszyny nie są wyjątkiem. Teraz, gdy ta technologia działa niezawodnie, nie można jej już nazwać sztuczną inteligencją; „Wręcz przeciwnie, te kwestie stały się trochę nudne!”

Jakie są opinie wiodących branż naukowych na świecie na temat GPT-3?

Komentatorzy mieli różne podejścia do branży technologicznej, a wielu wyjaśniało koncepcje programowania sztucznej inteligencji.

• Max Wolf, analityk danych w Bazfid, podkreślił znaczenie sposobu, w jaki nasze oczekiwania mierzą GPT-3. Ponieważ kwestie zgłaszane jako wywiadowcze są zwykle wybierane z najlepszych przykładów, chociaż tekst uzyskany przez GPT-3 jest lepszy
• W przeciwieństwie do innych modeli językowych, ponieważ jest on bardzo powolny, duży i wymaga wielu szkoleń dotyczących danych, dostosowanie go do pracy z określonymi informacjami może nie być możliwe.
• Kevin Leker, inżynier Google i założyciel startupu Parse, pokazał, że GPT-3 może dostarczyć trafnych odpowiedzi na wiele najczęściej zadawanych pytań dotyczących realiów świata. Dzięki tej technologii można je łatwo uzyskać dzięki zestawowi notatek ćwiczeniowych. Blogerka Gwen Branon również oceniła GPT-3 pod kątem wielu portfolio i motywów.

„Trudno znaleźć proste konteksty kodowania”. Powiedział Brett Goldstein, przedsiębiorca i były menedżer produktu Google. W odpowiedzi na sposób kodowania GPT-3 w oparciu o specyfikacje podane przez człowieka. Może to mieć również miejsce w przypadku projektu; Wiele firm będzie chciało używać GPT-3, zamiast zatrudniać kosztownych inżynierów zajmujących się uczeniem maszynowym do ćwiczenia swoich słabszych modeli. „Analitycy danych, agenci obsługi klienta, asystenci prawni i wiele innych zawodów są narażeni na duże ryzyko”.

• W odpowiedzi na różne demonstracje jego możliwości GPT-3, użytkownik Reddita rues Racine zaczął omawiać ścieżki kariery w świecie po GPT-3. Z postu tego użytkownika wynika, że ​​niektórzy uważają, że GPT-3 zabierze im pracę. Z drugiej strony, niektórzy ludzie wspierają przechodzenie na wcześniejszą emeryturę lub naukę i rozwój nowych umiejętności zgodnie z codziennym postępem technologicznym. Podobnie jak ludzie postrzegają tę technologię zwaną GPT-3 jako krok w kierunku ogólnej sztucznej inteligencji. Inna grupa uważa, że ​​możliwości GPT-3 zostały przeszacowane i wiele przewidywań nie może się spełnić.
• Jonathan Lee, badacz projektowania doświadczeń użytkowników, również wypowiedział się na temat obaw ludzi związanych z pracą w swoim poście „Porozmawiajmy o sztucznej inteligencji GPT-3, która wstrząśnie projektantami” i stwierdził, że ludzie powinni zająć się swoimi obawami, aby zmniejszyć utratę pracy.
• Wbrew przekonaniom wielu osób sztuczna inteligencja może ułatwić nam zadanie, dzięki czemu nie musimy już zawracać sobie głowy żmudnymi i czasochłonnymi zadaniami. Dzięki temu ludzie mogą angażować się w kreatywne zajęcia i nowe pomysły, co daje nam swobodę tworzenia nowych przykładów projektów. W tym przypadku sztuczna inteligencja zależy od tego, jak z niej korzystamy.

Dyrektor generalny OpenAI, Sam Altman, odpowiedział: „Chociaż dzięki tej technologii poczyniliśmy ogromne postępy w dziedzinie sztucznej inteligencji, nadal istnieje wiele obszarów sztucznej inteligencji, których ludzie jeszcze nie opanowali.

Jest wiele szumu wokół GPT-3 i to jest interesujące. Ma jednak swoje słabości i czasami popełnia głupie błędy. Sztuczna inteligencja zmieni świat w przyszłości, ale GPT-3 to tylko jedno ze źródeł. Jest jeszcze wiele do znalezienia.

Krótko mówiąc, wielu ekspertów podało ciekawe przykłady porównania języka naturalnego z GPT-3. Zarówno media, jak i społeczności technologiczne pogratulowały OpenAI postępów. Jednocześnie ostrzegali, że może to doprowadzić w przyszłości do ogromnych zawirowań technologicznych. Prezes OpenAI zgadza się jednak z badaczami i krytykami tej technologii. I wie, że GPT-3 stanowi ogromny krok naprzód w dziedzinie sztucznej inteligencji, ale nie rozumie języka. I że istnieją spore problemy z wykorzystaniem tego modelu w realnym świecie. Sztuczna inteligencja może nazwać te problemy orientacją i czasem szkolenia.

Jakie są ograniczenia GPT-3?

Nowy, kilkustrzałowy system uczenia się i możliwości, jakie wykazał GPT-3 w dziedzinie sztucznej inteligencji i rosnący postęp w tej dziedzinie oraz fakt, że tylko poprzez zmianę i powiększenie skali stosowanej w istniejących systemach, wspaniale jest zrobić taki postęp.

Jednak niezwykłe wyniki, jakie pokazał w swoich umiejętnościach, wywołały wiele kontrowersji. Poczynimy kilka uwag na temat konieczności ograniczenia tego zamieszania. Ogólnie rzecz biorąc, obfitość możliwości GPT-3 oraz możliwość wykonywania różnych czynności i zagrażania powiązanym zawodom, jak na przykład stwierdzenie „sztuczna inteligencja programistów, a nawet wszystkich branż może przejść na emeryturę i zostać odrzucona”, budzi obawy w związku z tą kwestią. Chociaż GPT-3 wykazuje znaczny postęp w modelach językowych, brakuje mu prawdziwej inteligencji i nie może w pełni zastąpić personelu.

W końcu GPT-3 jest podobny do wszystkich swoich poprzedników, tylko bardziej zaawansowany. Chociaż powiększenie skali szkoleniowej dało doskonałe rezultaty, GPT-3 ma ograniczenia.

• Brak pamięci długotrwałej (ponieważ GPT-3 już działa, po udanych interakcjach nie jest w stanie nauczyć się niczego tak jak człowiek).
• Limit głośności wejściowej (w przypadku GPT-3 nie można przetworzyć żądań dłuższych niż kilka zdań).
• Może działać tylko z tekstem (więc nie może działać z obrazem, dźwiękiem ani niczym innym, do czego ludzie mogą łatwo uzyskać dostęp).
• Brak zaufania (GPT-3 jest niejednoznaczny w niektórych obszarach, więc nie ma gwarancji, że podczas odpowiedzi na niektóre pytania wygeneruje nieprawidłowy lub problematyczny tekst).
• Niemożliwy do zinterpretowania (kiedy GPT-3 działa w zaskakujący sposób, może utrudnić lub nawet uniemożliwić skorygowanie lub zapobieżenie takim sytuacjom).
• Powolne wnioskowanie (obecne modele GPT-3 są drogie i niewygodne ze względu na dużą skalę podejmowanych decyzji).

Jaki jest wpływ GPT-3 na przyszłe miejsca pracy?

Choć technologie takie jak GPT-3 mogą w przyszłości zmienić charakter wszystkich zawodów, nie musi to oznaczać, że te stanowiska znikną. Tak jak wdrażanie nowych technologii jest zwykle długim i powolnym procesem, tak wiele technologii sztucznej inteligencji pomoże ludziom, zamiast zastępować ich miejscami pracy. Oczywiście to drugie będzie znacznie bardziej prawdopodobne, ponieważ modele sztucznej inteligencji muszą być monitorowane przez ludzi, aby uniknąć potencjalnych wad. Patrząc na przykład tworzenia stron internetowych, ktoś posiadający wiedzę techniczną i doświadczenie powinien zakodować i poprawić kod GPT-3.

Wizja komputerowa, która dokonała wielu skoków przed NLP, wzbudziła podobne obawy dotyczące tego, w jaki sposób sztuczna inteligencja może przejąć kilka zadań w systemie terapeutycznym. Zamiast jednak zabierać pracę i zastępować lekarzy takich jak radiologowie, sztuczna inteligencja może ułatwić im pracę. Radiolog ze Stanford Curtis Langloetz twierdzi, że sztuczna inteligencja nie zastąpi radiologów, ale radiologowie korzystający ze sztucznej inteligencji zastąpią tych, którzy tego nie robią. To samo może dotyczyć GPT-3; Ale w końcu to tylko model, a modele nie są idealne.

Niektórzy uważają, że GPT-3 to duży krok w stronę sztucznej inteligencji, czyli ogólnie sztucznej inteligencji; Podobne do tego, co mają ludzie. Choć pokazuje postęp, ważne jest, aby w obliczu tych wstrząsów mówić o czymś ważnym. Emily Bander, lingwistka obliczeniowa z Uniwersytetu Waszyngtońskiego i Alexander Coleraz z Uniwersytetu Saary, zaproponowali niedawno test ośmiornicy. W tym eksperymencie dwie osoby mieszkają na odległej wyspie i komunikują się za pomocą kabla na dnie oceanu.

Ośmiornica może podsłuchiwać ich rozmowy. Działa jako serwer proxy dla modeli językowych, takich jak GPT-3. Wreszcie, jeśli ośmiornicy uda się wcielić się w jednego z nich i odniesie sukces, test zostaje uznany. Ale obaj badacze podali także przykłady sytuacji, w których ośmiornice nie mogły przetrwać eksperymentu, np. sprzęt budowlany lub samoobrona. Dzieje się tak dlatego, że modele te radzą sobie jedynie z tekstami i nie wiedzą o świecie rzeczywistym niczego, co ma znaczący wpływ na rozumienie językowe.

Ulepszanie GPT-3 i nowszych wersji może być podobne do przygotowania ośmiornicy do tego, co najlepsze. W miarę jak modele takie jak GPT-3 staną się bardziej wyrafinowane, będą wykazywać różne mocne i słabe strony; Jednak samo uczenie się z tekstów pisanych jest modelem, którego uczy się w dużych zbiorach danych. Prawdziwe zrozumienie pochodzi z interakcji języków, umysłów i prawdziwego świata, którego sztuczna inteligencja taka jak GPT-3 nie jest w stanie doświadczyć.

Bezpłatne pobieranie motywów WordPressPobierz najlepsze motywy WordPress do pobrania za darmoPobierz zerowe motywy WordPressPobierz najlepsze motywy WordPress do pobrania za darmobezpłatny kurs onlinepobierz oprogramowanie karbonnPobierz motywy WordPresspobierz płatny kurs Udemy za darmo