Logo
  • DONALD
  • GOOGLE STARTUJE Z AMBITNYM PROJEKTEM SZTUCZNEJ INTELIGENCJI ROZUMIEJĄCEJ ŚMIESZKI, ZNACZNIE BARDZIEJ ZŁOŻONY NIŻ GPT-3

Google startuje z ambitnym projektem sztucznej inteligencji rozumiejącej śmieszki, znacznie bardziej złożony niż GPT-3

17.04.2022, 08:00
Google
zaprezentowało nowy
model językowy
, który potrafi rozwiązywać
problemy matematyczne, tłumaczyć dowcipy
, a nawet programować. Jest to PaLM (Pathways Language Model) i wyróżnia się wydajnością uczenia się, która stawia go ponad innymi modelami językowymi stworzonymi do tej pory.
System PaLM został opracowany w oparciu o model Pathways, co pozwoliło na efektywne wyuczenie pojedynczego modelu przy użyciu wielu procesorów tensorowych.
Model opiera się na uczeniu się "kilku ujęć", co zmniejsza liczbę przykładów potrzebnych w treningu z konkretnymi zadaniami, aby dostosować go do pojedynczego zastosowania.
W tym celu wykorzystano bazę danych zawierającą
780 miliardów tokenów,
która łączy w sobie "wielojęzyczny zbiór danych", obejmujący dokumenty internetowe, książki, Wikipedię, rozmowy i kod GitHub.
Nowa AI posiada 540 miliardów parametrów
, czyli elementów, które są ulepszane podczas uczenia maszynowego. Dla porównania GPT-3 składa się z 175 miliardów parametrów.
Nowy model językowy Google'a łączy w Pathways 6 144 układów TPU v4, co stanowi "największą konfigurację TPU" zastosowaną w historii.
PaLM osiąga
57,8% wydajności szkolenia przy użyciu flopów sprzętowych.
Jest "najwyższą osiągniętą do tej pory dla modeli językowych w tej skali".
Według Google PaLM wykazał się innowacyjnymi możliwościami w licznych i bardzo trudnych zadaniach. Jako przykład wskazano jeden z testów. Polegał on na poproszeniu PaLM o odgadnięcie filmu na podstawie czterech emojis: robota, owada, rośliny i planety Ziemi. Spośród wszystkich opcji (L.A. Confidential, Wall-E, León: zawodowiec, BIG i Rush) SI wybiera tę właściwą: Wall-E.
W innym przypadku SI proszona jest o wybranie z listy słów dwóch, które kojarzą się z terminem "potknięcie". W tym wypadku również prawidłowo wybiera poprawnie.
Sztuczna inteligencja ma również potrafić rozwiązywać proste problemy matematyczne, a nawet wyjaśnić dowcip, kontekstualizując i wyjaśniając elementy, które się w nim pojawiają, aby nadać mu sens.
Na koniec Google zaznacza, że
PaLM potrafi programować, tłumacząc kod
z jednego języka na drugi, a także pisać kod na podstawie naturalnego opisu języka i wyjaśnia, że jest w stanie naprawiać błędy kompilacji.
Zobacz też:

Dokarm kaczkę przez internet

Zapraszamy do zapoznania się z naszym Patronite, także jeżeli nie zamierzasz nic wpłacać. To jest nasz manifest:

https://patronite.pl/donaldpl

STRONA GŁÓWNA »
NAJLEPSZE KOMENTARZE TYGODNIA