W ciągu ostatniego roku wiele się zmieniło w przypadku AI do wyszukiwania w internecie. Jeśli nie udało Ci się wziąć udziału w tej prezentacji, przypominamy, że podczas konferencji I/O 2024 omawialiśmy nowe modele, narzędzia i interfejsy API, które będą dostępne w przyszłej wersji aplikacji internetowej.
Web AI to zestaw technologii i technik, które umożliwiają korzystanie z modeli systemów uczących się po stronie klienta w przeglądarce na procesorze lub procesorze graficznym urządzenia. Można je tworzyć za pomocą JavaScriptu i innych technologii internetowych, takich jak WebAssembly i WebGPU. Jest to inne podejście niż sztuczna inteligencja po stronie serwera lub „sztuczna inteligencja w chmurze”, gdzie model jest uruchamiany na serwerze i dostępny za pomocą interfejsu API.
W trakcie tej prezentacji omówiliśmy:
- jak uruchamiać nasze nowe duże modele językowe (LLM) w przeglądarce i jakie są konsekwencje uruchamiania modeli po stronie klienta;
- spojrzenie w przyszłość Visual Blocks, aby szybciej tworzyć prototypy;
- oraz jak programiści mogą używać JavaScriptu w Chrome do pracy z AI w internecie na dużą skalę.
LLM w przeglądarce
Gemma Web to nowy otwarty model Google, który może działać w przeglądarce na urządzeniu użytkownika. Został on opracowany na podstawie tych samych badań i technologii, które wykorzystaliśmy do stworzenia Gemini.
Wdrożenie LLM na urządzeniu może przynieść znaczne oszczędności w porównaniu z wykorzystywaniem serwera w chmurze do wnioskowania, a także zwiększyć prywatność użytkowników i obniżyć opóźnienia. Generatywne AI w przeglądarce jest wciąż w fazie wstępnej, ale wraz z ulepszaniem sprzętu (większa ilość pamięci RAM procesora i procesora graficznego) spodziewamy się, że będzie można korzystać z większej liczby modeli.
Firmy mogą odkrywać nowe możliwości korzystania ze stron internetowych, zwłaszcza w przypadku zastosowań związanych z konkretnymi zadaniami, w których przypadku wagi mniejszych modeli LLM (2–8 mld parametrów) można dostosować do działania na sprzęcie konsumenckim.
Gemma 2B można pobrać na Kaggle Models. Model jest dostępny w formacie zgodnym z naszym interfejsem API do wnioskowania oparte na LLM w internecie. Inne obsługiwane architektury to Microsoft Phi-2, Falcon RW 1B i stabilna LM 3B. Można je przekonwertować do formatu obsługiwanego przez środowisko wykonawcze za pomocą naszej biblioteki konwertera.
Szybsze tworzenie prototypów za pomocą bloków wizualnych
Współpracujemy z firmą Hugging Face, która stworzyła 16 zupełnie nowych węzłów niestandardowych do bloków wizualnych. Dzięki temu Transformers.js i całe środowisko Hugging Face będą dostępne w Visual Blocks.
Osiem z tych nowych węzłów działa całkowicie po stronie klienta z wykorzystaniem AI w internecie, w tym:
- Segmentacja obrazu
- Tłumaczenie
- Klasyfikacja tokenów
- wykrywanie obiektów,
- Klasyfikacja tekstu
- Usuwanie tła
- szacowanie głębi,
Dodatkowo Hugging Face udostępnia 7 zadań systemów uczących się po stronie serwera, które umożliwiają uruchamianie tysięcy modeli za pomocą interfejsów API w Visual Blocks. Zapoznaj się z kolekcją bloków wizualnych Hugging Face.
Korzystanie z JavaScriptu do tworzenia AI w internecie na dużą skalę w Chrome
W poprzednich przypadkach, np. w przypadku Gemma, model jest wczytywany i uruchamiany na stronie internetowej. W Chrome pracujemy nad wbudowaną AI na urządzeniu, która umożliwia dostęp do modeli za pomocą standardowych interfejsów JavaScript API do określonych zadań.
To nie wszystko. Chrome został też zaktualizowany, aby obsługiwać WebGPU z uwzględnieniem wartości zmiennoprzecinkowych 16-bitowych.
WebAssembly ma nową propozycję, Memory64, która obsługuje 64-bitowe indeksy pamięci. Pozwoli to na wczytywanie większych modeli AI niż do tej pory.
Rozpocznij testowanie modeli AI w internecie za pomocą przeglądarki Chrome bez okna
Teraz możesz testować sztuczną inteligencję po stronie klienta (lub dowolną aplikację wymagającą obsługi WebGL lub WebGPU) za pomocą przeglądarki Chrome bez wyświetlacza, korzystając jednocześnie z procesorów graficznych po stronie serwera, takich jak NVIDIA T4 lub P100, na potrzeby przyspieszania. Więcej informacji:
- Uruchom go w Google Colab
- Przeczytaj szczegółowe omówienie testów
- Sprawdź też przykładowy kod na GitHubie.
Pamiętaj, aby podczas udostępniania swoich projektów dodawać hashtag #WebAI, dzięki czemu większa społeczność będzie mogła zobaczyć Twoje prace. Udostępnij swoje wyniki i sugestie na platformie X, LinkedIn lub innej platformie społecznościowej.