지난 한 해 동안 웹 AI에는 많은 변화가 있었습니다. 아직 확인하지 못하신 분들을 위해 I/O 2024에서 차기 웹 앱을 위한 새로운 모델, 도구, API에 대해 다룬 바 있습니다.
Web AI는 기기의 CPU 또는 GPU에서 실행되는 웹브라우저에서 클라이언트 측 머신러닝 (ML) 모델을 사용하기 위한 일련의 기술 및 기법입니다. 이는 JavaScript와 기타 웹 기술(예: WebAssembly 및 WebGPU)을 사용하여 빌드할 수 있습니다. 이는 모델이 서버에서 실행되고 API로 액세스하는 서버 측 AI 또는 'Cloud AI'와는 다릅니다.
이 강연에서 공유한 내용은 다음과 같습니다.
- 브라우저에서 새로운 대규모 언어 모델 (LLM)을 실행하는 방법과 클라이언트 측에서 모델을 실행할 때의 영향
- 더 빠르게 프로토타입을 제작하기 위한 시각적 블록의 미래 전망
- 웹 개발자가 Chrome에서 JavaScript를 사용하여 웹 AI를 대규모로 사용하는 방법을 알아보세요
브라우저의 LLM
Gemma Web은 Google의 새로운 개방형 모델로, Gemini를 만들 때 사용한 것과 동일한 연구 및 기술로 개발되었으며 사용자 기기의 브라우저에서 실행할 수 있습니다.
LLM을 기기에 도입하면 추론을 위해 클라우드 서버에서 실행할 때보다 비용을 절감할 수 있을 뿐만 아니라 사용자 개인 정보 보호가 강화되고 지연 시간이 단축됩니다. 브라우저의 생성형 AI는 아직 초기 단계이지만, CPU 및 GPU RAM이 높아지면서 하드웨어가 계속 개선됨에 따라 더 많은 모델을 사용할 수 있을 것으로 예상됩니다.
기업은 특히 더 작은 LLM (20억~80억 개의 매개변수)의 가중치를 소비자 하드웨어에서 실행하도록 조정할 수 있는 태스크별 사용 사례의 경우 웹페이지에서 할 수 있는 작업을 재구성할 수 있습니다.
Gemma 2B는 Kaggle 모델에 다운로드할 수 있으며 Google의 웹 LLM 추론 API와 호환되는 형식으로 제공됩니다. 지원되는 다른 아키텍처로는 Microsoft Phi-2, Falcon RW 1B, 안정적인 LM 3B가 있으며, 변환기 라이브러리를 사용하여 런타임에서 사용할 수 있는 형식으로 변환할 수 있습니다.
시각적 블록을 사용하여 더 빠른 프로토타입 제작
Hugging Face와 공동작업하여 Visual Blocks용 맞춤 노드 16개를 새로 만들었습니다. 이를 통해 Transformers.js와 더 넓은 Hugging Face 생태계가 Visual Blocks에 도입됩니다.
이러한 새로운 노드 중 8개는 다음을 포함하여 Web AI와 함께 전적으로 클라이언트 측에서 실행됩니다.
또한 Hugging Face에는 7가지 서버 측 ML 작업이 있으므로 시각적 블록에서 API를 사용하여 수천 개의 모델을 실행할 수 있습니다. Hugging Face Visual Blocks 컬렉션을 확인하세요.
Chrome에서 규모에 맞게 웹 AI용 JavaScript 사용하기
이전 인스턴스(예: Gemma)에서는 모델이 웹페이지 자체 내에서 로드되고 실행됩니다. Chrome은 내장된 기기 내 AI에서 작업 중이며, 사용자는 표준화된 작업별 JavaScript API를 사용하여 모델에 액세스할 수 있습니다.
그뿐만이 아닙니다. 또한 Chrome은 16비트 부동 소수점 값을 지원하도록 WebGPU를 업데이트했습니다.
WebAssembly에는 64비트 메모리 색인을 지원하기 위한 새로운 제안 Memory64가 있습니다. 이를 통해 이전보다 큰 AI 모델을 로드할 수 있습니다.
헤드리스 Chrome으로 웹 AI 모델 테스트 시작
이제 헤드리스 Chrome을 사용하여 클라이언트 측 AI (또는 WebGL 또는 WebGPU 지원이 필요한 모든 애플리케이션)를 테스트하면서 NVIDIA T4 또는 P100과 같은 가속을 위해 서버 측 GPU를 사용할 수 있습니다. 자세히 알아보기
- Google Colab에서 실행
- 테스트 자세히 알아보기
- GitHub에서 예시 코드도 확인해 보세요.
내가 만든 콘텐츠를 공유할 때 더 광범위한 커뮤니티에서 내 작품을 볼 수 있도록 #WebAI를 추가하세요. X, LinkedIn 또는 선호하는 소셜 플랫폼에서 발견 항목과 제안사항을 공유하세요.