この 1 年でウェブ AI は大きく変化しました。見逃した方のために、I/O 2024 で、ウェブアプリ用の新しいモデル、ツール、API についてお話ししました。
ウェブ AI は、デバイスの CPU または GPU 上で実行されるウェブブラウザで、クライアントサイドで機械学習（ML）モデルを使用するためのテクノロジーと手法のセットです。これは、JavaScript やその他のウェブ技術（WebAssembly や WebGPU など）を使用して構築できます。これは、モデルがサーバー上で実行され、API を使用してアクセスされるサーバー側の AI または「Cloud AI」とは異なります。
この講演では、以下の点について紹介しました。
- ブラウザで新しい大規模言語モデル（LLM）を実行する方法と、クライアントサイドでモデルを実行する場合の影響
- より迅速なプロトタイプ作成を可能にする、ビジュアル ブロックの未来
- ウェブ デベロッパーが Chrome で JavaScript を使用して大規模にウェブ AI と連携させる方法を紹介します。
ブラウザでの LLM
Gemma Web は、Google の新しいオープンモデルで、Gemini の開発に使用されたのと同じ研究と技術を基に構築されています。ユーザーのデバイスのブラウザ内で動作できます。
LLM をデバイスに導入することで、ユーザーのプライバシーの強化とレイテンシの短縮に加え、クラウド サーバーで実行して推論を実行する場合と比較して、大幅なコスト削減を実現できます。ブラウザ内の生成 AI はまだ初期段階にありますが、（CPU と GPU RAM の増大により）ハードウェアが改良され続けるにつれて、利用可能なモデルがさらに増えると予想されます。
企業はウェブページでできることを再考できます。特にタスク固有のユースケースでは、より小さな LLM（20 ～ 80 億個のパラメータ）の重みを消費者向けハードウェアで実行できるように調整できます。
Gemma 2B は Kaggle Models でダウンロードでき、Google の Web LLM 推論 API と互換性のある形式で提供されます。サポートされているその他のアーキテクチャには Microsoft Phi-2、Falcon RW 1B、Stable LM 3B があり、コンバータ ライブラリを使用してランタイムで使用できる形式に変換できます。
ビジュアル ブロックでより高速なプロトタイプを構築する
Google は Hugging Face とコラボレーションしています。同社は Visual Blocks 用に 16 の新しいカスタムノードを作成しました。これにより、Transformers.js と広範な Hugging Face エコシステムが Visual Blocks で利用可能になりました。
これらの新しいノードのうち、ウェブ AI によって完全にクライアント サイドで実行される次のようなノードが 8 つあります。
さらに、Hugging Face のサーバーサイド ML タスクが 7 つあり、ビジュアル ブロックの API を使用して数千のモデルを実行できます。Hugging Face のビジュアル ブロック コレクションをご覧ください。
Chrome で JavaScript for Web AI を大規模に使用する
Gemma などの以前のインスタンスでは、モデルはウェブページ自体内で読み込まれ、実行されます。Chrome は、標準化されたタスク固有の JavaScript API を使用してモデルにアクセスできる組み込みのオンデバイス AI に取り組んでいます。
それだけではありません。Chrome では WebGPU も更新され、16 ビットの浮動小数点値がサポートされるようになりました。
WebAssembly には、64 ビットメモリ インデックスをサポートする新しい提案 Memory64 があります。これにより、以前よりも大きな AI モデルを読み込むことができます。
ヘッドレス Chrome でウェブ AI モデルのテストを開始する
ヘッドレス Chrome を使用してクライアント側の AI（または WebGL や WebGPU のサポートを必要とするアプリケーション）をテストし、NVIDIA T4 や P100 などのサーバーサイド GPU をアクセラレーションに使用できるようになりました。詳細:
- Google Colab で実行する
- テストの詳細を読む
- GitHub にあるサンプルコードをご確認ください。
作成したコンテンツを共有する際は、幅広いコミュニティに見られるように #WebAI を追加してください。X、LinkedIn、または好みのソーシャル プラットフォームで発見や提案を共有しましょう。