خلاصه I/O 2024 Web AI: مدل ها، ابزارها و API های جدید برای برنامه وب بعدی شما

جیسون میز
الکساندرا کلپر

در طول سال گذشته تغییرات زیادی در هوش مصنوعی وب تغییر کرده است. اگر آن را از دست دادید، در I/O 2024 درباره مدل‌ها، ابزارها و APIهای جدید برای برنامه وب بعدی شما صحبت کردیم.

هوش مصنوعی وب مجموعه‌ای از فن‌آوری‌ها و تکنیک‌ها برای استفاده از مدل‌های یادگیری ماشینی (ML) در سمت مشتری در مرورگر وب است که روی CPU یا GPU دستگاه اجرا می‌شود. این می تواند با جاوا اسکریپت و سایر فناوری های وب مانند WebAssembly و WebGPU ساخته شود. این برخلاف هوش مصنوعی سمت سرور یا "هوش مصنوعی ابری" است، که در آن مدل بر روی یک سرور اجرا می شود و با یک API به آن دسترسی پیدا می کند.

در این گفتگو به اشتراک گذاشتیم:

  • نحوه اجرای مدل‌های جدید زبان بزرگ (LLM) در مرورگر و تأثیر مدل‌های در حال اجرا در سمت مشتری.
  • نگاهی به آینده بلوک های بصری ، برای نمونه سازی سریعتر.
  • و اینکه چگونه توسعه دهندگان وب می توانند از جاوا اسکریپت در کروم برای کار با هوش مصنوعی وب در مقیاس استفاده کنند.

LLM ها در مرورگر

Gemma Web یک مدل باز جدید از Google است که می تواند در مرورگر دستگاه کاربر اجرا شود و از همان تحقیقات و فناوری ساخته شده است که ما برای ایجاد Gemini استفاده کردیم.

با آوردن LLM روی دستگاه، پتانسیل قابل توجهی برای صرفه جویی در هزینه در مقایسه با اجرای بر روی سرور ابری برای استنتاج، همراه با افزایش حریم خصوصی کاربر و کاهش تاخیر وجود دارد. هوش مصنوعی مولد در مرورگر هنوز در مراحل اولیه خود است، اما با ادامه بهبود سخت افزار (با CPU و رم GPU بالاتر)، انتظار داریم مدل های بیشتری در دسترس قرار گیرند.

کسب‌وکارها می‌توانند کارهایی را که می‌توانید در یک صفحه وب انجام دهید، به‌ویژه برای موارد استفاده خاص، که در آن وزن LLM‌های کوچکتر (2 تا 8 میلیارد پارامتر) می‌توانند برای اجرا بر روی سخت‌افزار مصرف‌کننده تنظیم شوند، دوباره تصور کنند.

Gemma 2B برای دانلود در Kaggle Models در دسترس است و در قالبی ارائه می شود که با Web LLM inference API ما سازگار است. دیگر معماری‌های پشتیبانی شده عبارتند از Microsoft Phi-2 ، Falcon RW 1B ، و Stable LM 3B ، که می‌توانید با استفاده از کتابخانه مبدل ما، آنها را به قالبی تبدیل کنید که زمان اجرا بتواند از آن استفاده کند.

نمونه های اولیه سریع تری با بلاک های ویژوال بسازید

با Visual Blocks می‌توانید تخمین عمق را بدون کد در کلاینت اجرا کنید.

ما با Hugging Face همکاری می کنیم، که 16 گره سفارشی کاملاً جدید را برای بلوک های بصری ایجاد کرده است. این کار Transformers.js و اکوسیستم گسترده‌تر Hugging Face را به بلوک‌های بصری می‌آورد.

هشت تا از این گره‌های جدید کاملاً در سمت کلاینت اجرا می‌شوند، با هوش مصنوعی وب، از جمله:

علاوه بر این، هفت وظیفه ML سمت سرور از Hugging Face وجود دارد که به شما امکان می‌دهد هزاران مدل را با API در Visual Blocks اجرا کنید. مجموعه بلوک‌های بصری Hugging Face را بررسی کنید.

از جاوا اسکریپت برای هوش مصنوعی وب در مقیاس با Chrome استفاده کنید

در نمونه‌های قبلی، مانند Gemma، مدل در خود صفحه وب بارگذاری و اجرا می‌شود. Chrome روی هوش مصنوعی داخلی روی دستگاه کار می‌کند، جایی که می‌توانید به مدل‌هایی با APIهای جاوا اسکریپت استاندارد و مختص کار دسترسی داشته باشید.

و این تمام نیست. کروم همچنین WebGPU را با پشتیبانی از مقادیر ممیز شناور 16 بیتی به روز کرده است.

WebAssembly پیشنهاد جدیدی به نام Memory64 برای پشتیبانی از شاخص های حافظه 64 بیتی دارد که به شما امکان می دهد مدل های هوش مصنوعی بزرگتر را نسبت به قبل بارگیری کنید.

آزمایش مدل‌های هوش مصنوعی وب را با کروم بدون هد شروع کنید

اکنون می‌توانید هوش مصنوعی سمت کلاینت (یا هر برنامه‌ای که به پشتیبانی WebGL یا WebGPU نیاز دارد) را با استفاده از Headless Chrome آزمایش کنید، در حالی که از پردازنده‌های گرافیکی سمت سرور برای شتاب استفاده می‌کنید، مانند NVIDIA T4 یا P100 بیشتر بدانید:

به یاد داشته باشید، وقتی آنچه را که ایجاد می‌کنید به اشتراک می‌گذارید، #WebAI را اضافه کنید تا جامعه وسیع‌تر بتواند کار شما را ببیند. یافته ها و پیشنهادات خود را در X، LinkedIn یا پلتفرم اجتماعی که ترجیح می دهید به اشتراک بگذارید.