هوش مصنوعی داخلی

Kenji Baheux

Alexandra Klepper

تاریخ انتشار: 14 می 2024، آخرین به روز رسانی: 13 نوامبر 2024

وقتی ویژگی‌هایی را با مدل‌های هوش مصنوعی در وب ایجاد می‌کنیم، اغلب برای مدل‌های بزرگ‌تر به راه‌حل‌های سمت سرور تکیه می‌کنیم. این امر به ویژه در مورد هوش مصنوعی مولد صادق است، جایی که حتی کوچکترین مدل ها حدود هزار برابر بزرگتر از اندازه متوسط ​​صفحه وب هستند. این موضوع برای سایر موارد استفاده از هوش مصنوعی نیز صادق است، جایی که مدل ها می توانند از 10 ثانیه تا 100 مگابایت متغیر باشند. از آنجایی که این مدل‌ها در بین وب‌سایت‌ها به اشتراک گذاشته نمی‌شوند ، هر سایتی باید آنها را در بارگذاری صفحه بارگیری کند. این برای توسعه دهندگان و کاربران غیر عملی است.

ما در حال توسعه API های پلت فرم وب و ویژگی های مرورگر هستیم که برای ادغام مدل های هوش مصنوعی، از جمله مدل های زبان بزرگ (LLM) به طور مستقیم در مرورگر طراحی شده اند. این شامل Gemini Nano ، کارآمدترین نسخه از خانواده LLMهای Gemini است که برای اجرا به صورت محلی در اکثر رایانه‌های رومیزی و لپ‌تاپ مدرن طراحی شده است. با هوش مصنوعی داخلی، وب سایت یا برنامه وب شما می تواند وظایف مبتنی بر هوش مصنوعی را بدون نیاز به استقرار یا مدیریت مدل های هوش مصنوعی خود انجام دهد.

مزایای هوش مصنوعی داخلی، طرح پیاده سازی ما و نحوه استفاده از این فناوری را کشف کنید.

مهم: این پیاده سازی هوش مصنوعی داخلی با Gemini Nano یک آزمایش است و با آزمایش و بررسی بازخورد تغییر خواهد کرد.

یک پیش نمایش اولیه دریافت کنید

ما به نظرات شما برای شکل دادن به APIها نیاز داریم، اطمینان حاصل کنیم که موارد استفاده شما را برآورده می‌کنند، و بحث‌هایمان را با سایر فروشندگان مرورگر برای استانداردسازی اطلاع‌رسانی می‌کنیم.

به برنامه پیش‌نمایش اولیه ما بپیوندید تا درباره ایده‌های هوش مصنوعی داخلی در مراحل اولیه بازخورد ارائه کنید و فرصت‌هایی را برای آزمایش APIهای در حال پیشرفت از طریق نمونه‌سازی محلی کشف کنید.

به گروه اعلان‌های عمومی توسعه‌دهندگان Chrome AI بپیوندید تا در صورت در دسترس شدن API‌های جدید مطلع شوید.

مزایای هوش مصنوعی داخلی برای توسعه دهندگان وب

با هوش مصنوعی داخلی، مرورگر شما مدل های پایه و متخصص را ارائه و مدیریت می کند.

اصطلاح کلیدی: مدل‌های خبره بر روی یک مورد خاص تمرکز می‌کنند و در نتیجه عملکرد و کیفیت بالاتری دارند. مدل ها بر خلاف LLM های بسیار همه کاره هستند. به عنوان مثال، یک API ترجمه می تواند با یک مدل متخصص ساخته شود که بر ترجمه محتوا به زبان های جدید متمرکز است. مدل های خبره تمایل به سخت افزار پایینی دارند.

در مقایسه با ساخت هوش مصنوعی سمت مشتری خود، هوش مصنوعی داخلی مزایای زیر را ارائه می دهد:

• سهولت استقرار : همانطور که مرورگر مدل ها را توزیع می کند، قابلیت دستگاه را در نظر می گیرد و به روز رسانی های مدل را مدیریت می کند. این بدان معنی است که شما مسئول دانلود یا به روز رسانی مدل های بزرگ از طریق شبکه نیستید. شما مجبور نیستید برای حذف فضای ذخیره سازی، بودجه حافظه زمان اجرا، هزینه های سرویس و سایر چالش ها حل کنید.
• دسترسی به شتاب سخت‌افزاری : زمان اجرای هوش مصنوعی مرورگر برای استفاده حداکثری از سخت‌افزار موجود، خواه GPU، NPU یا بازگشت به CPU، بهینه‌سازی شده است. در نتیجه، برنامه شما می تواند بهترین عملکرد را در هر دستگاه داشته باشد.

مزایای اجرای سمت مشتری

با رویکرد هوش مصنوعی داخلی، انجام وظایف هوش مصنوعی در سمت مشتری امری بی اهمیت می شود، که به نوبه خود مزایای زیر را ارائه می دهد:

• پردازش محلی داده های حساس : هوش مصنوعی سمت مشتری می تواند داستان حریم خصوصی شما را بهبود بخشد. به عنوان مثال، اگر با داده های حساس کار می کنید، می توانید ویژگی های هوش مصنوعی را با رمزگذاری سرتاسر به کاربران ارائه دهید.
• تجربه کاربری سریع : در برخی موارد، کنار گذاشتن مسیر رفت و برگشت به سرور به این معنی است که می‌توانید نتایجی تقریباً فوری ارائه دهید. هوش مصنوعی سمت مشتری می تواند تفاوت بین یک ویژگی قابل دوام و یک تجربه کاربری غیربهینه باشد.
• دسترسی بیشتر به هوش مصنوعی : دستگاه های کاربران شما می توانند بخشی از بار پردازشی را در ازای دسترسی بیشتر به ویژگی ها تحمل کنند. برای مثال، اگر ویژگی‌های هوش مصنوعی ممتاز را ارائه می‌دهید، می‌توانید این ویژگی‌ها را با هوش مصنوعی سمت مشتری پیش‌نمایش کنید تا مشتریان بالقوه بتوانند بدون هزینه اضافی، مزایای محصول شما را ببینند. این رویکرد ترکیبی همچنین می‌تواند به شما در مدیریت هزینه‌های استنتاج به‌ویژه در جریان‌های کاربر که اغلب استفاده می‌شوند کمک کند.
• استفاده از هوش مصنوعی آفلاین : کاربران شما می توانند به ویژگی های هوش مصنوعی حتی زمانی که اتصال اینترنتی وجود ندارد دسترسی داشته باشند. این بدان معناست که سایت‌ها و برنامه‌های وب شما می‌توانند مطابق انتظار آفلاین یا با اتصال متغیر کار کنند.

هوش مصنوعی ترکیبی: سمت مشتری و سمت سرور

در حالی که هوش مصنوعی سمت کلاینت می تواند طیف وسیعی از موارد استفاده را مدیریت کند، موارد خاصی وجود دارد که به پشتیبانی سمت سرور نیاز دارند.

هوش مصنوعی سمت سرور یک گزینه عالی برای مدل های بزرگ است و می تواند طیف وسیع تری از پلتفرم ها و دستگاه ها را پشتیبانی کند.

بسته به موارد زیر ممکن است یک رویکرد ترکیبی در نظر بگیرید:

• پیچیدگی: موارد استفاده خاص و قابل دسترسی آسان‌تر با هوش مصنوعی روی دستگاه پشتیبانی می‌شوند. برای موارد استفاده پیچیده، اجرای سمت سرور را در نظر بگیرید.
• انعطاف‌پذیری : به‌طور پیش‌فرض از سمت سرور استفاده کنید و زمانی که دستگاه آفلاین است یا در یک اتصال ناقص است، از روی دستگاه استفاده کنید.
• بازگشت دلپذیر : استفاده از مرورگرهایی با هوش مصنوعی داخلی زمان می‌برد، برخی از مدل‌ها ممکن است در دسترس نباشند، و دستگاه‌های قدیمی یا کم‌قدرت‌تر ممکن است شرایط سخت‌افزاری را برای اجرای بهینه همه مدل‌ها برآورده نکنند. هوش مصنوعی سمت سرور را برای آن کاربران ارائه دهید.

برای مدل‌های Gemini، می‌توانید از ادغام باطن (با Python ، Go ، Node.js ، یا REST ) ​​استفاده کنید یا در برنامه وب خود با SDK جدید Google AI client for Web پیاده‌سازی کنید.

معماری مرورگر و API ها

برای پشتیبانی از هوش مصنوعی داخلی در کروم، زیرساختی برای دسترسی به مدل‌های پایه و خبره برای اجرای روی دستگاه ایجاد کردیم. این زیرساخت در حال حاضر ویژگی‌های نوآورانه مرورگر را تقویت می‌کند، مانند Help me write .

شما می‌توانید به قابلیت‌های هوش مصنوعی داخلی عمدتاً با APIهای وظیفه مانند Translator API یا Summarizer API دسترسی داشته باشید. Task APIها برای اجرای استنتاج در برابر بهترین مدل برای تخصیص طراحی شده اند.

در کروم، این APIها برای اجرای استنتاج در برابر Gemini Nano با تنظیم دقیق یا یک مدل خبره ساخته شده‌اند. Gemini Nano که برای اجرای محلی در اکثر دستگاه‌های مدرن طراحی شده است، بهترین گزینه برای موارد استفاده مرتبط با زبان، مانند خلاصه‌سازی، بیان مجدد یا دسته‌بندی است.

اصطلاح کلیدی: تنظیم دقیق راهی برای بهبود پویا توانایی یک مدل برای انجام یک کار خاص، بدون نیاز به دانلود یک مدل جدید برای هر کار است.

ما همچنین APIهای اکتشافی مانند Prompt API را ارائه می کنیم تا بتوانید به صورت محلی آزمایش کنید و موارد استفاده اضافی را به اشتراک بگذارید.

مهم: API های اکتشافی فقط برای نمونه سازی محلی در نظر گرفته شده اند. با این APIهای اکتشافی، ما قصد داریم بازخورد را درخواست کنیم، مفروضات را تأیید کنیم و تعیین کنیم که در آینده چه APIهایی را ایجاد می کنیم. به این ترتیب، این API ها ممکن است هرگز راه اندازی نشوند.

در آینده، ممکن است یک LoRA API اکتشافی برای بهبود عملکرد مدل داخلی با تنظیم وزن مدل ارائه دهیم.

این نمودار نشان می‌دهد که چگونه وب‌سایت یا برنامه شما می‌تواند از APIهای پلتفرم وب اکتشافی و وظیفه برای دسترسی به مدل‌های ساخته شده در Chrome استفاده کند.

زمان استفاده از هوش مصنوعی داخلی

در اینجا چند راه وجود دارد که هوش مصنوعی داخلی می تواند برای شما و کاربران شما مفید باشد:

• مصرف محتوای تقویت‌شده با هوش مصنوعی : از جمله خلاصه‌سازی، ترجمه، دسته‌بندی، مشخص‌سازی و به عنوان ارائه‌دهنده دانش.
• ایجاد محتوای با پشتیبانی هوش مصنوعی : مانند کمک نوشتن، تصحیح، تصحیح دستور زبان و بازنویسی.

بعدش چی

چندین APIهای داخلی هوش مصنوعی برای آزمایش در آزمایش‌های اولیه در دسترس هستند. APIهای اکتشافی و سایر APIهای مرحله اولیه برای شرکت کنندگان برنامه پیش نمایش اولیه در دسترس هستند.

در شروع سریع ما برای Google AI JavaScript SDK، نحوه استفاده از Gemini Pro را در سرورهای Google با وب‌سایت‌ها و برنامه‌های وب خود بیاموزید.