هوش مصنوعی داخلی

Kenji Baheux

Alexandra Klepper

تاریخ انتشار: 14 مه 2024

وقتی ویژگی‌هایی را با مدل‌های هوش مصنوعی در وب ایجاد می‌کنیم، اغلب برای مدل‌های بزرگ‌تر به راه‌حل‌های سمت سرور تکیه می‌کنیم. این امر به ویژه در مورد هوش مصنوعی مولد صادق است، جایی که حتی کوچکترین مدل ها حدود هزار برابر بزرگتر از اندازه متوسط ​​صفحه وب هستند. این موضوع برای سایر موارد استفاده از هوش مصنوعی نیز صادق است، جایی که مدل ها می توانند از 10 ثانیه تا 100 مگابایت متغیر باشند.

از آنجایی که این مدل‌ها در بین وب‌سایت‌ها به اشتراک گذاشته نمی‌شوند ، هر سایت باید آنها را در بارگذاری صفحه بارگیری کند. این یک راه حل غیر عملی برای توسعه دهندگان و کاربران است

در حالی که هوش مصنوعی سمت سرور یک گزینه عالی برای مدل‌های بزرگ است، رویکردهای درون دستگاهی و ترکیبی مزایای قانع‌کننده خود را دارند. برای قابل اجرا کردن این رویکردها، باید به اندازه مدل و تحویل مدل بپردازیم.

به همین دلیل است که در حال توسعه APIهای پلتفرم وب و ویژگی‌های مرورگر هستیم که برای ادغام مدل‌های هوش مصنوعی، از جمله مدل‌های زبان بزرگ (LLM) به طور مستقیم در مرورگر طراحی شده‌اند. این شامل Gemini Nano ، کارآمدترین نسخه از خانواده LLMهای Gemini است که برای اجرا به صورت محلی در اکثر رایانه‌های رومیزی و لپ‌تاپ مدرن طراحی شده است. با هوش مصنوعی داخلی، وب سایت یا برنامه وب شما می تواند وظایف مبتنی بر هوش مصنوعی را بدون نیاز به استقرار یا مدیریت مدل های هوش مصنوعی خود انجام دهد.

مزایای هوش مصنوعی داخلی، طرح پیاده سازی ما و نحوه استفاده از این فناوری را کشف کنید.

مهم: این پیاده سازی هوش مصنوعی داخلی با Gemini Nano یک آزمایش است و با آزمایش و بررسی بازخورد تغییر خواهد کرد.

یک پیش نمایش اولیه دریافت کنید

ما به نظرات شما برای شکل دادن به APIها نیاز داریم، اطمینان حاصل کنیم که موارد استفاده شما را برآورده می‌کنند، و بحث‌هایمان را با سایر فروشندگان مرورگر برای استانداردسازی اطلاع‌رسانی می‌کنیم.

به برنامه پیش‌نمایش اولیه ما بپیوندید تا درباره ایده‌های هوش مصنوعی داخلی در مراحل اولیه بازخورد ارائه کنید و فرصت‌هایی را برای آزمایش APIهای در حال پیشرفت از طریق نمونه‌سازی محلی کشف کنید.

به گروه اعلان‌های عمومی توسعه‌دهندگان Chrome AI بپیوندید تا در صورت در دسترس شدن API‌های جدید مطلع شوید.

مزایای هوش مصنوعی داخلی برای توسعه دهندگان وب

با هوش مصنوعی داخلی، مرورگر شما مدل های پایه و متخصص را ارائه و مدیریت می کند.

اصطلاح کلیدی: مدل‌های خبره بر یک مورد خاص تمرکز می‌کنند و در نتیجه عملکرد و کیفیت بالاتری دارند. مدل ها بر خلاف LLM های بسیار همه کاره هستند. به عنوان مثال، یک API ترجمه می تواند با یک مدل متخصص ساخته شود که بر ترجمه محتوا به زبان های جدید متمرکز است. مدل های خبره تمایل به سخت افزار پایینی دارند.

در مقایسه با هوش مصنوعی روی دستگاه، هوش مصنوعی داخلی مزایای زیر را ارائه می دهد:

• سهولت استقرار : همانطور که مرورگر مدل ها را توزیع می کند، قابلیت دستگاه را در نظر می گیرد و به روز رسانی های مدل را مدیریت می کند. این بدان معنی است که شما مسئول دانلود یا به روز رسانی مدل های بزرگ از طریق شبکه نیستید. شما مجبور نیستید برای حذف فضای ذخیره سازی، بودجه حافظه زمان اجرا، هزینه های سرویس و سایر چالش ها حل کنید.
• دسترسی به شتاب سخت‌افزاری : زمان اجرای هوش مصنوعی مرورگر برای استفاده حداکثری از سخت‌افزار موجود، خواه GPU، NPU یا بازگشت به CPU، بهینه‌سازی شده است. در نتیجه، برنامه شما می تواند بهترین عملکرد را در هر دستگاه داشته باشد.

مزایای اجرای بر روی دستگاه

با رویکرد هوش مصنوعی داخلی، انجام وظایف هوش مصنوعی بر روی دستگاه بی اهمیت می شود، که به نوبه خود مزایای زیر را ارائه می دهد:

• پردازش محلی داده های حساس : هوش مصنوعی روی دستگاه می تواند داستان حریم خصوصی شما را بهبود بخشد. به عنوان مثال، اگر با داده های حساس کار می کنید، می توانید ویژگی های هوش مصنوعی را با رمزگذاری سرتاسر به کاربران ارائه دهید.
• تجربه کاربری سریع : در برخی موارد، کنار گذاشتن مسیر رفت و برگشت به سرور به این معنی است که می‌توانید نتایجی تقریباً فوری ارائه دهید. هوش مصنوعی روی دستگاه می تواند تفاوت بین یک ویژگی قابل دوام و یک تجربه کاربری غیربهینه باشد.
• دسترسی بیشتر به هوش مصنوعی : دستگاه های کاربران شما می توانند بخشی از بار پردازشی را در ازای دسترسی بیشتر به ویژگی ها تحمل کنند. برای مثال، اگر ویژگی‌های هوش مصنوعی ممتاز را ارائه می‌دهید، می‌توانید این ویژگی‌ها را با هوش مصنوعی روی دستگاه پیش‌نمایش کنید تا مشتریان بالقوه بتوانند بدون هزینه اضافی برای شما، مزایای محصول شما را ببینند. این رویکرد ترکیبی همچنین می‌تواند به شما در مدیریت هزینه‌های استنتاج به‌ویژه در جریان‌های کاربر که اغلب استفاده می‌شوند کمک کند.
• استفاده از هوش مصنوعی آفلاین : کاربران شما می توانند به ویژگی های هوش مصنوعی حتی زمانی که اتصال اینترنتی وجود ندارد دسترسی داشته باشند. این بدان معناست که سایت‌ها و برنامه‌های وب شما می‌توانند مطابق انتظار آفلاین یا با اتصال متغیر کار کنند.

هوش مصنوعی ترکیبی: روی دستگاه و سمت سرور

در حالی که هوش مصنوعی روی دستگاه می تواند طیف وسیعی از موارد استفاده را مدیریت کند، موارد استفاده خاصی وجود دارد که به پشتیبانی سمت سرور نیاز دارند.

به عنوان مثال، ممکن است لازم باشد از مدل های بزرگتر استفاده کنید یا از طیف وسیع تری از پلتفرم ها و دستگاه ها پشتیبانی کنید.

شما ممکن است رویکردهای ترکیبی را بسته به موارد زیر در نظر بگیرید:

• پیچیدگی: موارد استفاده خاص و قابل دسترسی آسان‌تر با هوش مصنوعی روی دستگاه پشتیبانی می‌شوند. برای موارد استفاده پیچیده، اجرای سمت سرور را در نظر بگیرید.
• انعطاف‌پذیری : به‌طور پیش‌فرض از سمت سرور استفاده کنید و زمانی که دستگاه آفلاین است یا در یک اتصال ناقص است، از روی دستگاه استفاده کنید.
• بازگشت دلپذیر : استفاده از مرورگرهایی با هوش مصنوعی داخلی زمان می‌برد، برخی از مدل‌ها ممکن است در دسترس نباشند، و دستگاه‌های قدیمی یا کم‌قدرت‌تر ممکن است شرایط سخت‌افزاری را برای اجرای بهینه همه مدل‌ها برآورده نکنند. هوش مصنوعی سمت سرور را برای آن کاربران ارائه دهید.

برای مدل‌های Gemini، می‌توانید از ادغام باطن (با Python ، Go ، Node.js ، یا REST ) ​​استفاده کنید یا در برنامه وب خود با SDK جدید Google AI client for Web پیاده‌سازی کنید.

معماری مرورگر و API ها

برای پشتیبانی از هوش مصنوعی داخلی در کروم، زیرساختی برای دسترسی به مدل‌های پایه و خبره برای اجرای روی دستگاه ایجاد کردیم. این زیرساخت در حال حاضر ویژگی‌های نوآورانه مرورگر مانند Help me write را تقویت می‌کند و به زودی APIها را برای هوش مصنوعی روی دستگاه تقویت می‌کند.

به قابلیت‌های هوش مصنوعی داخلی عمدتاً با APIهای وظیفه، مانند API ترجمه یا API خلاصه‌سازی، دسترسی خواهید داشت. Task APIها برای اجرای استنتاج در برابر بهترین مدل برای تخصیص طراحی شده اند.

در کروم، این APIها برای اجرای استنتاج در برابر Gemini Nano با تنظیم دقیق یا یک مدل خبره ساخته شده‌اند. Gemini Nano که برای اجرای محلی در اکثر دستگاه‌های مدرن طراحی شده است، بهترین گزینه برای موارد استفاده مرتبط با زبان، مانند خلاصه‌سازی، بیان مجدد یا دسته‌بندی است.

اصطلاح کلیدی: تنظیم دقیق راهی برای بهبود پویا توانایی یک مدل برای انجام یک کار خاص، بدون نیاز به دانلود یک مدل جدید برای هر کار است.

همچنین، ما قصد داریم API های اکتشافی را ارائه کنیم تا بتوانید به صورت محلی آزمایش کنید و موارد استفاده اضافی را به اشتراک بگذارید.

به عنوان مثال، ما ممکن است ارائه دهیم:

• Prompt API : یک کار دلخواه را که به زبان طبیعی بیان شده است، به مدل زبان بزرگ داخلی (Gemini Nano در کروم) ارسال کنید.
• API تنظیم دقیق (LoRA) : با تنظیم وزن مدل با تنظیم دقیق سازگار با رتبه پایین، عملکرد LLM داخلی را در یک کار بهبود بخشید.

مهم: API های اکتشافی فقط برای نمونه سازی محلی در نظر گرفته شده اند. با این APIهای اکتشافی، ما قصد داریم بازخورد را درخواست کنیم، مفروضات را تأیید کنیم و تعیین کنیم که در آینده چه APIهایی را ایجاد می کنیم. به این ترتیب، این API ها ممکن است هرگز راه اندازی نشوند.

این نمودار نشان می‌دهد که چگونه وب‌سایت یا برنامه شما می‌تواند از APIهای پلتفرم وب اکتشافی و وظیفه برای دسترسی به مدل‌های ساخته شده در Chrome استفاده کند.

زمان استفاده از هوش مصنوعی داخلی

در اینجا چند روش وجود دارد که ما انتظار داریم هوش مصنوعی داخلی بتواند برای شما و کاربرانتان مفید باشد:

• مصرف محتوای تقویت‌شده با هوش مصنوعی : شامل خلاصه‌سازی، ترجمه ، پاسخ به سؤالات درباره برخی محتوا، دسته‌بندی و مشخص‌سازی.
• ایجاد محتوای با پشتیبانی هوش مصنوعی : مانند کمک نوشتن، تصحیح، تصحیح دستور زبان و بازنویسی.

بعدش چی

به برنامه پیش‌نمایش اولیه ما بپیوندید تا با APIهای هوش مصنوعی در مراحل اولیه آزمایش کنید.

در همین حال، می‌توانید نحوه استفاده از Gemini Pro در سرورهای Google با وب‌سایت‌ها و برنامه‌های وب خود را در شروع سریع ما برای Google AI JavaScript SDK بیاموزید.