Опубликовано: 14 октября 2025 г.
В партнёрстве с группой стартапов из Нью-Йорка мы провели технический семинар «ИИ в действии». Цель была проста: продемонстрировать, как клиентский ИИ и встроенные API ИИ могут быть напрямую интегрированы в их продукты для повышения скорости, конфиденциальности и улучшения пользовательского опыта.
Всего мы приняли 24 разработчика из 8 инновационных стартапов. В утренней сессии эксперты по продуктам и инженерии выступили с докладами, посвященными огромному потенциалу открытого исходного кода, локальных моделей и стратегической важности внедрения ИИ непосредственно на веб-платформу. Технические специалисты также дали практические рекомендации по началу работы со встроенными API ИИ.
Участники мероприятия сочли это мероприятие очень полезным, обнаружив, что использовать эти API легко, независимо от их существующих знаний в области машинного обучения. Они также открыли новые сценарии использования своих приложений, экспериментируя. Мы с нетерпением ждали возможности проверить нашу документацию. Одна группа даже помогла нам выявить и воспроизвести сложную ошибку, чтобы мы могли предложить решение.
Наши участники успешно разработали 10 прототипов с использованием клиентского ИИ. Ознакомьтесь с некоторыми из их проектов и узнайте об их опыте на мероприятии.
Обнаружение событий адаптера с помощью Prompt API
Цель Adapter — создать «центр управления полетами для нашей повседневной жизни, позволяющий нам проводить как можно больше свободного времени, а не времени перед экраном». Они создали экспериментальное расширение с двумя возможностями:
- Интеллектуальное и согласованное обнаружение событий, которое идентифицирует события на веб-странице во время просмотра (концерты, рестораны, мероприятия), а затем адаптирует их с учетом личного контекста, включая доступность личного календаря, жизненные предпочтения и социальные сигналы в режиме реального времени, причем все это обрабатывается локально.
- Переоценка контента в режиме реального времени, которая персонализирует порядок контента на веб-странице в соответствии с вашими личными интересами по запросу.
Адаптер использовал API Prompt для анализа, обоснования и вызова инструментов, а также API Writer для локальной генерации текста.
«Мы реализуем сложные логические рассуждения и многоэтапные рабочие процессы на периферии, практически не жертвуя конфиденциальностью. Это позволяет создавать приложения для персонального интеллекта, которые были непрактичны, когда каждый вывод означал передачу данных по сетям и одновременно углублял удалённые вычисления». — Диллон Понцо, инженер-основатель Adapter
Встроенные в Chrome API для искусственного интеллекта позволяют создавать облегчённые модели, обрабатывающие данные локально, по умолчанию сохраняя конфиденциальность. Основатели Adapter, инженеры Эйдан Крэнк и Диллон Понцо, увидели в этом подтверждение своей архитектурной философии.
«Большинство расширений ИИ захватывают контекст и отправляют его куда-то ещё», — объясняет Крэнк, который до прихода в Adapter работал над крупномасштабной разработкой машинного обучения в AWS. «Встроенный ИИ Chrome меняет эту модель. Ваши персональные данные остаются на устройстве, но вы получаете интеллектуальный опыт, который раньше был недоступен».
Соучредитель Adapter Адам Гетти, чья предыдущая компания Ionic Security стала пионером в области автономной масштабируемой безопасности, ориентированной на данные, видит более глубокие последствия: «Конфиденциальность — это не функция, которую вы добавляете, это архитектура, которую вы выбираете. Встроенный в Chrome искусственный интеллект делает эту архитектуру практичной».
По мере того, как Chrome расширяет эти возможности благодаря поддержке мультимодальных режимов и более богатым API, Edge не просто догоняет облако. В сфере персонального и частного ИИ речь идёт о его превосходстве там, где это целесообразно.
Подслой классифицирует изображения с помощью API Prompt для улучшения вариативности
Sublayer создал забавное приложение Photoslider, призванное кардинально изменить способ взаимодействия с изображениями и создания их вариаций.
Чтобы использовать PhotoSlider, пользователь загружает фотографию или делает новый снимок и нажимает кнопку «Анализ» . API Prompt отправляет эти изображения модели для анализа, запрашивая у неё определение трёх ключевых атрибутов и присваивание им значений от 1 до 10. Например, атрибутом может быть «традиционный» или «яркость».
На фронтенде пользователю предоставляется изображение и ползунки для настройки значений или добавления новых атрибутов с пользовательскими значениями. Запросы на изменения и изображение отправляются серверному ИИ, чтобы более крупная модель с возможностью мультимодального вывода могла сгенерировать совершенно новое изображение на основе изменённых характеристик. Этот итеративный процесс можно повторять бесконечно, предоставляя вам полный контроль до достижения идеального изображения.
Скотт Вернер , генеральный директор Sublayer, выразил свой энтузиазм: «Мы искренне заинтересованы в том, чтобы изучить, как выглядит локальный вывод. Наличие этой функции в браузере на компьютерах наших пользователей по умолчанию гораздо проще, чем полагаться на то, что пользователи будут разбираться со сложностями установки моделей напрямую».
Echo3D преобразует 3D-модели в подробные данные с возможностью поиска
Echo3D предоставляет платформу и API для предприятий, позволяя им эффективно хранить, защищать и обмениваться 3D-моделями и сканами между различными командами и организациями. Их передовые технологии обработки 3D-данных и текста эффективно преобразуют 3D-модели в подробные данные с возможностью поиска.
На мероприятии компания echo3D разработала инструменты для преобразования 3D-данных в текст и 3D-контент, которые улучшают визуальное восприятие объектов. Они использовали API Prompt для автоматизации маркировки моделей, обнаружения дубликатов и оптимизации каталогизации и документирования обширных 3D-библиотек.
{
"description": "A 3D model of a large, tan-colored sandcastle with one main
tower, four small towers, and staircases wrapping around. The towers
have multiple windows. There is a main gate.",
"tags": ["sand","castle","gate","tan","tower","staircase"]
}
Это обеспечивает каждому ресурсу подробное, согласованное и удобное для поиска описание, делая всю библиотеку пользователя более организованной и доступной. Кроме того, это экономит место на диске и предотвращает конфликты версий, возникающие из-за избыточных файлов.
«Наша команда действительно оценила это мероприятие. Нас особенно впечатлила лёгкость интеграции функций ИИ в веб-приложения с использованием встроенного ИИ. Возможность создания прототипов и развёртывания безопасных функций ИИ на стороне клиента в столь короткие сроки стала значительным преимуществом». – Алон Гриншпун , генеральный директор echo3D
Spot2 создал структурированные метаданные из загруженных изображений
Приложение Spot2 предоставляет списки объектов недвижимости, сдаваемых в аренду в Мехико. Зачастую в объявлениях об аренде таких объектов отсутствуют критически важные метаданные и другая ценная информация. Информация может сильно варьироваться в зависимости от внимания поставщика к деталям. Spot2 потратил целый день на повышение качества данных с помощью Prompt API.
Их команда разработала функцию для автоматической обработки и организации структуры метаданных листинга. Этот процесс происходит в момент загрузки фотографии, что обеспечивает полноту и согласованность данных. Выполняя эту задачу на стороне клиента, а не сервера, функция экономически эффективна.
Запуск этой функции обещает двойной эффект: значительное улучшение качества данных и заметное снижение операционных расходов. «Мы ожидаем, что более качественные листинги также приведут к повышению коэффициента конверсии».
Присоединяйтесь к нам в следующий раз
- Зарегистрируйтесь на следующий семинар «Искусственный интеллект в действии», который состоится 7 ноября 2025 года в Сан-Франциско.
- Присоединяйтесь к Built-in AI Challenge 2025. Мы проводим виртуальный хакатон для всех разработчиков. Создавайте веб-приложения или расширения Chrome, используя встроенные API ИИ, и получите шанс выиграть один из призов в размере 70 000 долларов США.