AI in Action 워크숍 하이라이트

Damani Brown
Damani Brown
GitHub LinkedIn
Melissa Mitchell
Melissa Mitchell
Mari Viana
Mari Viana
LinkedIn
Thierno Thiam

게시일: 2025년 10월 14일

뉴욕시의 스타트업 그룹과 협력하여 'AI in Action' 기술 워크숍을 개최했습니다. 목표는 간단했습니다. 클라이언트 측 AI와 내장 AI API를 제품에 직접 통합하여 속도와 개인 정보 보호를 강화하고 사용자 환경을 개선하는 방법을 보여주는 것이었습니다.

총 8개의 혁신적인 스타트업에서 24명의 개발자가 참여했습니다. 오전 세션에서는 제품 및 엔지니어링 전문가가 오픈소스, 온디바이스 모델의 엄청난 잠재력과 AI를 웹 플랫폼에 직접 도입하는 전략적 중요성에 대해 이야기했습니다. 그런 다음 기술 전문가가 내장 AI API를 시작하기 위한 실용적인 가이드를 제공했습니다.

참석자들은 기존 머신러닝 지식과 관계없이 이러한 API를 쉽게 사용할 수 있다는 점을 알게 되어 이벤트를 매우 유익하다고 생각했습니다. 또한 실험을 통해 애플리케이션의 새로운 사용 사례를 발견했습니다. 문서를 검증하게 되어 기쁩니다. 한 그룹에서는 복잡한 버그를 식별하고 재현하여 수정사항을 제출할 수 있도록 지원해 주었습니다.

참석자들은 클라이언트 측 AI를 사용하여 10개의 프로토타입을 성공적으로 개발했습니다. 이들의 프로젝트를 살펴보고 이벤트에서의 경험을 알아보세요.

프롬프트 API를 사용한 어댑터의 이벤트 감지

어댑터의 목표는 '화면 시간이 아닌 최대한의 자유 시간을 누릴 수 있는 일상생활의 미션 컨트롤'을 구축하는 것입니다. 이들은 두 가지 기능을 갖춘 개념 증명 확장 프로그램을 빌드했습니다.

  • 탐색 중에 웹페이지 내의 이벤트를 식별하고 (콘서트, 레스토랑, 이벤트) 개인 캘린더 일정, 생활 선호도, 실시간 소셜 신호 등 개인 컨텍스트에 맞게 조정하는 지능적이고 정렬된 이벤트 감지 기능으로, 모든 처리는 로컬에서 이루어집니다.
  • 웹페이지의 콘텐츠 순서를 요청 시 개인 관심분야에 맞게 맞춤설정하는 실시간 콘텐츠 재순위 지정

어댑터는 프롬프트 API를 사용하여 파싱, 추론, 도구 호출을 수행하고 Writer API를 사용하여 로컬 텍스트 생성을 수행했습니다.

'Google은 제한된 개인 정보 보호 절충안을 통해 복잡한 추론과 다단계 워크플로를 에지에서 실행하고 있습니다. 이를 통해 모든 추론이 네트워크 간 데이터 전송을 의미할 때 비실용적이었던 개인 인텔리전스 애플리케이션을 사용할 수 있으며 원격 컴퓨팅을 심화할 수 있습니다." – 딜런 폰조, 어댑터 창립 엔지니어

Chrome의 내장 AI API를 사용하면 데이터를 로컬에서 처리하는 경량 모델을 사용 설정하여 기본적으로 개인 정보를 보호할 수 있습니다. 어댑터의 창립 엔지니어인 Aidan Crank와 Dillon Ponzo는 이를 아키텍처 철학의 검증으로 간주했습니다.

어댑터에 합류하기 전 AWS에서 대규모 ML 엔지니어링을 담당했던 크랭크는 '대부분의 AI 확장 프로그램은 컨텍스트를 포착하여 다른 곳으로 전송합니다'라고 설명합니다. 'Chrome의 내장 AI는 이 모델을 반전시킵니다. 개인 데이터는 기기에 유지되지만 이전에는 얻을 수 없었던 지능형 환경을 이용할 수 있습니다.'

이전 회사인 Ionic Security에서 대규모 자율 데이터 중심 보안을 개척한 어댑터 공동 창업자 Adam Ghetti는 더 심각한 영향을 예상합니다. '개인 정보 보호는 추가하는 기능이 아니라 선택하는 아키텍처입니다. Chrome의 내장 AI 덕분에 이 아키텍처가 실용적입니다.'

Chrome이 멀티모달 지원과 풍부한 API를 통해 이러한 기능을 확장함에 따라 에지는 클라우드를 따라잡는 데 그치지 않습니다. 개인 및 비공개 AI의 경우 적절한 경우 이를 능가하는 것이 중요합니다.

Sublayer는 프롬프트 API로 이미지를 분류하여 변형을 개선합니다.

Sublayer는 이미지와 상호작용하고 이미지의 변형을 생성하는 방식을 혁신하기 위해 설계된 Photoslider라는 재미있는 앱을 만들었습니다.

PhotoSlider를 사용하려면 사용자가 사진을 업로드하거나 새 사진을 촬영한 후 분석을 클릭합니다. 프롬프트 API는 이러한 이미지를 모델에 전송하여 분석을 요청하고, 모델이 3가지 주요 속성을 식별하고 이러한 속성에 1~10의 값을 부여하도록 요청합니다. 예를 들어 속성은 '전통' 또는 '밝기'일 수 있습니다.

프런트엔드에서 사용자에게 이미지와 슬라이더가 표시되어 값을 조정하거나 맞춤 값으로 새 속성을 도입할 수 있습니다. 변경 요청과 이미지가 서버 측 AI로 전송되므로 멀티모달 출력 기능이 있는 더 큰 모델이 변경된 사양을 기반으로 완전히 새로운 이미지를 생성할 수 있습니다. 이 반복 프로세스는 이상적인 이미지를 얻을 때까지 무한히 반복할 수 있으므로 원하는 이미지를 얻을 때까지 완전히 제어할 수 있습니다.

Sublayer의 CEO인 스콧 워너는 다음과 같이 말하며 기대감을 드러냈습니다. '로컬 추론이 어떤 모습일지 알아보고 싶었습니다. 사용자가 직접 모델을 설치하는 복잡한 과정을 거치도록 하는 것보다 사용자의 머신에 있는 브라우저 내에서 기본적으로 사용할 수 있도록 하는 것이 훨씬 쉽습니다.'

Echo3D는 3D 모델을 검색 가능한 풍부한 데이터로 처리합니다.

Echo3D는 기업이 다양한 팀과 조직에서 3D 모델과 스캔을 원활하게 저장, 보호, 공유할 수 있는 플랫폼과 API를 제공합니다. 고급 3D 및 텍스트 파이프라인은 3D 모델을 검색 가능한 풍부한 데이터로 효율적으로 처리합니다.

이 행사에서 echo3D는 애셋의 시각적 이해를 향상하는 3D-텍스트-3D 도구를 개발했습니다. 이들은 프롬프트 API를 사용하여 모델 태그 지정을 자동화하고, 중복을 감지하고, 광범위한 3D 라이브러리의 분류 및 문서화를 간소화했습니다.

{
  "description": "A 3D model of a large, tan-colored sandcastle with one main
    tower, four small towers, and staircases wrapping around. The towers
    have multiple windows. There is a main gate.",
  "tags": ["sand","castle","gate","tan","tower","staircase"]
}

이렇게 하면 모든 애셋에 풍부하고 일관되며 검색 가능한 설명이 제공되어 사용자의 전체 라이브러리가 더 체계적이고 액세스하기 쉬워집니다. 또한 저장공간을 절약하고 중복 파일로 인한 버전 관리 충돌을 방지합니다.

'우리 팀은 이 이벤트를 정말 소중하게 생각합니다. 특히 내장 AI를 사용하여 AI 기능을 웹 애플리케이션에 쉽게 통합할 수 있다는 점이 인상적이었습니다. 짧은 시간 내에 안전한 클라이언트 측 AI 기능을 프로토타입으로 제작하고 배포할 수 있다는 점이 큰 이점이었습니다.' – 알론 그린슈푼, echo3D CEO

Spot2가 업로드된 이미지에서 구조화된 메타데이터를 생성함

Spot2 애플리케이션에는 멕시코시티의 임대 부동산 속성이 나열됩니다. 이러한 숙박 시설이 등록될 때 중요한 메타데이터와 기타 유용한 정보가 등록 정보에서 누락되는 경우가 많습니다. 세부정보는 공급업체의 세부사항에 대한 관심에 따라 크게 달라집니다. Spot2는 Prompt API를 사용하여 데이터 품질을 개선하는 데 하루를 보냈습니다.

이 팀은 등록정보 메타데이터가 구성되는 방식을 자동으로 처리하고 정리하는 기능을 개발했습니다. 이 프로세스는 사진이 업로드되는 순간에 발생하므로 완전성과 일관성을 유지하는 데 도움이 됩니다. 이 작업을 서버 측이 아닌 클라이언트 측에서 실행하면 비용 효율적입니다.

이 기능이 출시되면 데이터 품질이 크게 향상되고 운영 비용이 눈에 띄게 절감되는 두 가지 효과를 기대할 수 있습니다. '또한 품질이 높은 등록정보는 전환율 증가로 이어질 것으로 예상됩니다.'

다음 기회에 참여해 주세요