Khi xây dựng tính năng bằng mô hình AI trên web, chúng tôi thường dựa vào các giải pháp phía máy chủ cho các mô hình lớn hơn. Điều này đặc biệt đúng với AI tạo sinh, trong đó ngay cả những mô hình nhỏ nhất cũng lớn hơn khoảng nghìn lần so với kích thước trung bình của trang web. Điều này cũng đúng với các trường hợp sử dụng AI khác, trong đó các mô hình có thể có phạm vi từ 10 giây đến 100 megabyte.
Vì những mô hình này không được chia sẻ trên các trang web, nên từng trang web phải tải các mô hình này xuống khi tải trang. Đây là một giải pháp không thiết thực đối với nhà phát triển và người dùng
Mặc dù AI phía máy chủ là một lựa chọn tuyệt vời cho các mô hình lớn, nhưng các phương pháp trên thiết bị và kết hợp đều có những ưu điểm hấp dẫn riêng. Để làm cho các phương pháp này trở nên khả thi, chúng ta cần giải quyết kích thước mô hình và việc phân phối mô hình.
Đó là lý do chúng tôi đang phát triển các API nền tảng web và các tính năng của trình duyệt được thiết kế để tích hợp trực tiếp các mô hình AI (bao gồm cả các mô hình ngôn ngữ lớn (LLM)) vào trình duyệt. Trong đó có Gemini Nano, phiên bản hiệu quả nhất trong nhóm mô hình ngôn ngữ lớn (LLM) Gemini, được thiết kế để chạy trên máy tính và máy tính xách tay hiện đại nhất. Nhờ tích hợp sẵn AI, trang web hoặc ứng dụng web của bạn có thể thực hiện các nhiệm vụ sử dụng trí tuệ nhân tạo (AI) mà không cần triển khai hay quản lý các mô hình AI riêng.
Khám phá lợi ích của công nghệ AI tích hợp sẵn, kế hoạch triển khai của chúng tôi và cách bạn có thể tận dụng công nghệ này.
Nhận bản xem trước
Chúng tôi cần thông tin đầu vào của bạn để định hình các API, đảm bảo chúng đáp ứng được trường hợp sử dụng của bạn, đồng thời cung cấp thông tin cho các cuộc thảo luận của chúng tôi với các nhà cung cấp trình duyệt khác để tiêu chuẩn hoá.
Tham gia chương trình dùng thử sớm của chúng tôi để đưa ra ý kiến phản hồi về các ý tưởng tích hợp sẵn dựa trên AI ở giai đoạn đầu và khám phá các cơ hội kiểm thử các API đang tiến hành thông qua hoạt động tạo nguyên mẫu cục bộ.
Tham gia nhóm thông báo công khai dành cho nhà phát triển về AI Chrome để được thông báo khi có các API mới.
Lợi ích của công nghệ AI tích hợp sẵn dành cho nhà phát triển web
Nhờ công nghệ trí tuệ nhân tạo (AI) tích hợp sẵn, trình duyệt của bạn sẽ cung cấp và quản lý nền tảng cũng như mô hình chuyên gia.
So với việc tự làm điều này dựa trên AI trên thiết bị, AI tích hợp sẵn mang lại những lợi ích sau:
- Dễ triển khai: Khi phân phối mô hình, trình duyệt sẽ xem xét chức năng của thiết bị và quản lý các bản cập nhật cho mô hình. Điều này có nghĩa là bạn không chịu trách nhiệm tải xuống hoặc cập nhật các mô hình lớn qua mạng. Bạn không phải giải quyết các vấn đề về giải phóng bộ nhớ, hạn mức bộ nhớ trong thời gian chạy, chi phí phân phát và các thách thức khác.
- Quyền truy cập vào tính năng tăng tốc phần cứng: Môi trường thời gian chạy AI của trình duyệt được tối ưu hoá để khai thác tối đa phần cứng hiện có, có thể là GPU, NPU hoặc hoạt động dựa trên CPU. Do đó, ứng dụng của bạn có thể có được hiệu suất tốt nhất trên từng thiết bị.
Lợi ích của việc chạy trên thiết bị
Nhờ phương pháp tiếp cận AI tích hợp sẵn, việc thực hiện các nhiệm vụ liên quan đến AI trên thiết bị trở nên không đơn giản, từ đó mang lại những ưu điểm sau:
- Xử lý cục bộ dữ liệu nhạy cảm: AI trên thiết bị có thể giúp cải thiện câu chuyện về quyền riêng tư của bạn. Ví dụ: nếu xử lý dữ liệu nhạy cảm, bạn có thể cung cấp các tính năng AI cho người dùng bằng phương thức mã hoá hai đầu.
- Trải nghiệm người dùng nhanh chóng: Trong một số trường hợp, việc bỏ chuyến đi khứ hồi đến máy chủ có nghĩa là bạn có thể cung cấp các kết quả gần như ngay lập tức. AI trên thiết bị có thể là sự khác biệt giữa một tính năng có thể hoạt động và trải nghiệm người dùng chưa tối ưu.
- Quyền tiếp cận AI tốt hơn: Thiết bị của người dùng có thể đảm nhận một số tải xử lý để có được nhiều quyền sử dụng các tính năng hơn. Ví dụ: nếu cung cấp các tính năng AI nâng cao, bạn có thể xem trước các tính năng này bằng AI trên thiết bị để khách hàng tiềm năng có thể thấy được lợi ích của sản phẩm mà bạn không phải trả thêm phí. Phương pháp kết hợp này cũng có thể giúp bạn quản lý chi phí suy luận, đặc biệt đối với các luồng người dùng thường xuyên sử dụng.
- Sử dụng AI ngoại tuyến: Người dùng có thể sử dụng các tính năng AI ngay cả khi không có kết nối Internet. Điều này có nghĩa là các trang web và ứng dụng web của bạn có thể hoạt động như dự kiến khi không có mạng hoặc có khả năng kết nối thay đổi.
AI kết hợp: Trên thiết bị và phía máy chủ
Mặc dù AI trên thiết bị có thể xử lý nhiều trường hợp sử dụng, nhưng có một số trường hợp sử dụng cần có sự hỗ trợ từ phía máy chủ.
Ví dụ: bạn có thể cần sử dụng các mô hình lớn hơn hoặc hỗ trợ nhiều nền tảng và thiết bị hơn.
Bạn có thể xem xét các phương pháp kết hợp, tuỳ thuộc vào:
- Độ phức tạp: Các trường hợp sử dụng cụ thể, dễ tiếp cận sẽ dễ hỗ trợ hơn nhờ AI trên thiết bị. Đối với các trường hợp sử dụng phức tạp, hãy cân nhắc việc triển khai phía máy chủ.
- Khả năng phục hồi: Sử dụng phía máy chủ theo mặc định và sử dụng trên thiết bị khi thiết bị không có kết nối mạng hoặc kết nối không ổn định.
- Tính năng dự phòng linh hoạt: Việc sử dụng trình duyệt có tích hợp AI sẽ mất thời gian, một số kiểu máy có thể không dùng được, đồng thời các thiết bị cũ hoặc kém hiệu quả hơn có thể không đáp ứng được các yêu cầu về phần cứng để chạy tất cả các mô hình một cách tối ưu. Cung cấp AI phía máy chủ cho những người dùng đó.
Đối với các mô hình Gemini, bạn có thể sử dụng tính năng tích hợp phần phụ trợ (bằng Python, Go, Node.js hoặc REST) hoặc triển khai trong ứng dụng web của mình bằng SDK ứng dụng AI của Google dành cho Web mới.
Cấu trúc trình duyệt và API
Để hỗ trợ AI tích hợp sẵn trong Chrome, chúng tôi đã tạo cơ sở hạ tầng để tiếp cận nền tảng và các mô hình chuyên gia để thực thi trên thiết bị. Cơ sở hạ tầng này đã hỗ trợ các tính năng cải tiến cho trình duyệt, chẳng hạn như Giúp tôi viết và sẽ sớm hỗ trợ các API dành cho AI trên thiết bị.
Bạn sẽ dùng được các tính năng AI tích hợp sẵn, chủ yếu thông qua các API tác vụ, chẳng hạn như API dịch hoặc API tóm tắt. Các API tác vụ được thiết kế để chạy dự đoán dựa trên mô hình tốt nhất cho việc chỉ định.
Trong Chrome, các API này được xây dựng để chạy suy luận dựa trên Gemini Nano bằng tính năng tinh chỉnh hoặc mô hình chuyên gia. Được thiết kế để chạy trên hầu hết các thiết bị hiện đại, Gemini Nano là ứng dụng phù hợp nhất cho các trường hợp sử dụng liên quan đến ngôn ngữ, chẳng hạn như tóm tắt, diễn đạt lại hoặc phân loại.
Ngoài ra, chúng tôi dự định cung cấp các API khám phá để bạn có thể thử nghiệm cục bộ và chia sẻ các trường hợp sử dụng khác.
Chẳng hạn, chúng tôi có thể cung cấp:
- Prompt API: Gửi một nhiệm vụ tuỳ ý (được diễn đạt bằng ngôn ngữ tự nhiên) tới Mô hình ngôn ngữ lớn tích hợp sẵn (Gemini Nano trong Chrome).
- API tinh chỉnh (LoRA): Cải thiện hiệu suất của mô hình ngôn ngữ lớn tích hợp sẵn trong một nhiệm vụ bằng cách điều chỉnh trọng số của mô hình bằng tính năng tinh chỉnh Điều chỉnh thứ hạng thấp.
Trường hợp nên sử dụng trí tuệ nhân tạo (AI) tích hợp sẵn
Sau đây là một số lợi ích mà chúng tôi cho rằng công nghệ AI tích hợp có thể mang lại cho bạn và người dùng:
- Sử dụng nội dung dựa trên AI: Bao gồm tính năng tóm tắt, dịch, giải đáp các câu hỏi về một số nội dung, cách phân loại và mô tả đặc điểm.
- Sáng tạo nội dung được AI hỗ trợ: Chẳng hạn như hỗ trợ viết, hiệu đính, sửa ngữ pháp và diễn đạt lại.
Bước tiếp theo
Hãy tham gia chương trình dùng thử sớm của chúng tôi để thử nghiệm các API trí tuệ nhân tạo (AI) tích hợp ở giai đoạn đầu.
Trong thời gian chờ đợi, bạn có thể tìm hiểu cách sử dụng Gemini Pro trên các máy chủ của Google bằng trang web và ứng dụng web của bạn trong phần bắt đầu nhanh cho SDK JavaScript AI của Google.