このページは Cloud Translation API によって翻訳されました。

LLM がレスポンスをストリーミングする仕組み

Thomas Steiner

Alexandra Klepper

公開日: 2025 年 1 月 21 日

ストリーミング LLM レスポンスは、増分的に継続的に送信されるデータで構成されます。ストリーミングデータは、サーバーやクライアントとは異なります。

サーバーから

ストリーミングレスポンスの形式を確認するため、コマンドラインツール curl を使用して、Gemini に長いジョークを語るよう指示しました。Gemini API の次の呼び出しについて考えてみましょう。試す場合は、URL の {GOOGLE_API_KEY} を Gemini API キーに置き換えてください。

$ curl "https://generativelanguage.googleapis.com/v1beta/models/gemini-1.5-flash:streamGenerateContent?alt=sse&key={GOOGLE_API_KEY}" \
      -H 'Content-Type: application/json' \
      --no-buffer \
      -d '{ "contents":[{"parts":[{"text": "Tell me a long T-rex joke, please."}]}]}'

このリクエストは、次の（切り捨てられた）出力をイベントストリーム形式でログに記録します。各行は data: で始まり、その後にメッセージペイロードが続きます。具体的な形式は重要ではなく、重要なのはテキストのチャンクです。

//
data: {"candidates":[{"content": {"parts": [{"text": "A T-Rex"}],"role": "model"},
  "finishReason": "STOP","index": 0,"safetyRatings": [{"category": "HARM_CATEGORY_SEXUALLY_EXPLICIT","probability": "NEGLIGIBLE"},{"category": "HARM_CATEGORY_HATE_SPEECH","probability": "NEGLIGIBLE"},{"category": "HARM_CATEGORY_HARASSMENT","probability": "NEGLIGIBLE"},{"category": "HARM_CATEGORY_DANGEROUS_CONTENT","probability": "NEGLIGIBLE"}]}],
  "usageMetadata": {"promptTokenCount": 11,"candidatesTokenCount": 4,"totalTokenCount": 15}}

data: {"candidates": [{"content": {"parts": [{ "text": " walks into a bar and orders a drink. As he sits there, he notices a" }], "role": "model"},
  "finishReason": "STOP","index": 0,"safetyRatings": [{"category": "HARM_CATEGORY_SEXUALLY_EXPLICIT","probability": "NEGLIGIBLE"},{"category": "HARM_CATEGORY_HATE_SPEECH","probability": "NEGLIGIBLE"},{"category": "HARM_CATEGORY_HARASSMENT","probability": "NEGLIGIBLE"},{"category": "HARM_CATEGORY_DANGEROUS_CONTENT","probability": "NEGLIGIBLE"}]}],
  "usageMetadata": {"promptTokenCount": 11,"candidatesTokenCount": 21,"totalTokenCount": 32}}

コマンドを実行すると、結果のチャンクがストリーミングされます。

最初のペイロードは JSON です。ハイライト表示された candidates[0].content.parts[0].text を詳しく見てみましょう。

{
  "candidates": [
    {
      "content": {
        "parts": [
          {
            "text": "A T-Rex"
          }
        ],
        "role": "model"
      },
      "finishReason": "STOP",
      "index": 0,
      "safetyRatings": [
        {
          "category": "HARM_CATEGORY_SEXUALLY_EXPLICIT",
          "probability": "NEGLIGIBLE"
        },
        {
          "category": "HARM_CATEGORY_HATE_SPEECH",
          "probability": "NEGLIGIBLE"
        },
        {
          "category": "HARM_CATEGORY_HARASSMENT",
          "probability": "NEGLIGIBLE"
        },
        {
          "category": "HARM_CATEGORY_DANGEROUS_CONTENT",
          "probability": "NEGLIGIBLE"
        }
      ]
    }
  ],
  "usageMetadata": {
    "promptTokenCount": 11,
    "candidatesTokenCount": 4,
    "totalTokenCount": 15
  }
}

最初の text エントリが Gemini の回答の開始点です。複数の text エントリを抽出すると、レスポンスは改行で区切られます。

次のスニペットは、モデルからの最終的なレスポンスを示す複数の text エントリを示しています。

"A T-Rex"

" was walking through the prehistoric jungle when he came across a group of Triceratops. "

"\n\n\"Hey, Triceratops!\" the T-Rex roared. \"What are"

" you guys doing?\"\n\nThe Triceratops, a bit nervous, mumbled,
\"Just... just hanging out, you know? Relaxing.\"\n\n\"Well, you"

" guys look pretty relaxed,\" the T-Rex said, eyeing them with a sly grin.
\"Maybe you could give me a hand with something.\"\n\n\"A hand?\""

...

しかし、ティラノサウルスのジョークではなく、もう少し複雑なものをモデルに尋ねるとどうなりますか。たとえば、数値が偶数か奇数かを判断する JavaScript 関数を Gemini に作成してもらいます。text: チャンクは少し異なります。

出力には、JavaScript コードブロックから始まる Markdown 形式が含まれるようになりました。次のサンプルには、前のサンプルと同じ前処理手順が含まれています。

"```javascript\nfunction"

" isEven(number) {\n  // Check if the number is an integer.\n"

"  if (Number.isInteger(number)) {\n  // Use the modulo operator"

" (%) to check if the remainder after dividing by 2 is 0.\n  return number % 2 === 0; \n  } else {\n  "
"// Return false if the number is not an integer.\n    return false;\n }\n}\n\n// Example usage:\nconsole.log(isEven("

"4)); // Output: true\nconsole.log(isEven(7)); // Output: false\nconsole.log(isEven(3.5)); // Output: false\n```\n\n**Explanation:**\n\n1. **`isEven("

"number)` function:**\n   - Takes a single argument `number` representing the number to be checked.\n   - Checks if the `number` is an integer using `Number.isInteger()`.\n   - If it's an"

...

さらに困難なのは、マークアップされたアイテムの一部が 1 つのチャンクで始まり、別のチャンクで終わることです。一部のマークアップがネストされています。次の例では、ハイライト表示された関数は **isEven( と number) function:** の 2 行に分割されています。結合すると、出力は **isEven("number) function:** になります。つまり、書式設定された Markdown を出力する場合、Markdown パーサーで各チャンクを個別に処理することはできません。

クライアントから

MediaPipe LLM などのフレームワークを使用してクライアントで Gemma などのモデルを実行する場合、ストリーミングデータはコールバック関数を介して送信されます。

次に例を示します。

llmInference.generateResponse(
  inputPrompt,
  (chunk, done) => {
     console.log(chunk);
});

Prompt API を使用すると、ReadableStream を反復処理してストリーミングデータをチャンクとして取得できます。

const languageModel = await self.ai.languageModel.create();
const stream = languageModel.promptStreaming(inputPrompt);
for await (const chunk of stream) {
  console.log(chunk);
}

次のステップ

ストリーミングデータを高パフォーマンスで安全にレンダリングする方法をお探しですか？LLM レスポンスをレンダリングするためのベストプラクティスをご覧ください。