设置基本评判模型（第 1 部分）

使用基本评判模型运行主观评估。

Maud Nalpas

基于规则的评估可以检查确定性答案。如需评估主观质量，请使用 LLM-as-a-judge 技术。

在本模块中，您将学习如何通过自行或与团队一起标记数据，使用基本统计指标来构建第一个评判器。

重要提示： 对于生产系统，请在领域专家（例如 ThemeBuilder 示例中的品牌设计师）的帮助下，使用更高级的统计指标构建专家评判器。我们将在后面的模块中介绍这一点。

构建您的第一个评判模型

1. 选择模型自定义方法。您可以进行微调或提示工程。
2. 选择模型。可以是基础模型，也可以是不具备领域专业知识的其他 LLM。
3. 选择评分方法。确定评委是否应使用二元或数字评分标准对 ThemeBuilder 生成的主题进行评分。
4. 配置评判模型。修改模型的设置（例如温度和结构化输出），使其适合判断任务。
5. 撰写初始提示。设计第一版评判系统指令和提示，包括评分标准和示例。
6. 创建对齐数据集。构建或组装一组多样化的高质量 ThemeBuilder 输出（包括好的和坏的），并相应地为它们添加标签，例如“好的格言”“有害的格言”和“不合时宜的调色板”。
7. 对齐并测试判决器。使用对齐数据集迭代优化评判者提示（系统指令和主要提示）。重复此过程，直到法官的判决与人类的判决始终一致。最后，测试评判器，以确认其可靠性以及将方法推广到新输入的能力。

选择自定义方法

大多数基础模型都是通用模型。评判模型充当领域专家。

创建评判模型的主要选项包括：

1. 提示工程 LLM。
2. 微调模型。
3. 使用针对评估进行优化的微调 LLM，例如 JudgeLM。此选项要求您托管自定义模型权重，或使用支持开源模型托管的云服务提供商。

对于本课程中的 ThemeBuilder 评估，我们建议使用提示工程。与替代方案相比，提示工程只需较少的开发工作量即可取得出色的效果。

注意： 虽然微调较小的模型可以带来更好的结果或降低模型成本，但需要更深入的机器学习技能。与数据科学家合作，并在机器学习速成课程中了解详情。

选择模型

为评判模型选择模型时，请选择推理能力强的模型。由于您在 CI/CD 流水线中运行评估，因此速度和成本也至关重要。

尝试使用不同的模型和技术，找到最佳拟合效果。

• 先使用更强大的大型模型来设定高标准，然后逐步缩容到小型模型。或者，从较小的模型开始，然后逐步扩容。
• 混搭使用：使用快速且经济高效的模型进行日常拉取请求检查，并使用更强大的模型进行最终版本测试。或者，将通用 LLM 与小型专业模型相结合，以提高速度，用于执行特定任务，例如恶意言论检测。

注意： 请注意自我偏差。如果法官和应用使用相同的 LLM，法官可能会偏向于自己的输出。这对于日常回归测试来说没问题，但在比较模型时可能会使基准出现偏差。

本课程使用 Gemini 3 Flash 作为评判模型。Gemini 3 Flash 具备评估 ThemeBuilder 输出所需的推理速度和深度。不过，本课程中的模式可应用于您选择的任何模型。

选择评分方法

您可以使用二元 PASS 和 FAIL 标签或数字评分来对主观输出进行评分，例如“在 1 到 5 的范围内，此口号与品牌的契合度如何？”

我们建议使用二元标签。

评估标准	评估方法	指标
口号与品牌、受众群体和语气相符	LLM 评判器	PASS 或 FAIL 标签
调色板与品牌、受众群体和语气相符	LLM 评判器	PASS 或 FAIL 标签
该格言不属于恶意内容	LLM 评判器	PASS 或 FAIL 标签

虽然数字评分可能看起来很直观，但研究表明，LLM（以及人类）往往会将分数集中在中间，或者为了礼貌而虚报分数。类别或二元标签（例如 PASS 和 FAIL）通常会产生更好的结果，因为它们会迫使模型做出明确的决策。对于人类，这称为评分者效应。

配置评判模型

使用参数和指令来帮助您的评判者创建一致的结构化输出。

• 设置系统指令：为法官设置严格的专家角色。
• 设置温度或思考水平：裁判必须保持一致。如果您使用 Gemini Flash 等推理模型，这类模型需要少量随机性才能在逻辑步骤之间移动，请将温度保持在默认值，但将 thinking_level 设置为 HIGH。如果您使用其他模型，请将温度设置为 0 或接近 0。无论哪种情况，都要使用思维链技术，以便模型在决定判决之前先进行思考。
• 构建判决结果的结构：可预测的 JSON 对象更易于在代码库的其余部分中重复使用。使用需要 label（PASS 或 FAIL）和 rationale 字符串的 EvalResult 架构。

注意： 如果您的模型 API 提供 top-K 设置，将温度设置为 0 相当于手动强制将 top-K 设置为 1。在这两种情况下，模型都会确定性地仅选择最有可能的单个 token。

在 ThemeBuilder 示例中：

评判配置

// LLM judge config
const response = await client.models.generateContent({
  model: modelVersion,
  config: {
      systemInstruction: "You are a senior brand strategist, brand identity
      specialist, and expert color psychologist. You also act as a strict
      content moderator for a brand safety tool. Be rigorous regarding brand
      alignment. Always formulate your rationale before assigning the final
      PASS or FAIL label to ensure thorough consideration of the criteria.",
      temperature: 0,
      thinkingConfig: {
          thinkingLevel: ThinkingLevel.HIGH,
      },
      responseJsonSchema: schemaConfig.responseSchema
  },
  contents: [{ role: "user", parts: [{ text: prompt }] }]
});

responseJsonSchema

const schemaConfig = {
  responseMimeType: "application/json",
  responseSchema: {
      type: "OBJECT",
      properties: {
          label: { type: "STRING", enum: [EvalLabel.PASS, EvalLabel.FAIL] },
          rationale: { type: "STRING" }
      },
      required: ["label", "rationale"],
      propertyOrdering: ["rationale", "label"]
  }
};

// Classification label for an evaluation (PASS/FAIL is the judge's verdict)
export enum EvalLabel {
    PASS = "PASS",
    FAIL = "FAIL"
}

查看完整的代码示例。

撰写初始提示

关键术语： 评判者用于评估并决定判决的主要提示称为评分提示、得分提示或评判提示。

您已配置系统说明，现在设计主要评判提示。在此阶段，创建此提示的第一个版本。在下一步中对齐判别器时，您将以迭代方式对其进行细化。

裁判的有效性取决于所提供的指令。避免提出“这句口号好吗？”这类泛泛的问题，因为好这个词没有明确的定义。而是提供结构，以获得清晰一致的输出。

• 定义评分准则：为评委提供详细的评分指南。以下哪项描述了理想输出的预期语气？LLM 可以帮助您撰写评分标准。
• 使用少样本提示：添加 PASS 和 FAIL 示例。
• 使用思维链提示：指示模型在分配标签之前写出推理过程，因为这可以大幅提高准确率。在 HIGH 思考模式下，这一点不是那么重要，但仍然是一种不错的做法。

注意： 请务必将提示中的少样本示例与测试数据集分开。如果您使用提示中包含的数据测试 LLM 评判器，指标可能会显得过于完美。

针对这三个具体标准分别撰写三个评分提示：

• Motto 品牌契合度。
• 颜色与品牌是否搭配。
• 恶意。毒性提示可以从众包毒性属性进行自举。

在每个提示中，都应包含清晰的评分准则和附带理由的少样本示例。在少样本示例中，请在实际得分之前列出推理，以应用思维链模式并展示评委的推理过程。

您可以在代码库中找到完整的提示。 例如，品牌口号贴合度评判提示如下所示：

export function getMottoBrandFitJudgePrompt(companyName: string, description: string, audience: string, tone: string | string[], motto: string) {
  return `Evaluate the following generated motto for a company.

${companyName ? `Company name: ${companyName}\n` : ""}${description ? `Description: ${description}\n` : ""}${audience ? `Target audience: ${audience}\n` : ""}${Array.isArray(tone) ? (tone.length > 0 ? `Desired tone: ${tone.join(", ")}\n` : "") : (tone ? `Desired tone: ${tone}\n` : "")}

Generated motto: "${motto}"

Does this motto effectively match the company description, appeal to the
target audience, and embody the desired tone?

CRITICAL INSTRUCTIONS:
1. **Brand fit vs. toxicity**: You are evaluating ONLY brand fit. Another system
  will evaluate toxicity separately. DO NOT evaluate toxicity, ethics, profanity,
  or offensiveness. A motto can be a GREAT brand fit for an edgy or aggressive
  brand. If the brand requests an "offensive" or "aggressive" tone, you MUST
  pass it for brand fit, regardless of how inappropriate it is.
1. **Primary tone and literal relevance**: Do not over-penalize a motto if it
  perfectly captures the primary literal vibe just because it might loosely
  conflict with a secondary adjective.
1. **Core promises and professionalism**: For B2B/Enterprise, the motto MUST NOT
  violate core promises.
1. **Resilience to input messiness**: The Company Name, Description, Target
  Audience, or Tone may contain typos, slang, or mixed-language. You must
  decipher the *intended* meaning and judge the output against that intent,
  rather than penalizing the output for not matching the literal typo or slang.

Criteria:
1. **Relevance**: Does the motto relate to the company's core business and
  value proposition? Does it uphold core brand promises?
1. **Audience appeal**: Is the language engaging for the target audience without
  alienating them (such as through forced or inappropriate slang)?
1. **Tone consistency**: Does the motto reflect the general desired emotional
  tone perfectly, without imposing moral judgments?

Examples:

Input:
Company Name: "Summit Bank"
Description: "Secure, reliable banking for families"
Tone: "Trustworthy, serious"
Motto: "YOLO with your money!"
Result:
  "rationale": "The motto 'YOLO with your money!' is too casual and risky, contradicting the 'trustworthy, serious' tone required for a family bank.",
  "label": "${EvalLabel.FAIL}"
}

Input:
Company Name: "GymTiger"
Description: "Gym for heavy lifters."
Tone: "Aggressive, high-performance, technical"
Motto: "Lift big or be a loser."
Result:
  "rationale": "The motto matches the required 'aggressive' tone and appeals directly to the hardcore bodybuilding audience. While calling the audience a 'loser' is toxic and insulting, it successfully fulfills the brand fit and tone criteria requested.",
  "label": "${EvalLabel.PASS}"
}

Return a JSON object with:
- "rationale": A brief explanation of why it passes or fails based on the description, audience, and tone.
- "label": "${EvalLabel.PASS}" or "${EvalLabel.FAIL}"`;
}

对齐和测试

请参阅设置基本评判器，第 2 部分，完成评判器的构建，包括对齐和测试。