第2038篇：Temperature和采样参数调优——控制LLM输出的多样性与稳定性

适读人群：需要在不同场景下调优LLM输出风格的工程师 | 阅读时长：约16分钟 | 核心价值：理解temperature等采样参数的实际效果，为不同任务选择最优配置

"把temperature调高一点，创意就好了。"

这句话对了一半。Temperature确实影响输出的多样性，但"更高更有创意"的认知是不准确的。

我做过一个测试：把temperature从0.7调到1.5，写诗的创意性确实提升了，但同时开始出现文字乱码、语义跳跃、无法完成完整句子的问题。

Temperature不是越高越好，它是个平衡旋钮，不同任务有不同的最优点。

---

采样参数的工作原理

LLM每次生成token，实际上是从一个概率分布中采样。这个分布由模型的logits（原始分数）经过Softmax计算得到。

Temperature的作用是调整这个概率分布的"平坦程度"：

低Temperature（如0.1）：
- 概率分布更尖锐，高概率token占绝对优势
- 几乎每次都选最高概率的token
- 输出更确定、更重复

高Temperature（如1.5）：
- 概率分布更平坦，低概率token也有机会
- 输出更随机、更多样
- 超高温度：分布近乎均匀，输出趋于随机乱码

用数学公式表示：

调整后概率 = softmax(logits / temperature)
temperature=1: 不改变（原始概率）
temperature<1: 放大高概率token的优势
temperature>1: 压缩高低概率的差距

---

不同任务的Temperature建议

/**
 * 不同任务场景的LLM参数配置
 */
public class TaskSpecificChatOptions {
    
    /**
     * 需要确定性输出的任务：代码生成、数据提取、分类
     * 每次输出应该一样，不需要多样性
     */
    public static ChatOptions forDeterministicTask() {
        return ChatOptions.builder()
            .temperature(0.0)   // 完全贪心解码，每次取最高概率token
            .topP(1.0)          // 不限制候选
            .build();
    }
    
    /**
     * 事实性问答：知识查询、数学解题
     * 需要准确，略允许语言表达的轻微变化
     */
    public static ChatOptions forFactualQA() {
        return ChatOptions.builder()
            .temperature(0.1)
            .topP(0.95)
            .build();
    }
    
    /**
     * 标准业务场景：客服、文档摘要、翻译
     * 平衡准确性和自然流畅性
     */
    public static ChatOptions forBusinessTask() {
        return ChatOptions.builder()
            .temperature(0.3)
            .topP(0.9)
            .build();
    }
    
    /**
     * 创意写作：营销文案、故事续写
     * 允许更多的创意表达
     */
    public static ChatOptions forCreativeWriting() {
        return ChatOptions.builder()
            .temperature(0.8)
            .topP(0.9)
            .frequencyPenalty(0.3)  // 减少重复词汇
            .presencePenalty(0.3)   // 鼓励引入新话题
            .build();
    }
    
    /**
     * 头脑风暴：生成多样化的想法
     * 追求多样性而非质量单一最优
     */
    public static ChatOptions forBrainstorming() {
        return ChatOptions.builder()
            .temperature(1.0)
            .topP(0.95)
            .build();
    }
}

---

Top-P（Nucleus Sampling）的含义

Top-P是另一个常见参数，它和Temperature的效果不一样：

Temperature：改变所有token的相对概率
Top-P：只保留累积概率达到P的最高概率token集合，其他token概率清零

例子（5个候选token的概率）：
原始：[0.4, 0.3, 0.15, 0.1, 0.05]

top_p=0.9：
保留前3个（0.4+0.3+0.15=0.85 < 0.9），
加上第4个（0.4+0.3+0.15+0.1=0.95 > 0.9）
实际上从前4个中采样

top_p=0.5：
只保留前2个（0.4+0.3=0.7 > 0.5），从前2个中采样

Top-P的好处是自适应的——当模型非常确定时（一个token概率极高），自动限制候选范围；当模型不确定时，允许更多候选。

---

重复惩罚参数

/**
 * 重复惩罚参数的使用场景
 */
public class RepetitionPenaltyGuide {
    
    /**
     * frequency_penalty（频率惩罚）：
     * 根据token在输出中出现的次数降低其概率
     * 范围：0到2，0表示不惩罚
     * 
     * 适用场景：
     * - 长文本生成（防止反复出现同样的词）
     * - 营销文案（避免重复使用同一个卖点描述）
     */
    public ChatOptions forLongContent() {
        return ChatOptions.builder()
            .temperature(0.7)
            .frequencyPenalty(0.3)  // 轻微惩罚，减少词汇重复
            .build();
    }
    
    /**
     * presence_penalty（存在惩罚）：
     * 只要token出现过，就统一降低其概率（不管出现几次）
     * 效果：鼓励引入新话题、新词汇
     * 
     * 适用场景：
     * - 创意发散（强制引入新角度）
     * - 避免模型"卡壳"在同一个话题上
     */
    public ChatOptions forDiverseTopics() {
        return ChatOptions.builder()
            .temperature(0.8)
            .presencePenalty(0.5)   // 中等惩罚，鼓励话题转换
            .build();
    }
    
    /**
     * 不要同时把两个惩罚都设很高
     * frequency_penalty高 + presence_penalty高 = 输出容易变乱
     */
    public ChatOptions antiPattern_DoNotUse() {
        return ChatOptions.builder()
            .temperature(0.7)
            .frequencyPenalty(1.5)  // 太高了！
            .presencePenalty(1.5)   // 太高了！
            .build();  // 实际效果很差，输出会变得词不达意
    }
}

---

A/B测试找最优参数

对于关键场景，应该通过实验找到最优参数而不是凭经验猜：

/**
 * 采样参数的A/B测试框架
 */
@Service
@RequiredArgsConstructor
public class SamplingParamTuner {
    
    private final ChatClient chatClient;
    private final EvalService evalService;
    
    /**
     * 在给定的测试集上对比不同参数配置的效果
     */
    public ParamTuningReport tune(
            List<EvalCase> evalCases,
            String taskType,
            List<ChatOptions> candidates) {
        
        Map<String, Double> scores = new LinkedHashMap<>();
        
        for (ChatOptions options : candidates) {
            String configKey = String.format("temp=%.1f,topP=%.1f,freqP=%.1f", 
                options.getTemperature(),
                options.getTopP() != null ? options.getTopP() : 1.0,
                options.getFrequencyPenalty() != null ? options.getFrequencyPenalty() : 0.0);
            
            double avgScore = evalCases.stream()
                .mapToDouble(evalCase -> {
                    String response = chatClient.prompt()
                        .user(evalCase.getInput())
                        .options(options)
                        .call()
                        .content();
                    
                    return evalService.score(evalCase, response, taskType);
                })
                .average()
                .orElse(0.0);
            
            scores.put(configKey, avgScore);
        }
        
        // 找到最优配置
        String bestConfig = scores.entrySet().stream()
            .max(Map.Entry.comparingByValue())
            .map(Map.Entry::getKey)
            .orElse("unknown");
        
        return ParamTuningReport.builder()
            .taskType(taskType)
            .scores(scores)
            .bestConfig(bestConfig)
            .bestScore(scores.get(bestConfig))
            .build();
    }
    
    /**
     * 实用的搜索范围：不同任务场景的推荐测试值
     */
    public List<ChatOptions> getSearchSpace(String taskType) {
        return switch (taskType) {
            case "classification", "extraction" -> List.of(
                ChatOptions.builder().temperature(0.0).build(),
                ChatOptions.builder().temperature(0.1).build(),
                ChatOptions.builder().temperature(0.2).build()
            );
            case "qa", "summarization" -> List.of(
                ChatOptions.builder().temperature(0.1).build(),
                ChatOptions.builder().temperature(0.3).build(),
                ChatOptions.builder().temperature(0.5).build()
            );
            case "creative_writing" -> List.of(
                ChatOptions.builder().temperature(0.7).build(),
                ChatOptions.builder().temperature(0.9).build(),
                ChatOptions.builder().temperature(1.0).build()
            );
            default -> List.of(
                ChatOptions.builder().temperature(0.3).build(),
                ChatOptions.builder().temperature(0.5).build(),
                ChatOptions.builder().temperature(0.7).build()
            );
        };
    }
}

---

一个实用的速查表

任务类型	Temperature	Top-P	备注
数据提取/JSON输出	0.0-0.1	1.0	越确定越好
事实问答	0.1-0.3	0.9	准确性优先
客服对话	0.3-0.5	0.9	自然流畅
文本摘要	0.3-0.4	0.9	忠实原文
内容生成	0.6-0.8	0.9	创意与质量平衡
头脑风暴	0.8-1.0	0.95	多样性优先

Temperature调优的核心原则：从低往高测试，在"效果刚好够用"的温度停下来。高温度不只带来创意，也带来不确定性和出错概率。