控制模型输出随机性和创造性的采样参数。
温度像 AI 的酒量旋钮,调低像写公文,调高像凌晨三点灵感上头。
做事实问答要低一点,写创意文案可以高一点,但别让它放飞到没边。
Prompt同一个 Prompt 会因 Temperature 不同而生成不同结果。
InferenceTemperature 在 Inference 阶段控制采样随机性。
LLMTemperature 越高,LLM 输出越多样也越不稳定。