Sampling

Temperature 与 top-p：当答案比新意更重要时怎么调

Temperature 和 top-p 是两个每个团队都在调、几乎没人系统地调过的采样参数。0.7 是大家的第一直觉，0 是第二直觉，多数项目就停在那里。真正的代价后面才出现：分类任务用着创意写作的 ...

Self-Consistency 采样：当你需要正确答案时的廉价可靠性

Self-consistency 采样听起来像研究员提的方案、生产工程师会忽略的那种东西。在非零 temperature 下对同一 prompt 采样 N 次，取多数答案，上线。它对有离散正确答案的任 ...