谷歌 DeepMind 推新框架 InfAlign，提升对话生成效果

近日，谷歌 DeepMind 研究团队发布了一项重要成果 —— 推理感知对齐框架 InfAlign。该框架旨在解决在已知推理时策略的情况下，如何优化生成性语言模型以提高与参考模型相比的胜率问题。
InfAlign 通过特定的奖励转换和已有的强化学习算法进行模型优化，其中提出的实用求解器 “校准和转换强化学习”（CTRL）采用三步策略：校准、转换以及解决 KL-RL 问题。实证校准过程通过从参考模型中抽取样本并排序来分配经验校准的奖励分数，还提出了使用对数域中步进函数对校准曲线进行近似的方法以减少开销。
在 anthropic 帮助和无害数据集上的实验验证了 InfAlign 的有效性，它显示出比多种基线方法更好的推理时胜率表现，在实际推理时处理应用下的胜率对比提升了 8-12%。这一框架为优化生成性语言模型提供了新的思路和方法，有望在对话生成等领域发挥重要作用，提升语言模型的性能和实用性。