根据 llm 感知和重现预训练数据中相关知识的能力，这些模型仍可能通过生成事实错误的响应而导致严重的幻觉问题。我们建议通过为评论家代理配备适当的外部工具来生成更可靠的评论家反馈来解决此问题。具体来说，我们让评论家生成新颖的查询（由代码片段和文本查询组成），以调用相关工具（如网络搜索和代码解释器）。然后，评论家使用工具输出来生成更多基于知识的评论。
事前反馈事后反馈
与文本域不同，代码生成输出可以通过 python 编译器等代码执行器在编码环境中进行额外观察/解释。代码执行器提供更多事后观察，然后评论家可以使用这些观察来获取更多信息反馈。在 indict 中，我们提供两种类型的反馈：（1）在初始代码生成阶段获得的先发性评论家反馈；（2）在执行环境中观察代码后激活的事后评论家反馈。我们的 telegram马来西亚 策略促进了更全面的评论家框架，以减少不安全/恶意输出代码对编码环境的潜在损害。
使用 indict 提高 llm 输出在编码任务上的安全性和实用性
我们从 5 个基准测试中对 8 种编程语言的 8 个不同任务对 indict 进行了全面评估。虽然评估有用性和安全性等品质仍是一个悬而未决的问题，但我们尽可能采用与先前相关工作类似的评估策略。具体来说，我们混合使用了静态分析工具（例如[1]）来扫描生成的代码中的安全性和漏洞问题，并使用基于 ai 的评估（例如[2]）来确定模型输出中的有用性和恶意性。有关实验结果的更多详细信息，请参见下文。