大型语言模型（llm）是旨在理解和生成人类语言的机器学习模型。最先进的法学硕士在开放领域问答（ODQA）中表现出了突出的潜力，其中模型的任务是提供事实问题的答案。
这在金融、医疗和教育等领域尤其有用。然而，法学硕士通常依靠他们预先训练的知识来回答在不断变化的世界中可能过时的问题。
这个限制可以通过使用检索增强生成（RAG）和预训练的LLM来解决。在这种方法中，问题被知识库中的文档所扩充。尽管有这些进步，法学硕士通常会产生冗长的回答，提供上下文信息，这使得识别准确的答案短语变得困难和耗时。
法学硕士的另一个重要方面是他们产生信心分数的能力，这反映了模型对其答案正确性的确定程度。这些分数在金融、法律和医疗等高风险领域尤为重要。虽然llm可以生成特定响应的序列概率，但就校准而言，这种概率通常是不可靠的。
这意味着预测的置信度可能与正确的概率不准确相关，不应用作置信度评分。无法识别准确的答案短语并产生可靠的置信度分数限制了法学硕士的实际应用。
为了解决这些限制，由Nguyen Le Minh教授领导的日本高级科学技术研究所的一组研究人员，包括博士生Nguyen- khang Le和Dieu-Hien Nguyen，引入了一种名为应答前缀生成（ANSPRE）的新方法。
“ANSPRE可以提高法学硕士的生成质量，允许他们输出准确的答案短语，并产生可靠的置信度分数。此外，它可以被整合到任何LLM和复杂的架构中，”Nguyen教授说。他们的研究将于10月19日至24日在西班牙圣地亚哥德孔波斯特拉举行的第27届欧洲人工智能会议ECAI-2024上发表。
ANSPRE的主要思想是将一系列文本添加到LLM提示中，从而导致答案短语。这个文本序列被称为“答案前缀”。
阮教授解释说：“考虑一下这个例子问题，‘什么赌博游戏需要两个硬币，在第一次世界大战中很流行？这个问题的答案前缀可以是，“在第一次世界大战中流行的需要两个硬币来玩的赌博游戏是___。”由于大多数法学硕士都接受过因果语言建模的训练，使用答案前缀将允许法学硕士在空白的地方生成准确的答案短语。”
给定一个问题，ANSPRE首先使用选定的几个示例生成答案前缀。研究人员证明，只需要几个手工制作的例子就足以生成高质量的答案前缀。然后ANSPRE使用现有的检索器从知识库中收集相关文档，类似于RAG。
它结合了文档、问题和答案前缀，并提示LLM生成答案短语。最后，ANSPRE将用于回答问题的不同文档中的答案短语和置信度分数聚合在一起，以生成最终答案。
研究人员通过构建将ANSPRE与Self-Reflective RAG （SEFT-RAG）相结合的自反射答案前缀生成（SELF-ANSPRE）来展示ANSPRE的多功能性。
SEFT-RAG通过引入反射令牌来决定何时从知识库中检索什么内容，并根据文档和答案的实用性对响应进行排序，从而改进了LLM的生成。在SELF-ANSPRE中，将来自ANSPRE的信心分数和来自反射令牌的分数结合起来生成最终的排名分数。
研究人员在三个ODQA基准和各种LLM架构上测试了ANSPRE。结果表明，ANSPRE显著改善了预训练和指令调整的LLMS，产生了高质量的答案和信心分数，与正确性密切相关。此外，self - answer显著增强了set - rag。他们的分析还强调了每个ANSPRE组件的重要性。
“我们的方法可以在医疗诊断、法律援助和教育等关键领域提供更简洁准确的问题回答，并改善客户支持。此外，从长远来看，我们的研究可以通过增加对人工智能系统的信任来促进广泛的人类与人工智能合作，”Nguyen教授说。
总的来说，这种创新的方法标志着法学硕士向前迈出了重要的一步，并可能导致法学硕士更广泛的应用，甚至在敏感领域。
由日本科学技术院提供
引用研究人员开发了一种方法，使法学硕士能够更多地回答问题
（2024, 10月18日）从https://techxplore.com/news/2024-10-method-enabling-llms-concisely-accurately.html检索到2024年10月18日
作品受版权保护。除为私人学习或研究目的而进行的任何公平交易外，未经书面许可，不得转载任何部分。的有限公司
内容仅供参考之用。
