导航
当前章节： IDKB检索增强大模型系列教程导航
原文链接：Linux文本编辑
下一章节：gcc编译器
目录：Linux程序设计
前言
截至目前为止（24.6.14），国内外大模型已经非常多了，AI热过去后很多人其实已经意识到了，attention机制的大模型本质就是一个检索器，模型越大内部的参数化知识越多，召回率也就越高。
但是这些模型不可能获取全世界的知识，模型没有办法得到和处理没有训练过的领域尤其是垂直领域和新领域的知识，因此大模型目前也就只能当当聊天工具或者增强的搜索引擎。
由此来看，大模型的发展方向应该转变为怎么能够为大模型提供准确专业的知识，并且这些知识能够实时更新替换，大模型的训练方向也应该向怎么从一系列知识(可能正确也可能错误)中，检索到需要的知识，分辨知识的正确性，并生成回答。
向着这个方向，我们可以参考几个开源项目如langchain的chatchat，这个项目实现了文件形式的非参数存储和检索方法。这个方法最早应该是RAG算法这篇论文里面引入了非参数知识存储检索模块。