0%

原文链接:linux下cuda安装-ubuntu22.04安装cuda11.8(cuda+cudnn)

导言

cuda是nvidia提供在N卡上实现并行计算的工具包,cudnn是cuda的运行时库,通过cuda提供的内核函数能够高效的在N卡上跑密集计算程序。
本文在N卡机器上安装好了相应的驱动后,提供安装cuda和cudnn的详细步骤,并运行官方示例程序验证。

Nvidia驱动安装参考链接:linux下nvidia驱动安装-ubuntu22.04安装2060-notebook驱动

Read more »

导航

当前章节: IDKB检索增强大模型系列教程导航
原文链接:Linux文本编辑
下一章节:gcc编译器
目录:Linux程序设计

前言

截至目前为止(24.6.14),国内外大模型已经非常多了,AI热过去后很多人其实已经意识到了,attention机制的大模型本质就是一个检索器,模型越大内部的参数化知识越多,召回率也就越高。

但是这些模型不可能获取全世界的知识,模型没有办法得到和处理没有训练过的领域尤其是垂直领域和新领域的知识,因此大模型目前也就只能当当聊天工具或者增强的搜索引擎。

由此来看,大模型的发展方向应该转变为怎么能够为大模型提供准确专业的知识,并且这些知识能够实时更新替换,大模型的训练方向也应该向怎么从一系列知识(可能正确也可能错误)中,检索到需要的知识,分辨知识的正确性,并生成回答。

向着这个方向,我们可以参考几个开源项目如langchain的chatchat,这个项目实现了文件形式的非参数存储和检索方法。这个方法最早应该是RAG算法这篇论文里面引入了非参数知识存储检索模块。

Read more »

当前章节:获取嵌入向量
目录导航

介绍

获取嵌入向量是使用模型的第一个部分,主要包括文本块和用户提问内容两个部分。我们将文本分割后会得到文本块,利用专门的embed模型或者直接通过llm嵌入,最终将所有文本块转为向量,向量、文本、数据库ID作为一个信息结点。使用向量数据库存储向量。

用户提问后,先将问题转为嵌入,从数据库查找最近的结点,返回ID对应的文本块即可。一同交付给模板打包即可。

嵌入模型

  1. 本地语言模型如bert、text2vec、word2vec
  2. 接口embedding模型如openai-embedding,chatglm的embedding层

嵌入方法

常用方法是将文本的word的词向量求mean

测试

总结