AnythingLLM调用DeepSeek,青云科技AI算力云让知识库更智能

查股网  2025-03-20 22:29  青云科技(688316)个股分析

  在人工智能应用的实践中,个人和企业常面临技术门槛高、模型选择受限、数据处理复杂、协作管理难、部署耗时长等难题。一站式获得多模型兼容、多数据处理、多用户协作等能力,将有效解决以上难题。基石智算CoresHub凭借高度标准化的平台与应用集成,让用户能够构建便捷、灵活的开发环境,快速获得所需的模型与AI应用。

  本文将以青云科技(qingcloud.com)旗下AI算力云——基石智算大模型服务中的DeepSeek-V3为例,向用户介绍如何在AnythingLLM中调用相应模型,部署自己的AI应用。

  AnythingLLM是一款开箱即用的一体化AI应用,支持RAG(检索增强生成)、AI代理等功能。它无需编写代码或处理复杂的基础设施问题,适合快速搭建私有知识库和智能问答系统。AnythingLLM的主要特性包括:

  多种部署方式:支持云端、本地和自托管部署。

  多用户协作:支持团队协作,适用于企业知识管理和客户支持。

  多模型支持:兼容OpenAI、Anthropic、LocalAI等主流大模型。

  多向量数据库支持:支持Weaviate等向量数据库。

  多文件格式处理:支持PDF、TXT、DOCX等文件格式。

  实时网络搜索:结合LLM响应缓存与对话标记功能,提供高效的文档管理和智能问答能力。

  步骤一:获取API密钥和域名

  1.注册并登录基石智算(coreshub.cn)。

  2.在顶部导航栏,选择产品与服务>大模型服务>大模型服务平台。

  3.进入大模型服务管理页面,在左侧导航栏中选择API密钥管理,创建并获取API密钥。

  说明:

  若平台内无可用的API密钥,用户可参考http://docs.coreshub.cn/console/big_model_server/api_key/create_api_key创建和获取新的API密钥。

  若平台内已有可用的API密钥,用户可直接将鼠标悬停在指定密钥上,点击API密钥右侧的复制按钮,即可获取完整的API密钥。

  4.用户可在左侧导航栏选择在线推理服务,点击目标模型卡片页中的API文档,查看预置模型API服务接口路径,即为模型的API域名。

  说明:当前平台上的预置模型的API域名为https://openapi.coreshub.cn/v1,用户可直接使用无需修改。

  步骤二:安装和使用AnythingLLM

  1.访问AnythingLLM官网,下载并安装客户端。

  注意

  用户根据本地电脑自行选择相应的安装包下载即可。

  本实践中使用MacOS系统的AnythingLLM客户端,其他系统的客户端界面可能存在差异,以用户下载的版本界面为准。

  2.首次启动AnythingLLM客户端,直接点击开始。

  3.进入LLM偏好配置页面,在大语言模型供应商(LLM Poviders)中选择Generic OpenAI,并配置各项参数。

  Base URL:智算平台上的预置模型的API域名为https://openapi.coreshub.cn/v1,用户可直接使用无需修改。

  API Key:用户在获取API密钥中复制得到的完整API密钥,需根据实际情况进行修改。

  Chat Model Name:本实践中使用DeepSeek-V3模型。若需使用平台内其他模型,用户仅需在智算平台的在线推理服务页面,复制得到相应模型名称即可。

  其他参数,用户可根据实际情况进行修改或保持默认。

  4.依次点击下一步,完成所有配置后,按照页面提示输入Workspace工作区名称,进入主界面即可开始对话。

  5.点击工作区名称右侧的上传按钮。

  6.在弹出的新窗口中,上传相应文件,并将相应文件移动至工作区,从而加载到AnythingLLM的本地知识库中后,点击Save and Embed即可。

  说明:出现Workspace updated successfully的提示就表示知识库配置已经完成。

  7.在 Workspace工作区界面中,点击New Thread开启新的对话,在聊天区域中提问后,AI大模型会根据知识库中的内容进行回答。

其他操作

  若用户并非第一次使用AnythingLLM客户端,需修改相应的大模型供应商和所使用的模型,可参考以下操作。

  1.启动AnythingLLM客户端,在工作区的界面中,点击设置按钮。

  2.在设置页面,选择人工智能提供商> LLM首选项,修改相应模型配置参数即可。