PerfXCloud快速集成Dify开源大模型应用开发平台



By
jonson
04 7 月 24
0
comment

一、准备

本项目使用www.perfxcloud.net 大模型平台,网站上有详细的说明文档。

快速开始 | PerfXCloud​docs.perfxlab.cn/docs/tutorial-basics/get-started

注意:PerfXCloud的API接口兼容 OpenAI 的ChatGPT,可以直接使用 OpenAI SDK或者其他中间件来访问 PerfXCloud。这使得开发者从ChatGPT或者其他平台切换到PerfXCloud变得非常非常容易。

  1. 如果还没有PerfXCloud的账号,可以登录网站创建一个。
  2. PerfXCloud目前支持 :Qwen1.5-110B-Chat-GPTQ-Int4, Qwen1.5-72B-Chat-GPTQ-Int4, Qwen2-72B-Instruct-GPTQ-Int4, Meta-Llama-3-70B-Instruct-GPTQ-Int4, Qwen-14B-Chat-Int4, Meta-Llama-3-8B-Instruct,Llama3-Chinese_v2, chatglm3-6b,llama-3-8b, Qwen1.5-7B,Qwen2-7B,gpt2, SOLAR-10_7B-Instruct,llama-2-7b, PHI_1-5,opt-1b3, phi-2,internLM, Mistral-7B-Instruct, MindChat-Qwen-7B-v2,StarCoder-1B 还在持续更新中
模型广场图

二、登录 dify

通过链接cloud.dify.ai/signin登录,进入到 Dify 控制台。


配置模型供应商


配置自定义供应商

点击模型供应商,拉到最下面,选择 OpenAI-API-compatible,点击添加模型按钮。


以下的API Key 等信息均从 www.perfxcloud.net 大模型平台获取到:

  • 获取到您创建的令牌 Key 填写到字段 “API Key” 中。
  • 将您创建的令牌所需要使用的模型名称,填写到字段“模型名称”中。
  • 将 PerfXCloud 的 API 地址 填写到字段“API endpoint URL”中。
  • 点击保存,完成模型供应商配置。
配置效果图

创建应用

点击“创建空白应用”。


编辑应用的图标和名称,可输入应用的描述,点击按钮“创建”。


编排应用

点击右上角的按钮,弹出面板设置 PerfXCloud 令牌的模型,如下图所示。

依次点击图中菜单按钮

创建知识库

输入您想创建应用的提示词。创建应用知识库,点击上下文面板的“添加”按钮,创建应用知识库,并上传知识库的文档。

当您编写完成提示词,完成知识库上传后,您可以在右侧“调试与预览”面板进行应用测试。

测试完成后,即可点击“发布”按钮发布您的应用。

聊天效果图如下



本项目视频教程地址

PerfXCloud快速集成Dify开源大模型应用开发平台_哔哩哔哩_bilibili​www.bilibili.com/video/BV1D1421r7Ta/

—————————————–全文完—————————————–

发表回复