From 86c1825344b74f13681e75fe959ceaa98f883dee Mon Sep 17 00:00:00 2001 From: LXW <1264174498@qq.com> Date: Mon, 15 Jan 2024 17:44:17 +0800 Subject: [PATCH] =?UTF-8?q?Updated=20LLM=E4=B8=8Etext2sql=E9=85=8D?= =?UTF-8?q?=E7=BD=AE=20(markdown)?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- LLM与text2sql配置.md | 7 +++++-- 1 file changed, 5 insertions(+), 2 deletions(-) diff --git a/LLM与text2sql配置.md b/LLM与text2sql配置.md index 4004a9b..438dbc1 100644 --- a/LLM与text2sql配置.md +++ b/LLM与text2sql配置.md @@ -1,14 +1,17 @@ 语言模型的使用是SuperSonic的重要一环。能显著增强对用户的问题的理解能力,是通过对话形式与用户交互的基石之一。在本项目中对语言模型能力的应用主要在 LLM 和 Embedding 两方面, 且支持Java和Python两种访问语言模型的方式, 下面分别介绍这两种访问方式的配置。 ## JavaLLMProxy 服务默认启动方式就为Java访问语言模型的方式, 语言模型相关配置可直接通过YAML文件来配置, 目前在配置中支持配置访问open-ai的key和LLM模型的名称 - +
+ +

图1-1 配置文件

+
## PythonLLMProxy Python访问LLM的方式需要通过`sh assembly/bin/supersonic-daemon.sh start pyllm`来启动Python服务, 该命令同时也会启动Java服务, 但通过Python服务来访问LLM。 Python服务默认使用的模型中,LLM选用闭源模型 gpt-3.5-turbo-16k,Embedding模型选用开源模型 GanymedeNil/text2vec-large-chinese。用户可以根据自己实际需求进行配置更改。 **配置方式** -
+

图2-1 配置文件