From 4c91b74bdcdff98b41fb22d5794a7e6a1c47458b Mon Sep 17 00:00:00 2001
From: SunDean <1264174498@qq.com>
Date: Wed, 6 Sep 2023 21:36:12 +0800
Subject: [PATCH] =?UTF-8?q?Created=20LLM=E6=A8=A1=E5=9E=8B=E9=85=8D?=
 =?UTF-8?q?=E7=BD=AE=20(markdown)?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit

---
 LLM模型配置.md | 26 ++++++++++++++++++++++++++
 1 file changed, 26 insertions(+)
 create mode 100644 LLM模型配置.md

diff --git a/LLM模型配置.md b/LLM模型配置.md
new file mode 100644
index 0000000..e9fe2c4
--- /dev/null
+++ b/LLM模型配置.md
@@ -0,0 +1,26 @@
+# LLM模型配置
+
+### **简介**
+
+LLM模型的使用是超音数的重要一环。能显著增强对用户的问题的理解能力，是通过对话形式与用户交互的基石之一。在本项目中对LLM能力的应用分为两方面，NLU与NLG;默认使用的模型中，NLU模型选用开源模型 GanymedeNil/text2vec-large-chinese，NLG模型选用闭源模型 gpt-3.5-turbo-16k。用户可以根据自己实际需求进行配置更改。
+
+
+### **配置方式**
+<div align="left" >
+    <img src=https://github.com/lxwcodemonkey/supersonic/blob/master/docs/images/nlp_config.png/>
+    <p>图1-1 NPL配置文件</p>
+</div>
+
+1. NPL模型相关的配置，在 supersonic/chat/core/src/main/python/llm/run_config.py 进行配置。
+2. NLG模型采用OpenAI的闭源模型 gpt-3.5-turbo-16k，在使用时需要提供OpenAI的API-Key才能调用LLM模型，通过 OPENAI_API_KEY 变量进行配置。
+3. NLU模型采用开源模型 GanymedeNil/text2vec-large-chinese，通过 HF_TEXT2VEC_MODEL_NAME 变量进行位置，为了使用方便采用托管在HuggingFace的源，初次启动时自动下载模型文件。
+
+### **FAQ**
+1. NLG模型可以用开源的LLM模型替代OpenAI的GPT模型吗？
+   - 暂时不能。我们测试过大部分主流的开源LLM，在实际使用中，在本项目需要LLM提供的逻辑推理和代码生成场景上，开源模型还不能满足需求。
+   - 我们会持续跟进开源LLM的最新进展，在有满足要求的开源LLM后，在项目中集成私有化部署开源LLM的能力。
+2. GPT4、GPT3.5、GPT3.5-16k 这几个模型用哪个比较好？
+   - GPT3.5、GPT3.5-16k 均能基本满足要求，但会有输出结果不稳定的情况；GPT3.5的token长度限制为4k，在现有CoT策略下，容易出现超过长度限制的情况。
+   - GPT4的输出更稳定，但费用成本远超GPT3.5，可以根据实际使用场景进行选择。
+3. NLU的模型用其他的可以吗？
+   - 可以。可以以该项目[text2vec]([URL](https://github.com/shibing624/text2vec))的榜单作为参考，然后在HuggingFace找到对应模型的model card，修改HF_TEXT2VEC_MODEL_NAME变量的取值。