开放 Ollama 服务
环境变量
OLLAMA_HOST: Ollama 服务器的 IP 地址（默认 127.0.0.1:11434）OLLAMA_NUM_PARALLEL: 最大并行请求数（默认 1）OLLAMA_MAX_LOADED_MODELS: 最大加载模型数量（默认 1）OLLAMA_KEEP_ALIVE: 模型在内存中保持加载的持续时间（默认 5m），-1 表示永久保持加载。Linux
curl -fsSL https://ollama.com/install.sh | sh
编辑 systemd 服务，调用 systemctl edit ollama.service。这将打开一个编辑器。 sudo systemctl edit ollama.service 对于每个环境变量，在 [Service] 部分下添加一行 Environment： [Service] Environment="OLLAMA_HOST=0.0.0.
框架
[SGLang][SGLang]
SGLang 是一种专为大型语言模型 (LLM) 设计的结构化生成语言。它通过共同设计前端语言和运行时系统，使您与 LLM 的交互更快、更可控。
平台
[Dify][Dify]
Dify 是一个 UI 驱动的用于开发大语言模型应用程序的平台，它使原型设计更加容易访问。它支持用户使用提示词模板开发聊天和文本生成应用。此外，Dify 支持使用导入数据集的检索增强生成（RAG），并且能够与多个模型协同工作。我们对这类应用很感兴趣。不过，从我们的使用经验来看，Dify 还没有完全准备好投入大范围使用，因为某些功能目前仍然存在缺陷或并不成熟。但目前，我们还没有发现更好的竞品。
工具
[Continue][Continue]
Continue 使您能够在 IDE 中创建自己的 AI 代码助手。使用 VS Code 和 JetBrains 插件保持开发者的流畅体验，这些插件可以连接到任何模型、任何上下文以及任何其他你需要的东西。Continue 使您能够使用适合工作的模型，无论是开源还是商业，本地运行还是远程运行，用于聊天、自动完成或嵌入。它提供了许多配置点，以便您可以自定义扩展以适应您现有的工作流程。
[Ollama][Ollama] Ollama 是一个在本机上运行并管理大语言模型的工具。
安装
pip install 'crewai[tools]'
CrewAI 使用 Ollama 运行本地 LLM
.env
OPENAI_API_BASE=http://localhost:11434/v1
OPENAI_MODEL_NAME=aya:8b
OPENAI_API_KEY=NULL
agent.py
版本1
每次执行结果都不一样
from dotenv import load_dotenv
load_dotenv()
from crewai import Agent, Task, Crew
from langchain_openai import ChatOpenAI
general_agent = Agent(
role = "数学教授",
goal = """为提问数学问题的学生提供解决方案并给出答案。""",
backstory = """您是一位优秀的数学教授，喜欢以每个人都能理解的方式解决数学问题。""",
allow_delegation = False,
verbose = True
)
// ...
版本2
稳定地生成结果
Llama3
模型
下载
数据集
No Robots 是由熟练的人类注释者创建的包含 10,000 条指令和演示的高质量数据集。该数据可用于监督微调（SFT），使语言模型更好地遵循指令。 No Robots 是根据 OpenAI 的 InstructGPT 论文中描述的指令数据集进行建模的。
介绍 Llama 3 最大的变化是采用了新的 Tokenizer，将词汇表大
Extraction
from enum import Enum
from typing import Optional, Type
from langchain.pydantic_v1 import BaseModel, Field
class ProvinceEnum(str, Enum):
"""省、直辖市、自治区"""
山东省 = "山东省"
class CityEnum(str, Enum):
"""山东省地级市"""
济南 = "济南"
青岛 = "青岛"
淄博 = "淄博"
枣庄 = "枣庄"
// ...
OpenAI
from langchain_openai import ChatOpenAI
model = ChatOpenAI(temperature=0).bind(
functions=functions,
function_call={"name": PowerSupplyStationLocation.__name__}
)
response = model.invoke(prompt)
print(response)
OpenAI Function Call (Extraction)
这个方法只有 OpenAI 的模型支持。
from langchain.agents import tool
from langchain.chat_models import ChatOpenAI
from langchain.tools.render import format_tool_to_openai_function
from langchain.pydantic_v1 import BaseModel, Field
from enum import Enum
# 省份、直辖市
class ProvinceEnum(str, Enum):
山东省 = "山东省"
# 其它省份
# 山东省地级市
// ...
OpenAI gpt-3.
部署
ollama run llama2
通过 API 访问
curl http://localhost:11434/api/generate -d '{
"model": "llama2",
"prompt": "Why is the sky blue?",
"stream": false
}'
ollama 帮助 ollama --help Large language model runner Usage: ollama [flags] ollama [command] Available Commands: serve Start ollama create Create a model from a Modelfile show Show information for a model run Run a model pull Pull a model from a registry push Push a model to a registry list List models cp Copy a model rm Remove a model help Help about any comman