import os
import pandas as pd
import gradio as gr
from http import HTTPStatus
from dashscope import Generation
from dashscope.api_entities.dashscope_response import Role
from typing import List, Optional, Tuple, Dict, Generator
from urllib.error import HTTPError
DEFAULT_SYSTEM = '您是一个有用的助手。'
History = List[Tuple[str, str]]
Messages = List[Dict[str, str]]
// ...
No Robots 是由熟练的人类注释者创建的包含 10,000 条指令和演示的高质量数据集。该数据可用于监督微调（SFT），使语言模型更好地遵循指令。 No Robots 是根据 OpenAI 的 InstructGPT 论文中描述的指令数据集进行建模的。
Llama 3 模型在两个拥有 24,000 GPU 的集群上进行了训练，使用的是超过 15 万亿 Token 的新公共在线数据。我们无法得知训练数据具体细节，但可以推测，更大规模且更细致的数据策划是性能提升的重要因素。Llama 3 Instruct 针对对话应用进行了优化，结合了超过 1000 万的人工标注数据，通过监督式微调（SFT）、拒绝采样、邻近策略优化（PPO）和直接策略优化（DPO）进行训练。
| 模型 | 模型名称 | 价格（MTok） | 能力 |
|---|---|---|---|
| Opus | claude-3-opus-20240229 | Input: 75 | 处理复杂的分析、多步骤的长期任务，以及更高阶的数学和编码任务 |
| Sonnet | claude-3-sonnet-20240229 | Input: 15 | 适用于高效、高吞吐量的任务 |
| Haiku | claude-3-haiku-20240307 | Input: 1.25 | 执行轻量级操作，速度领先行业 |
MTok = million tokens.(百万 Token)Claude 3 模型都支持视觉和 200,000 个 Token 上下文窗口。from datetime import datetime
from operator import itemgetter
from langchain.chains import create_sql_query_chain
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import PromptTemplate
from langchain_core.runnables import RunnablePassthrough
from langchain_core.runnables import RunnableLambda
from langchain_community.chat_models.tongyi import ChatTongyi
from langchain_community.utilities import SQLDatabase
from langchain_community.tools.sql_database.tool import QuerySQLDataBaseTool
// ...
from enum import Enum
from typing import Optional, Type
from langchain.pydantic_v1 import BaseModel, Field
class ProvinceEnum(str, Enum):
"""省、直辖市、自治区"""
山东省 = "山东省"
class CityEnum(str, Enum):
"""山东省地级市"""
济南 = "济南"
青岛 = "青岛"
淄博 = "淄博"
枣庄 = "枣庄"
// ...
from langchain_openai import ChatOpenAI
model = ChatOpenAI(temperature=0).bind(
functions=functions,
function_call={"name": PowerSupplyStationLocation.__name__}
)
response = model.invoke(prompt)
print(response)
| Model | Function Calling | Tool Calling | Python Package |
|---|---|---|---|
| ChatOpenAI | ✅ | ✅ | langchain-openai |
| ChatTongyi | ❌ | ✅ | langchain-community |
| ChatOllama | ❌ | ❌ | langchain-community |
| OllamaFunctions | ✅ | ❌ | langchain-experimental |
在构建自己的代理时，您需要为其提供一个工具列表，供其使用。除了实际调用的函数之外，工具还包括几个组件：
灵积模型服务建立在“模型即服务”（Model-as-a-Service，MaaS）的理念基础之上。
灵积通过灵活、易用的模型API服务，让各种模态模型的能力，都能方便的为AI开发者所用。通过灵积API，开发者不仅可以直接集成大模型的强大能力，也可以对模型进行训练微调，实现模型定制化。
| 模型 | 描述 | 上下文长度 | 计量单价 |
|---|---|---|---|
| qwen-turbo | 通义千问超大型语言模型，支持中文、英文等不同语言输入。 | 8k | 0.008元/1000 tokens |
| qwen-plus | 通义千问超大型语言模型增强版，支持中文、英文等不同语言输入。 | 32k | 0.02元/1000 tokens |
| qwen-max | 通义千问千亿级别超大型语言模型，支持中文、英文等不同语言输入。 | 8k | 0.12元/1000 tokens |
| qwen-max-longcontext | 通义千问千亿级别超大型语言模型，支持中文、英文等不同语言输入。 | 30k | 0.12元/1000 tokens |
| qwen-72b-chat | 通义千问开源 720 亿参数大型语言模型 | 8k | 0.02元/1000 tokens |
| qwen1.5-72b-chat | 通义千问开源 720 亿参数大型语言模型 | 32k |
这个方法只有 OpenAI 的模型支持。
from langchain.agents import tool
from langchain.chat_models import ChatOpenAI
from langchain.tools.render import format_tool_to_openai_function
from langchain.pydantic_v1 import BaseModel, Field
from enum import Enum
# 省份、直辖市
class ProvinceEnum(str, Enum):
山东省 = "山东省"
# 其它省份
# 山东省地级市
// ...
content=" 由于我不能直接获得江苏省或山东省 Specifically, Shandong Province's Jining City's Longching District Power Company's (在山东省济南市长清区位置) 实际情况和最新信息，因此无法提供具体的意见合计。但是，以下是一些可能影响供电公司业务发展和经营效益的方面：
1. 能源政策：国内外能源政策变化对供电公司有重大影响，例如新能源汽车普及、煤气价格波动等。
2. 技术进步：新技术发展（如智能网格、可变频率等）对供电公司的运营模式和设备需求造成重大影响。
3. 环保要求：环保法规和标准的强化对供电公司的投资和经营带来挑战，例如减少碳排放、提高效率等。
4. 市场需求：市场需求变化（如新兴行业需求、消费者偏好等）对供电公司的生产和销售带来影响。
5. 经济环境：经济环境变化（如利率水平、通胀率等）对供电公司的经营效益造成重大影响。
6. 竞争情况：竞争情况变化（如新入市者、技术进步等）对供电公司的市场份额和利润带来挑战。
7. 人力资源：人力资源短缺或过量对供电公司的生产和运营造成影响，例如招聘、培训、退休等。
8. 政府支持：政府措施（如补贴、税收等）对供电公司的经营效益有重大影响。
以上是一些可能对山东省济南市长清区供电公司发生变化的方面，供电公司需要根据这些因素进行适当的调整和应对挑战，以保证其业务发展和经营效益。" response_metadata={'token_usage': {'completion_tokens': 572, 'prompt_tokens': 33, 'total_tokens': 605}, 'model_name': 'mistral:latest', 'system_fingerprint': 'fp_ollama', 'finish_reason': 'stop', 'logprobs': None} id='run-052e08c9-8dda-4991-8f68-87026c5e2d9e-0'
LangChain 简化了 LLM 应用程序生命周期的每个阶段：
具体来说，该框架由以下开源库组成：
messages.append(response["choices"][0]["message"].to_dict())
args = json.loads(response["choices"][0]["message"]['function_call']['arguments'])
observation = get_current_weather(args)
messages.append(
{
"role": "function",
"name": "get_current_weather",
"content": observation,
}
)
response = openai.ChatCompletion.create(
model="gpt-3.5-turbo",
// ...
是时候收集关于你们如何构建软件的数据了。
随着时间的推移，开发者的偏好和使用的工具也在不断演进。当前一代的开发者正在用大型语言模型（LLMs）取代之前的Google和Stack Overflow，就像之前的一代人用Google和Stack Overflow取代了传统的参考手册一样。 在这个过渡期中，能够保留和吸引开发者的组织将会：
首先，理解他们的开发者如何使用LLMs，并通过收集开发数据——即他们组织构建软件的方式——来展示使用LLMs的投资回报率（ROI）。 然后，利用这个基础建立一个开发数据引擎——一个确保LLMs始终拥有最新信息和代码的持续反馈循环，以他们偏好的风格呈现。 通过展示ROI来增加LLMs预算的工程组织将能够保留他们的顶尖开发者。
DeepSeek API 使用与 OpenAI 兼容的 API 格式，通过修改配置，您可以使用 OpenAI SDK 来访问 DeepSeek API，或使用与 OpenAI API 兼容的软件。
参数 值 base_url https://api.deepseek.com/v1 api_key 申请 api_key
| 参数 | 值 |
|---|---|
| base_url | https://api.deepseek.com/v1 |
| api_key | YOUR_API_KEY |
| 模型 | 描述 | 上下文长度 |
|---|---|---|
| deepseek-coder | 擅长处理编程任务 | 16K |
| deepseek-chat | 擅长通用对话任务 | 16K |
用于构建和运行生成式人工智能的最快云平台
速度非常快
告诉我在旧金山可以做的有趣的事情。
当然，我很乐意帮助您发现旧金山的一些有趣的事情！ 以下是一些建议：
1. **探索金门公园：** 这个城市公园比纽约中央公园还要大，提供各种各样的活动。 您可以参观加州科学院，漫步日本茶园，或租一辆自行车绕公园骑行。
2. **乘坐缆车：** 旧金山的缆车系统是国家历史地标。 这不仅是一种有趣的出行方式，而且还可以欣赏城市的美景。
3. **参观渔人码头：** 在这里，您可以在39号码头观看海狮，参观海湾水族馆，或探索各种商店和餐馆。 别忘了尝试一些新鲜的海鲜！
4. **探索教会区：** 这个充满活力的街区以其色彩缤纷的壁画、时尚的酒吧和美味的墨西哥美食而闻名。
5. **在穆尔森林徒步旅行：** 距城市仅一小段车程，您就会发现自己置身于世界上一些最古老、最高的树木之中。
// ...
git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
python -m venv env
source env/bin/activate
pip install -e .[metrics]
git clone https://github.com/hiyouga/LLaMA-Factory.git
conda create -n llama_factory python=3.10
conda activate llama_factory
cd LLaMA-Factory
pip install -r requirements.txt
使用 conda 第二次没有安装成功
CUDA_VISIBLE_DEVICES=0 USE_MODELSCOPE_HUB=1 python src/train_web.py
prompt = """
What is the sentiment of:
Hi Amit, thanks for the thoughtful birthday card!
"""
response = llama(prompt)
print(response)
The sentiment of the message "Hi Amit, thanks for the thoughtful birthday card!" is positive. The use of the word "thoughtful" implies that the sender appreciated the effort put into the card, and the tone is friendly and sincere.
中文
安装依赖库
pip install transformers
from transformers.utils import logging
logging.set_verbosity_error()
from transformers import pipeline
chatbot = pipeline(task="conversational", model="facebook/blenderbot-400M-distill")
from transformers import Conversation
user_message = "What are some fun activities I can do in the winter?"
conversation = Conversation(user_message)
conversation = chatbot(conversation)
print(conversation)
# 继续对话：要在 LLM 上下文中包含之前的对话，您可以添加一条“消息”以包含之前的聊天历史记录。
conversation.add_message(
{
// ...
下载模型
git clone https://www.modelscope.cn/qwen/Qwen1.5-7B-Chat-GPTQ-Int4.git
启动服务
python -m vllm.entrypoints.openai.api_server \
--host 0.0.0.0 --port 9000 \
--model Qwen/Qwen1.5-7B-Chat-GPTQ-Int4 \
--quantization gptq \
--tensor-parallel-size 2 \
--dtype=half \
--gpu-memory-utilization 0.95
CUDA_VISIBLE_DEVICES=2,3 来指定使用的 GPU。max-model-len 参数来调整上下文长度。使用 curl 测试
curl http://localhost:9000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "Qwen/Qwen1.5-7B-Chat-GPTQ-Int4",
"messages": [
{"role": "system", "content": "你是一个有用的助手。"},
{"role": "user", "content": "天空为什么是蓝色的？"}
]
}'
没有找到匹配的文章