使用大型语言模型进行命名实体识别
总结
- Qwen 模型的指令遵循还是差强人意,这里使用的参数应该是 72B
- 大型语言模型发挥了它的生成能力,会在原文的基础上给你增加内容,如:济南
市。 - 问题变化多样,示例也不可能覆盖所有的情况,写的越多占用的上下文长度越大。
- 在实验二中
- 明确说明
Date实体类型的值,并没有很好的识别出来,如:3月识别为Month,一季度识别为Quarter,今年识别为Year。这个跟模型有关,ChatGPT就识别的不错。
- 明确说明
- 在实验三中
- 明确说明不要增加实体类型,但还是增加了,如:
County实体类型。 - 识别的实体有重叠文字,如:
曹县,曹县供电公司。 - 位置很容易出错,一旦出错后面的实体位置都是错误的了。
- 明确说明不要增加实体类型,但还是增加了,如:
- 使用
XML标记方式比输出json结果方式效果更好。
代码 from langchain_core.output_parsers import StrOutputParser from langchain_core.prompts import PromptTemplate from langchain_core.runnables import RunnablePassthrough from langchain_community.chat_models.
