- VisualStudio2022插件的安装及使用-编程手把手系列文章
- pprof-在现网场景怎么用
- C#实现的下拉多选框,下拉多选树,多级节点
- 【学习笔记】基础数据结构:猫树
git config --system url."https://githubfast.com/".insteadOf https://github.com/
如果要取消,则输入:
git config --system --unset url.https://githubfast.com/.insteadof
conda create -n deepke python=3.8
conda activate deepke
# 安装torch
pip install torch==1.11.0+cu113 torchvision==0.12.0+cu113 torchaudio==0.11.0 --extra-index-url https://download.pytorch.org/whl/cu113
# 使用阿里云镜像安装torch 1.11.0
# pip install https://mirrors.aliyun.com/pytorch-wheels/cu113/torch-1.11.0+cu113-cp38-cp38-linux_x86_64.whl https://mirrors.aliyun.com/pytorch-wheels/cu113/torchvision-0.12.0+cu113-cp38-cp38-linux_x86_64.whl https://mirrors.aliyun.com/pytorch-wheels/cu113/torchaudio-0.11.0+cu113-cp38-cp38-linux_x86_64.whl -i https://mirrors.aliyun.com/pypi/simple/
安装DeepKE:
git clone https://github.com/zjunlp/DeepKE.git
cd DeepKE
pip install pip==24.0
pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/
python setup.py install
python setup.py develop
pip install prettytable==2.4.0
pip install ipython==8.12.0
# apt-get install wget
cd example/ner/standard
wget 120.27.214.45/Data/ner/standard/data.tar.gz
tar -xzvf data.tar.gz
可以看到data文件夹下有:
train.txt
: Training setvalid.txt
: Validation settest.txt
: Test set在 https://wandb.ai/ 上注册账号,并新建一个project,取一个名字,比如:deepke-ner-official-demo 。
打开 https://wandb.ai/authorize 获取 API key 。
运行 wandb init,输入刚获取的 API key 和创建的project 。
删除之前训练时保存的checkpoints和logs文件夹(如果有):
rm -r checkpoints/
rm -r logs/
打开 example/ner/standard/run_lstmcrf.py, 确保wandb和yaml库有正常导入:
import wandb
import yaml
修改wandb的project名称:
if config['use_wandb']:
wandb.init(project="deepke-ner-official-demo")
修改 example/ner/standard/conf/config.yaml 中的 use_wandb 为 True.
如果需要使用多个GPU训练,修改 example/ner/standard/conf/train.yaml 中的 use_multi_gpu 为 True 。
开始训练:
python run_lstmcrf.py
>> total: 109870 loss: 27.181508426008552
precision recall f1-score support
B-LOC 0.8920 0.8426 0.8666 1951
B-ORG 0.8170 0.7439 0.7787 984
B-PER 0.8783 0.8167 0.8464 884
I-LOC 0.8650 0.8264 0.8453 2581
I-ORG 0.8483 0.8365 0.8424 3945
I-PER 0.8860 0.8436 0.8643 1714
O 0.9861 0.9912 0.9886 97811
accuracy 0.9732 109870
macro avg 0.8818 0.8430 0.8618 109870
weighted avg 0.9727 0.9732 0.9729 109870
用于的预测文本保存在example/ner/standard/conf/predict.yaml中,修改为如下:
text: "“热水器等以旧换新,节省了2000多元。”10月3日,在湖北省襄阳市的一家购物广场,市民金煜轻触手机,下单、付款、登记。湖北着力推动大规模设备更新和消费品以旧换新。“力争到今年底,全省汽车报废更新、置换更新分别达到4.5万辆、12.5万辆,家电以旧换新170万套。”湖北省商务厅厅长龙小红介绍。"
运行预测:
python predict.py
NER结果
[('湖', 'B-LOC'), ('北', 'I-LOC'), ('省', 'I-LOC'), ('襄', 'B-LOC'), ('阳', 'I-LOC'), ('市', 'I-LOC'), ('场', 'I-LOC'), ('煜', 'I-PER'), ('湖', 'B-ORG'), ('北', 'I-ORG'), ('省', 'I-ORG'), ('商', 'I-ORG'), ('务', 'I-ORG'), ('厅', 'I-ORG'), ('厅', 'I-ORG'), ('龙', 'B-PER'), ('小', 'I-PER'), ('红', 'I-PER')]
修改 example/ner/standard/conf/config.yaml中的hydra/model为bert.
bert的超参设置在 example/ner/standard/conf/hydra/model/bert.yaml,如有需要可以修改.
修改 example/ner/standard/conf/config.yaml 中的 use_wandb 为 True.
修改 example/ner/standard/run_bert.py 中的wandb的project名称:
if cfg.use_wandb:
wandb.init(project="deepke-ner-official-demo")
根据需要,修改example/ner/standard/conf/train.yaml中的train_batch_size,对于bert来说推荐不小于64 。
开始训练:
export HF_ENDPOINT=https://hf-mirror.com
python run_bert.py
w2ner是一个新的SOTA模型.
基于W2NER (AAAI’22)的应对多种场景的实体识别方法 (详情请查阅论文Unified Named Entity Recognition as Word-Word Relation Classification). 。
命名实体识别 (NER) 涉及三种主要类型,包括平面、重叠(又名嵌套)和不连续的 NER,它们大多是单独研究的。最近,人们对统一 NER 越来越感兴趣, W2NER使用一个模型同时处理上述三项工作.
由于使用单卡GPU,修改example/ner/standard/w2ner/conf/train.yaml中的 device 为 0.
修改example/ner/standard/w2ner/conf/train.yaml中的data_dir和do_train:
data_dir: "../data"
do_train: True
以便使用之前下载的数据集和开始训练.
运行训练:
python run.py
最后此篇关于使用DeepKE训练命名实体识别模型DEMO(官方DEMO)的文章就讲到这里了,如果你想了解更多关于使用DeepKE训练命名实体识别模型DEMO(官方DEMO)的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
我使用的是linux的windows子系统,安装了ubuntu,bash运行流畅。 我正在尝试使用make,似乎bash 无法识别gcc。尝试将其添加到 PATH,但没有任何改变。奇怪的是 - cmd
ImageMagick 已正确安装。 WAMP 的“PHP 扩展”菜单也显示带有勾选的 php_imagick。除了 Apache 和系统环境变量外,phpinfo() 没有显示任何 imagick
我是这么想的,因为上限是 2^n,并且考虑到它们都是有限机,n 状态 NFA 和具有 2^n 或更少状态的 DFA 的交集将是有效。 我错了吗? 最佳答案 你是对的。 2^n 是一个上限,因此生成的
我有一个大型数据集,其中包含每日值,指示一年中的特定一天是否特别热(用 1 或 0 表示)。我的目标是识别 3 个或更多特别炎热的日子的序列,并创建一个包含每个日子的长度以及开始和结束日期的新数据集。
我有一个向量列表,每个向量看起来像这样 c("Japan", "USA", "country", "Japan", "source", "country", "UK", "source", "coun
是否有任何工具或方法可以识别静态定义数组中的缓冲区溢出(即 char[1234] 而不是 malloc(1234))? 昨天我花了大部分时间来追踪崩溃和奇怪的行为,最终证明是由以下行引起的: // e
我一直在尝试通过导入制表符分隔的文件来手动创建 Snakemake 通配符,如下所示: dataset sample species frr PRJNA493818_GSE120639_SRP1628
我一直在尝试通过导入制表符分隔的文件来手动创建 Snakemake 通配符,如下所示: dataset sample species frr PRJNA493818_GSE120639_SRP1628
我想录下某人的声音,然后根据我获得的关于他/她声音的信息,如果那个人再次说话,我就能认出来!问题是我没有关于哪些统计数据(如频率)导致人声差异的信息,如果有人可以帮助我如何识别某人的声音? 在研究过程
我希望我的程序能够识别用户何时按下“enter”并继续循环播放。但是我不知道如何使程序识别“输入”。尝试了两种方法: string enter; string ent = "\n"; dice d1;
我创建了这个带有一个参数(文件名)的 Bash 小脚本,该脚本应该根据文件的扩展名做出响应: #!/bin/bash fileFormat=${1} if [[ ${fileFormat} =~ [F
我正在寻找一种在 for 循环内迭代时识别 subview 对象的方法,我基本上通过执行 cell.contentView.subviews 从 UITableView 的 contentView 获
我正在尝试在 Swift 中使用 CallKit 来识别调用者。 我正在寻找一种通过发出 URL 请求来识别调用者的方法。 例如:+1-234-45-241 给我打电话,我希望它向 mydomain.
我将(相当古老的)插件称为“thickbox”,如下所述: 创建厚盒时,它包含基于查询的内容列表。 使用 JavaScript 或 jQuery,我希望能够访问 type 的值(在上面的示例中 t
我想编写一些可以接受某种输入并将其识别为方波、三角波或某种波形的代码。我还需要一些产生所述波的方法。 我确实有使用 C/C++ 的经验,但是,我不确定我将如何模拟所有这些。最终,我想将其转换为微 Co
我创建了一个 for 循环,用于在每个部分显示 8 个项目,但我试图在循环中识别某些项目。例如,我想识别前两项,然后是第五项和第六项,但我的识别技术似乎是正确的。 for (int i = 0; i
如何识别 UIStoryboard? 该类具有创建和实例化的方法,但我没有看到带有类似name 的@property。例如 获取 Storyboard对象 + storyboardWithName:b
如何确定所运行的SQLServer2005的版本 要确定所运行的SQLServer2005的版本,请使用SQLServerManagementStudio连接到SQLServer2005,然后运行
这个问题在这里已经有了答案: How to check whether an object is a date? (26 个答案) 关闭2 年前。 我正在使用一个 npm 模块,它在错误时抛出一个空
我正在制作一个使用 ActivityRecognition API 在后台跟踪用户 Activity 的应用,如果用户在指定时间段(例如 1 小时)内停留在同一个地方,系统就会推送通知告诉用户去散步.
我是一名优秀的程序员,十分优秀!