bert使用踩坑记

原创

说文科技 2021-07-08 14:53:39 ©著作权

文章标签 nlp pytorch 自然语言处理 bert 文章分类 NLP 人工智能

©著作权归作者所有：来自51CTO博客作者说文科技的原创作品，请联系作者获取转载授权，否则将追究法律责任

LawsonAbs的认知与思考，望各位读者审慎阅读。

总结

本文详细讲解在使用bert的过程中遇到的坑，并记录之。
文章来源：CSDN_LawsonAbs
持续更新~

1.分词

tokenizer 在分词的时候，如果该词在词典中没有对应项，那么就会拆分成若干个token组合在一起，如Pdf 就会被拆解为 P，##d，##f。

bert使用踩坑记_pytorch

2.词典vocab.txt 中不存在的词怎么办？

上一篇：Bert 处理文本的几种方法

下一篇：Bert实战二之attention score

提问和评论都可以，用心的回复会被更多人看到评论

发布评论

相关文章

记一次ResultSetMetaData类的getColumnName方法使用踩坑记录

接到一个做工厂项目的需求，在做完mes系统的功能模块后，被安排做一个将数据同步到数据工厂系统然后图表展示的功能，由于以前的数据同步我都是多是用的ETL工具kettle等，这次是因为数据工厂项目要求有数据同步功能，能够在其页面写入自定义SQL，后端根据自定义SQL获取数据集，并将数据集插入到数据工厂的目标表；前端页面配置数据库连接参数、操作的表、自定义SQL参数等保存到数据库的同步任务表，等定时任务

SQL 字段数据
X86超云服务器安装麒麟操作系统踩坑记

在项目现场X86超云服务器安装麒麟操作系统进行了两天才装好一、复现步骤操作系统版本：银河麒麟高级服务器操作系统 Kylin-Server-10-SP2-x86-Release-Build09-20210524.iso（x86_64）使用Rufus工具制作U盘启动盘；修改启动项，选择从U盘启动；进入系统安装界面，这里可以看到在“软件”-“安装源”选项上报错了，提示“设置基础软件仓库时出错”；点击“安

系统安装麒麟 U盘安装
Element-plus 踩坑日志

Element-plus1. 下拉框禁用样式修改下拉的框挂到body上了，而 ele-plus 不让添加到 body 的属性废弃了，组件内样式 scoped 所以组件内就找不到单独添加个 style 给select 单独加个特殊类名表格1. 表格禁用全选#1.1 直接隐藏table { width: 100%; :deep(.el-table__header-wrapper)

日期选择器输入框 element-plus
踩坑记

踩坑记

踩坑记
iptables踩坑记

1：第一坑：众所周知nf_conntrack，下面会有介绍补坑方法。2：连环坑：要解决第一个坑，需要修改内核参数，如：net.netfilter.nf_conntrack_tcp_timeout_established = 600 net.netfilter.nf_conntrack_max = 1048576net.nf_conntrack_max = 1048576这

iptables 坑
PyTorch踩坑记

PyTorch踩坑记前言自己刚开始使用深度学习框架做事情的时候，选择了最容易入门的Ke都有一种使用传统机器学习库的感...

tensorflow 深度学习动态图
Flutter踩坑记

设置错误（可以在AndroidStudio中查看SDK路径），那么改成正确的路径即可。

maven java Android
webpack踩坑记

webpack postloader

css html 绝对路径
kubeadm 踩坑记

Kubeadm 是个让我爱恨交加的东西，一方面，我不认为一个生产集群应该使用这样一个第三方工具进行在线安装，尤其是在目前这种网络环境之下；而另外一方面，Kubeadm 这一工具是随 Kubernetes 同步更新的，其中包含了大量的集群配置方面的最佳实践，是追新的最佳参考，所以这个讨厌的东西的运行是必须需要得到保障的。kubeadm 的执行过程沉默到令人发指，因此下面分享几个使用过程中遇到的一些问

java
Allennlp踩坑记

老规矩，先占个坑，后面慢慢写

规矩
创业踩坑记

给大家介绍一下我的故事，2014年12月我来到上海，从一所普通的专科学校计算机专业毕业。而后通过家里

创业功能模块解决方案处理方法
uWSGI 踩坑记

一、协议的一致性 uWSGI 是在 nginx 后面，所以 nginx 转发请求时的协议要和 uWSGI 监听的协议一致。否则就会出现问题，因为是三者之间的通信，排查起来需要想清楚请求传递的次序： Nginx uWSGI app 1.1 uWSGI 异常信息如果按照下面的配置就会出现上述的异常：

uWSGI 编程开发
ReactNative踩坑记6

上面这个错误的原因是在获取属性时没有获取到，常常是自己指定属性获取写错了，还有就是reactnative的报错是从最上层报错，所以如果不深入下层是无法找到错误的异常2 ： *** is not a function这个错误的原因是调用函数的名字不对或者是函数的作用域不在class范围内...

reacNative 作用域调用函数
ReactNative踩坑记1

]

ReactNative android 任务管理器解决方案
bat脚本踩坑记

背景：由于系统需求写个小小的判断语句判断语句是否执行成功，但好像总是执行成功的分支脚本如下：@echooffsetlogfile=E:\log.txttasklist/V/Slocalhost|findstrWechat.exeiferrorlevel0gotoaiferrorlevel1gotob:aecho123>%logfile%exit:becho234>%logfile%ex

bat if errorlevel 脚本踩坑记
mongo java 踩坑记

为什么会有这么多坑 1. Java会把 id:String = "合法ObjectId" 好心好意的转为 _id:ObjectId 类型。 2. 为了避免第1点，我定义了一个 HashMap，里面放 id 它就不会转了，但是下面代码报错： user 下面有 roles 集合，如果使用 Map

其他
Kubernetes探针踩坑记

1. 荒腔走板最近一两个月生产K8s集群频繁出现短时503 Service Temporarily Unavailable，还不能主动复现，相当郁闷，压力山大。HTTP 5xx响应状态码用于定义服务端错误。500 Internal Server Error：所请求的服务器遇到意外的情况并阻止其执行请求，通常针对单个请求，整个站点有时还是提供服务。502 Bad Gateway Error 暗示连接

java
Jetson Nano 踩坑记

SD卡安装好镜像后，插入到板子中，启动板子启动ubuntu后，第一件事情就是更改源，以前每次都是再界面上修改的，这次界面上没有其他源的选项，只能用命令行修改，用了很多方法都不行，无意中使用了这个博客（https://blog.csdn.net/qq_36396941/article/details/88903094）的方法就可以啦，可能不仅仅是这个原因，我还敲了如下命令，（等下次重装系统的时候...

jetson nano tensorflow linux 开发者 python
VALA开发踩坑记

vala官方文档地址：https://valadoc.org最近在github上看到一个比较好的vala项目，苦于网络上开发教程资料太少，这里把我的一些解决方案贴出来供大家参考。其实官方有包含很多比较实用的包，只是文档介绍和说明不够完善，理解和寻找起来不太容易。如何替换字符串string filePath="~/";string execPath="open filemanager %u"

vala github 文件类型替换字符串开发教程
PySimpleGUI 踩坑记

PySimpleGUI invalid literal for int() with base 10: '-OUTPUT-' ...

PythonGUI pythonGUI 数据文件名赋值语句
ios APP如何知道当前页面正在录屏

一概述自定义 View 是 Android 开发里面的一个大学问。偶然间看到 TIM 邮箱界面的刷新 View 还挺好玩的，于是就自己动手实现了一个，先看看 TIM 里边的效果图：二需求分析看到上面的动图，大概也知道我们需要实现的功能：根据拖动的进度来移动小球的位置小球移动过程的动画三功能实现新建一个 RefreshView 类继承自 View ，然后我们再在 RefreshView

java 移动开发 ci 初始化
代码分离架构模式

我们先来看一小段程序：const char *GetString(int key) { if (key == 1) return "first"; else if (key == 2) return "second"; else if (key == 3) return "third"; else if (key ==

代码分离架构模式数据数据库二维
服务器证书导入到java信任库

HTTPS证书生成原理和部署细节作者: 小胡子哥 2015-10-05 15:29:39 本文发布时间为2015年10月05日15时29分39秒分类: 网络安全标签: HTTPS 下面是正文内容评论数: 20条评论热度: 37

服务器证书导入到java信任库 HTTPS证书生成原理和部署细节服务器端 HTTPS 客户端
网页地址不加斜杠怎么配置nginx

网页中如何设置在网页地s址栏中的小图标:（推荐在线制作：http://free.logomaker.cn/tools/icoMaker.aspx ）下面我们就讲讲：　<link rel="SHORTCUT ICON" href="http://****/*****.ico"> 　　<link rel="BOOKMARK" href="http://*****/*****.ico"

网页地址不加斜杠怎么配置nginx ico 收藏夹上传
centos8查看当前yum源

1.yum是什么,它是如何工作的 yum是为了解决rpm包安装难以解决依赖关系而出现的rmp前端管理包,注意:它不能取代rpm. 他的工作机制是可以自动解决程序包的依赖关系，这是我们需要他的最核心的功能。那他是如何工作的呢？首先得有一个或多个文件服务器，来存放大量的rpm包，这文件服务器可以是

centos8查看当前yum源运维前端后端 ViewUI

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯