【详解】BiLSTM+CRF模型

1 BiLSTM-CRF模型用途

• 命名实体识别(Named Entity Recognition，NER)

  • 定义

    • 从一段自然语言文本中找出相关实体，并标注出其位置以及类型。
    • 是信息提取, 问答系统, 句法分析, 机器翻译等应用领域的重要基础工具。
    • 在自然语言处理技术走向实用化的过程中占有重要地位. 包含行业, 领域专有名词, 如人名, 地名, 公司名, 机构名, 日期, 时间, 疾病名, 症状名, 手术名称, 软件名称等。

  • 命名实体识别问题实际上是序列标注问题

  序列标注问题指的是模型的输入是一个序列, 包括文字, 时间等, 输出也是一个序列. 针对输入序列的每一个单元, 输出一个特定的标签.

  以中文分词任务进行举例, 例如输入序列是一串文字: “我是中国人”, 输出序列是一串标签: “OOBII”, 其中"BIO"组成了一种中文分词的标签体系: B表示这个字是词的开始, I表示词的中间到结尾, O表示其他类型词. 因此我们可以根据输出序列"OOBII"进行解码, 得到分词结果"我\是\中国人"。

  • 序列标注问题涵盖了自然语言处理中的很多任务, 包括语音识别, 中文分词, 机器翻译, 命名实体识别等, 而常见的序列标注模型包括HMM, CRF, RNN, LSTM, GRU等模型。
  • 其中在命名实体识别技术上, 目前主流的技术是通过BiLSTM+CRF模型进行序列标注。

2 BiLSTM-CRF模型介绍

2.1 数据标签及模型架构

2.1.1 数据标签

B-Person （人名的开始部分）
I- Person （人名的中间部分）
B-Organization （组织机构的开始部分）
I-Organization （组织机构的中间部分）
O （非实体信息）

2.1.2 模型架构

x 是包含了5个单词的一句话（W₀,W₁,W₂,W₃,W₄）。还有，在句子x中[W₀,W₁]是人名，[W₃]是组织机构名称，其他都是“O”。

• 句中的每个单词是一条包含词嵌入和字嵌入的词向量，词嵌入通常是事先训练好的，字嵌入则是随机初始化的。所有的嵌入都会随着训练的迭代过程被调整。
• BiLSTM-CRF的输入是词嵌入向量，输出是每个单词对应的预测标签。

• BiLSTM层的输入表示该单词对应各个类别的分数。如W₀，BiLSTM节点的输出是1.5 (B-Person), 0.9 (I-Person), 0.1 (B-Organization), 0.08 (I-Organization) and 0.05 (O)。这些分数将会是CRF层的输入。
• 所有的经BiLSTM层输出的分数将作为CRF层的输入，类别序列中分数最高的类别就是我们预测的最终结果。

2.2 BiLSTM模型

2.2.1 BiLSTM模型介绍及联系

• 所谓的BiLSTM，就是(Bidirectional LSTM)双向LSTM. 单向的LSTM模型只能捕捉到从前向后传递的信息, 而双向的网络可以同时捕捉正向信息和反向信息, 使得对文本信息的利用更全面, 效果也更好.
• 在BiLSTM网络最终的输出层后面增加了一个线性层, 用来将BiLSTM产生的隐藏层输出结果投射到具有某种表达标签特征意义的区间, 具体如下图所示：

2.2.2 代码实现细节

• BiLSTM网络结构
  • 设置隐藏层维度的时候, 需要将hidden_size // 2
  • 总共有3层需要构建, 分别是词嵌入层, 双向LSTM层, 全连接线性层
  • 在代码层面, 双向LSTM就是将nn.LSTM()中的参数bidirectional设置为True
• BiLSTM网络的代码实现
  • 构建类BiLSTM的初始化函数
  • 添加文本向量化的辅助函数, 注意padding填充为相同长度的Tensor
  • 要注意forward函数中不同张量的形状约定

2.3 CRF模型

2.3.1 CRF模型定义及联系

• CRF(全称Conditional Random Fields), 条件随机场. 是给定输入序列的条件下, 求解输出序列的条件概率分布模型.

• 即使没有CRF层，我们照样可以训练一个基于BiLSTM的命名实体识别模型（因为BiLSTM模型的结果是单词对应各类别的分数，我们可以选择分数最高的类别作为预测结果。）

  例如W₀，“B-Person”的分数最高（1.5），那么我们可以选定“B-Person”作为预测结果。同样的，W₁是“I-Person”, W₂是“O”,W₃是 “B-Organization” ，W₄是 “O”。

• 但实际情况可能出现下列预测结果

  

2.3.2 CRF作用

CRF层可以加入一些约束来保证最终预测结果是有效的（CRF层可以学习到句子的约束条件）。这些约束可以在训练数据时被CRF层自动学习得到。

可能的约束条件有：

• 句子的开头应该是“B-”或“O”，而不是“I-”。
• “B-label1 I-label2 I-label3…”，在该模式中，类别1,2,3应该是同一种实体类别。比如，“B-Person I-Person” 是正确的，而“B-Person I-Organization”则是错误的。
• “O I-label”是错误的，命名实体的开头应该是“B-”而不是“I-”。

有了这些有用的约束，错误的预测序列将会大大减少。

2.3.3 CRF层的损失函数

1 Emission Score（发射分数/状态分数）

发射概率, 是指已知当前标签的情况下, 对应所出现字符的概率. 通俗理解就是当前标签比较可能出现的文字有哪些, 及其对应出现的概率.

X_i,_yj代表状态分数，i是单词的位置索引，y_j是类别的索引。根据上表，

• 表示单词W₁被预测为B−Organization的分数是0.1。

  

  

  

2 Transition Score （转移分数）

我们用t(y_i,y_j)来表示转移分数。例如，t(B−Person,I−Person)=0.9表示从类别B−Person→I−Person的分数是0.9。因此，我们有一个所有类别间的转移分数矩阵。

为了使转移分数矩阵更具鲁棒性，我们加上START 和 END两类标签。START代表一个句子的开始（不是句子的第一个单词），END代表一个句子的结束。

下表是加上START和END标签的转移分数矩阵。

如上表格所示，转移矩阵已经学习到一些有用的约束条件：

• 句子的第一个单词应该是“B-” 或 “O”，而不是“I”。（从“START”->“I-Person 或 I-Organization”的转移分数很低）
• “B-label1 I-label2 I-label3…”，在该模式中，类别1,2,3应该是同一种实体类别。比如，“B-Person I-Person” 是正确的，而“B-Person I-Organization”则是错误的。（“B-Organization” -> “I-Person”的分数很低）
• “O I-label”是错误的，命名实体的开头应该是“B-”而不是“I-”。

要怎样得到这个转移矩阵呢？

实际上，转移矩阵是BiLSTM-CRF模型的一个参数。在训练模型之前，你可以随机初始化转移矩阵的分数。这些分数将随着训练的迭代过程被更新，换句话说，CRF层可以自己学到这些约束条件。

3 CRF损失函数

CRF损失函数由两部分组成，真实路径的分数 和 所有路径的总分数。真实路径的分数应该是所有路径中分数最高的。

例如，我们的数据集中有如下几种类别：

一个包含5个单词的句子，可能的类别序列如下：

• \1. START B-Person B-Person B-Person B-Person B-Person END
• \2. START B-Person I-Person B-Person B-Person B-Person END
• ……
• 10. START B-Person I-Person O B-Organization O END
• N. O O O O O O O

每种可能的路径的分数为Pi，共有N条路径，则路径的总分是

，e是常数e。

如果第十条路径是真实路径，也就是说第十条是正确预测结果，那么第十条路径的分数应该是所有可能路径里得分最高的。

根据如下损失函数，在训练过程中，BiLSTM-CRF模型的参数值将随着训练过程的迭代不断更新，使得真实路径所占的比值越来越大。

2.4 BiLSTM-CRF模型代码实现

2.4.1 BiLSTM+CRF模型的实现

• 第一步: 导入工具包并完成辅助函数
• 第二步: 文本信息张量化
• 第三步: 创建类的初始化函数
• 第四步: 创建获取发射矩阵张量的函数
• 第五步: 计算前向传播分值的函数
• 第六步: 计算句子真实分值的函数
• 第七步: 维特比算法的实现
• 第八步: 完善BiLSTM_CRF类的全部功能

2.4.2 模型训练的流程

• 第一步: 熟悉字符到数字编码的码表
• 第二步: 熟悉训练数据集的样式和含义解释
• 第三步: 完成字符到id的映射函数
• 第四步: 获取训练数据和验证数据的函数
• 第五步: 完成准确率和召回率的评估代码
• 第六步: 绘制损失曲线和评估曲线图
• 第七步: 完成训练模型的完整代码
• 第八步: 训练集和验证集损失曲线和指标数据曲线的分析