嵌入式转行到网站开发,小程序登录后怎么退出,网站被挂马原因,公司网站建设一般要多少钱条件随机场CRF
前言
CRF是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布的模型。特点#xff1a;假设输出随机变量构成马尔卡夫随机场。CRF可以用于不同的预测问题。但是主要讨论线性链条件随机场#xff0c;这时问题变成了由输入序列对输出序列的判别模型假设输出随机变量构成马尔卡夫随机场。CRF可以用于不同的预测问题。但是主要讨论线性链条件随机场这时问题变成了由输入序列对输出序列的判别模型形式为对数线性模型学习方法通常是极大似然估计火正则化的极大似然估计三个基本问题概率计算问题学习问题预测问题
Step1:概率无向图模型
概率无向图又称马尔可夫随机场。是一个可以由无向图表示的联合概率分布。
1.模型定义
定义无向图表示的随机变量之间存在成对马尔可夫性局部马尔可夫性全局马尔可夫性。
成对马尔可夫性u和v式无向图G中任意两个没有边连接的节点对应Y_u和Y_v。其他所有节点为O对应Y_o。成对马尔可夫性指给定Y_o的条件下Y_u和Y_v是条件独立的 P ( Y u , Y v ∣ Y O ) P ( Y u ∣ Y O ) P ( Y v ∣ Y O ) P(Y_u,Y_v|Y_O)P(Y_u|Y_O)P(Y_v|Y_O) P(Yu,Yv∣YO)P(Yu∣YO)P(Yv∣YO)
局部马尔可夫性 全局马尔可夫性 2.概率无向图模型
无向图G中联合概率分布满足成对局部或全局马尔可夫性就称此联合概率分布为概率无向图模型或马尔可夫随机场
3.因子分解
概率无向图模型最大的特点就是易于因子分解。
团与最大团的概念
概率无向图模型的联合概率可以表示为最大团上的随机变量的函数的乘积的形式。 Step2:条件随机场的定义
1.定义 2.参数化形式 3.简化形式 4.矩阵形式 Step3:概率计算
给定条件随机场P(Y|X)输入序列 x 和输出序列 y 计算条件概率P(Y_iy_i | x)P(Y_{i-1} y_{i-1} , Y_i y_i | x)以及相应的数学期望的问题。
1.前向-后向算法
前向向量 α i ( x ) \alpha_i(x) αi(x) 递推公式 后向向量 β i ( x ) \beta_i(x) βi(x)同理 Z(x)由前向-后向向量得到 2.概率计算 3.期望值计算 Step4:学习算法
具体优化实现算法改进迭代尺度法IIS、梯度下降法、拟牛顿法
1.改进迭代尺度法 其中 δ ( δ 1 , δ 2 , . . . , δ K ) T \delta(\delta_1,\delta_2,...,\delta_K)^T δ(δ1,δ2,...,δK)T为向量增量更新参数为 w δ w\delta wδ 2.BFGS法 Step5:预测算法
给定条件随机场 P ( Y ∣ X ) P(Y|X) P(Y∣X)和输入序列观测序列x求条件概率最大的输出序列标记序列 y ∗ y^* y∗。
即对观测序列进行标注
维特比算法 其中 Step6:PyTorch-crf
note : pytorch-crf 暴露为一个单个 CRF 类这个类继承自 Pytorch 的 nn.Module
所以他能做到一个普通的网络都能能做到的事情 比如把 module 转到 设备中前向传播和反向传播module 的参数管理等 知道以上那一点一切都好说了 计算概率
给定发射分数的计算一个序列标签的对数概率 如果有填充需要传递掩码矩阵张量 Step7:使用 LSTM Pytorch-CRF 实现 NER
1.数据集 格式 貌似是个 tsv可以利用这一点对文件进行分析空行表示一个句子结束乍一看数据集质量貌似不太好 思路 数据集不多类别分的那么多没必要把NAM和NOM合并好了只保留 GPE, LOC, ORG, PER用空行表示一句的隔断写一个 脚本 吧把数据保存成字典(代码在上方资源处自取) 后来又写了两个把词汇表和类别顺便加上了
2.代码 上方资源处自取 这里我嫌收敛太慢了,使用了学习率调度器调度策略采用了第一次退火到最大学习率的学习率调度器。 scheduler OneCycleLR(optimizer, max_lr0.05, steps_per_epochlen(train_loader), epochsnum_epochs)最大学习率是 0.05优化器学习率是 5e-4 目的是前期加速收敛也就是说学习率会从 0.0001 上升到 0.01 再慢慢退回到 0.0001 分为标准的 训练集开发集测试集 每轮打印信息 最终结果貌似没有完全收敛 因为这我的 colab 突然坏掉了不能用 gpu所以这次是用自己电脑跑的苹果的M 芯片还是慢了点不如 A100。而且这周有事我就训练了两次就不整了 最后我把双向改单向貌似效果好多了但是没时间了有急事要出去了 10轮就差点干了之前50轮的效果
