技术编程|产品经理视角下的自然语言处理( 三 )
不同的模型类型 ， 可调节的参数不同 ， 需要算法工程师给出具体的优化意见 。
4. 其他手段
在对模型的优化达到瓶颈之后 ， 若是还不能达到理想的正确率 ， 可以从其他方面想办法和提高 ， 如增加“完全匹配”、“正则表达式”等其他手段 。
1）模型识别的问题
与语料相同的用户回答可能也不能正确识别出意图 。
如：语料中有”周六怎么还要加班呢“ ， 客户也回答”周六怎么还要加班呢“ ， 有时并不一定会识别出“不想上班”的意思 。
作者刚开始并不理解为什么会这样？
这是因为模型将所有语料都进行了向量化 ， 所以对模型来说是不存在”相同文字“的概念 。
我们可以这样想 ， 模型对语料的训练集内容拟合为一条曲线 ， 离曲线近的内容可以识别出来 ， 离曲线远的内容识别不出来 ， 完全相同的语料恰巧很远 。
文章图片
文章图片
2）完全匹配
为了规避这种场景的出现 ， 增加完全匹配 ， 只要和语料完全相同的内容在模型之前会进行一轮意图识别 。
3）正则表达式
与完全匹配类似 ， 使用正则来表达复杂但是具有统一格式规范的句子 ， 如
， 可匹配“我今天不想上班了”、“他们是一群不想上班的产品经理”等 ， 可以理解为完全匹配的一种特殊形式 。
正则的使用通常可以大大的简化对封闭性问题的语料编辑 ， 节约工作量 ， 适用于封闭性问题且需要使用着对正则有一定的书写和理解基础 ， 不适用大规模的使用 。
4.5 未识别的处理
前面所说的方案都是为了提高意图理解的准确性 ， 即使加上了完全匹配和正则的情况下 ， 目前不存在实际场景下100%识别准确率的模型 ， 部分内容还是会给出错误的判断 。
但是在交互过程 ， 尤其是在真实业务场景（催收、营销、续保、欠费通知、物业报修 ， 餐饮订座）中触达用户中“不懂装懂”可不是一个很好的现象 。Question：“你吃饭了吗？”Answer：”不想上班就没人给你发工资“
这样的体验肯定是不行的 ， 不会的问题就说不会 ， 所以我们会设置模型的“置信度” 。
模型分值高于置信度（参数的一种） ， 我们相信模型识别对 ， 低于置信度的我们会设定“兜底”的话术来进行应答 ， 如“主人 ， 我不懂你的意思唉”、“可能是信号不好 ， 我没听清楚” ， 既灵活的敷衍了自己不明白的尴尬局面 ， 又表达了你说的太难了我不懂的意思 。
文章图片
文章图片
最后 ， 不论是主动学习还是被动接受 ， 语音交互已经深入到我们生活的各个角落 ， 虽然目前语音交互过程通常会有“所闻非所答”、“这个机器人真笨”的感觉 ， 发展过程中出现的坑 ， 总会前赴后继的被填平并驻成山峰 。
希望文章会各位在对自然语言理解的过程中有一定的帮助 。
【技术编程|产品经理视角下的自然语言处理】题图来自 Pexels ， 基于 CC0 协议
推荐阅读
- 摄像头|小米截胡中兴屏下摄像头技术，小米研发还是供应链技术？
- 马斯克|马斯克用活猪演示脑机接口技术：实时读取猪脑信息 心灵感应成真了
- 三防|带你了解三防手持终端的秘密
- 第三|原创 小米发布第三代屏下相机技术，或将在Mix 4上首秀？
- 海信|首个新兴显示技术分标委成立 海信牵头制定国标
- 广告位|商业化产品经理 | 在线广告（7）: 设计一个广告位要考虑什么
- 中年|Python编程语言有什么独特的优势呢?
- |马斯克用活猪演示脑机技术，他希望今年年底前能在人体内植入
- 互联网的放大镜|小米截胡中兴屏下摄像头技术，小米研发还是供应链技术？
- 新机发布|原创 小米发布第三代屏下相机技术，或将在Mix 4上首秀？