江苏龙网

  1. 主页 > 生活百科 > >

浅谈有赞搜索QP架构设计( 二 )

架构设计

浅谈有赞搜索QP架构设计

文章插图
 
  1. 纠错模型在bert基础上采用知识蒸馏，提升模型精度降低模型时延 。
  1. 根据同音字召回候选集，使用tri-gram语言模型对候选集排序 。
03细粒度分词Tokenzier插件（基础分词）样例输入：[雪地靴女2020年新款皮毛一体冬季加绒加厚防滑东北厚底保暖棉鞋子]输出：[雪地 靴 女 2020 年 新款 皮毛 一体 冬季 加绒 加厚 防滑 东北 厚底 保暖 棉 鞋子]该分词插件由JAVA版结巴 jieba-analysis 修改而来，修改内容如下：
    • 从全网商品标题数据，有赞行业数据，开源数据中统计出词频，作为基础分词词典；
    • 解决词典中由英文单词导致英文字符串被分开的问题；
    • 限制DAG的长度，即匹配词的长度，以此控制分词粒度，目前默认是2，分出来的词除英文和数字外，长度不会超过2 。
04语义分词sementicSegment插件样例输入：[雪地 靴 女 2020 年 新款 皮毛 一体 冬季 加绒 加厚 防滑 东北 厚底 保暖 棉 鞋子]输出：[雪地靴 女 2020年 新款 皮毛一体 冬季 加绒加厚 防滑 东北 厚底 保暖 棉鞋子]该插件在细粒度分词的基础上，通过模型生成语义树将关联度大的词列表进行合并，输出语义分词结果 。在样例中，雪地与靴关联度更大，所以在语义分词中将雪地与靴合并输出 。
浅谈有赞搜索QP架构设计

文章插图
 
04实体识别Tagging插件样例输入：["汽车","脚垫","刷子"]输出：[{"word":"汽车","tag":"产品修饰词"},{"word":"脚垫","tag":"产品修饰词"},{"word":"刷子","tag":"产品词"}]实体识别插件主要用于识别出搜索内容中的产品词 。比如用户在输入“汽车脚垫刷子”时，如果没有做产品词识别，“脚垫”相关的商品会因为商品分高而排在“刷子”商品前面，影响用户搜索体验 。
反之，经过命名实体识别，对“刷子”做产品词提权，刷子类商品就可以排在脚垫类商品前面，优化搜索体验 。
目前有赞规划的实体类别列表如下所示：
产品词 eg：“修身连衣裙”中的“连衣裙”产品修饰词 eg：“汽车脚垫”中的“汽车”普通词新词修饰品牌机构实体地点地域材质人名功能功效专有名词影视名称型号文娱书文曲系列游戏名称款式元素颜色场景风格营销服务人群时间季节性别类目母婴规格新品前缀后缀数字符号实体识别方法基于正则可以识别数字、符号、规格、时间季节 。
private numWordRegex = "[0-9]+";// 符号private String symbolWordRegex = "[\[\]\{\}【】「」\\\|、｜‘'"“”’；：;:>. 。》/？\?<《，,~`·！\!@#\$¥%\^…&\*（\(\)）\-_—=\+\s]+";// 规格private String unitRegex = "(?:\d+|\d+\.\d+|[一二三四五六七八九十百千万]+)\s*(?:m|米|cm|厘米|ml|毫升|l|升|度|平米|件|块|元|片|张|本|条|瓶|部|辆|个|桶|包|盒|g|克|kg|千克|吨|寸|斤)";// 时间季节private String seasonRegex = "[春夏秋冬]+[季天]?";private String yearRegex = "(?:18|19|20)\d{2}";基于词库可以识别产品词、品牌、产品修饰词 。
品牌：query->二级类目->品牌，条件：在当前类目品牌词库里且模型预测不是“产品词”，此时打“品牌”实体标 。产品词：在产品词库且模型预测是普通词 。产品修饰词：多个词出现时，除最后一个，其余打“产品修饰词”实体标 。基于模型可以识别剩余23类实体，类别如下所示：
产品词普通词新词修饰品牌机构实体地点地域材质人名功能功效专有名词影视名称型号文娱书文曲系列游戏名称款式元素颜色场景风格营销服务人群时间季节模型结构如下所示：
浅谈有赞搜索QP架构设计

文章插图
 
04类目预测categoryPredict插件样例输入：牛奶绒输出: {"categoryId": "101000010001","categoryName": "被套","categoryChainList": ["家居建材","床上用品","被套"],"parentCategoryId": "10100001","level": 3,"hasChildren": true,"percent": 0.9010684490203857}


推荐阅读


上一篇：谷歌广告关键词拓词，匹配攻略

下一篇：手机没信号的原因是什么？ 手机没信号怎么回事