WAP手机版 RSS订阅 加入收藏  设为首页
新濠国际
当前位置:首页 > 新濠国际

新濠国际:利用记忆神经网络提升中文分词性能

时间:2020/7/25 12:01:16   作者:   来源:   阅读:0   评论:0
内容摘要:宋艳介绍,该模型利用N元组(即N元组)提供的每个词的构词能力。,由连续N个单词组成的序列,如“residents”为2元组,“living standard”为4元组),通过添加(降低)权重实现特定上下文下的歧义消解。通过无监督方法构建义类库,实现未标记文本在特定领域的使用,从而...
宋艳介绍,该模型利用N元组(即N元组)提供的每个词的构词能力。,由连续N个单词组成的序列,如“residents”为2元组,“living standard”为4元组),通过添加(降低)权重实现特定上下文下的歧义消解。通过无监督方法构建义类库,实现未标记文本在特定领域的使用,从而提高对未知词的识别。

在找到所有可能的单词组合后,它们被添加到分词模型中。然后,通过神经网络学习哪些单词更有助于完整地表达句子的意思,然后分配不同的权重。例如,在“living standard of some residents”这句话中,“part”、“residents”、“life”、“level”会被突出,而“separation”、“people's livelihood”会被弱化,从而预测出正确的结果。

根据介绍,为了测试该模型的分割效果,本文进行了严格的标准实验和跨域实验。“我们在五个常用的标准汉语分词数据集(MSR、PKU、AS、CityU、CTB6)上取得了最好的结果,这五个数据集的分数都达到了历史新高。”歌燕说。
根据绪论,汉语分词和词性标注是两种不同的任务。词性标注是指用词性标注每个词,如动词、名词、代词和形容词。词性标注在句子理解中起着重要的作用。

“在使用外部句法知识时,‘he is good at kung fu immediately’这句话可能会被误解。正确的结果应该是“horse”和“upper”分开,但如果把它分成一个词,就会被认为是副词。例如,宋燕说。

相关评论
本站所有站内信息仅供娱乐参考,不作任何商业用途,不以营利为目的,专注分享快乐,欢迎收藏本站!
所有信息均来自:百度一下 (188比分)
桂ICP备15005402号-2