请选择 进入手机版 | 继续访问电脑版

人工智能论坛

 找回密码
 立即注册
查看: 2936|回复: 3

词频表识别不了句子的问题我能解决

[复制链接]
发表于 2011-3-17 09:50:00 | 显示全部楼层 |阅读模式
句子是由词和短语构成的,但句子绝对不是词和短语简单的堆砌。只有正确判断词和词之间的关系,分析句子的语法结构,才能让计算机正确认知一个句子。这些是用统计学的方法也就是词频表解决不了的问题。用词频表只能做到切词然后在句子中找几个不重复的词,而且这些词之间没有关联。这几个词可以出现在很多不同的句子里。想用几个词代表一个句子根本就是一种偷懒的做法。所以统计学的方法也就是词频表做不到识别句子。
  比如下面的句子切词以后就没办法让计算机翻译成英语:
1.屠夫的老婆喊到:“你这杀猪的,快去把门关上。”
2.人没了。
3.你给我站住!
4.学校里,那些家伙常来找我的麻烦。
5.我想知道一个不太难于理解的问题,也就是后面的叙述中的这个小小问题,宇宙是怎样产生的。

回复

使用道具 举报

 楼主| 发表于 2011-3-17 09:51:00 | 显示全部楼层
解决的唯一办法不是简单的切词,而是在句子分析的基础上切词。
那为什么大家不这样做呢?
因为大家一致认为分析句子是件非常困难的事情,习惯了采用统计学的方法也就是词频表去解决问题。有人说:“模拟人的理解过程,在分词过程中加入句法和语义分析来处理歧义问题。难以将各种语言信息组织成机器可直接读取的形式,还处在试验阶段。”
实际情况并非如此。我和北大的cat研究生聊天他们说他们的导师已经在讲语义分析了。
在我这里,这个问题已经基本被解决了。
我们通过下面的处理能让计算机理解一个句子,分辨非常相近的句子:
第一:句子结构分析。句子的结构有很多种吗?没有。一个句子无非就是主语谓语宾语定语状语补语几个部分构成的,无非就是构成这几个部分的词和短语以及词和短语的结构在发生变化。计算机在处理时,先判断句子的结构,再进行下一步的处理。
第二:什么样的词可以当主语,什么当谓语,什么当宾语,什么当定语,什么当状语,补语怎么表示,都是有规律可以寻找的。比如表示称谓的词单独当主语时,它的内涵是不明确的,需要计算机根据上下文确定。“爸爸来了!”里的爸爸是谁的爸爸呢?一些动词单独当谓语时主语是有限制的。“‘你这头猪!’小明说。”“说”的主语是“小明”不是“猪”。这个可以根据我们的规则判定。形容词做定语也有一定的规律可以寻找。
第三:主语谓语宾语决定了句子的主干。准确的判断句子的主干就能准确的识别句子。有时候一个句子里有几个词可以做主语,有几个词可以做谓语,有几个词可以做宾语。判断他们之间的搭配关系们就能确定句子的主干。
第四:根据语序判断句子的结构。汉语的表达对语序依赖比较重,一般主语在宾语前面。

回复 支持 反对

使用道具 举报

发表于 2012-10-18 14:59:00 | 显示全部楼层
您想表达什么???
最后怎么解决的...
洗洗睡吧...标题党
回复 支持 反对

使用道具 举报

发表于 2015-2-12 09:07:00 | 显示全部楼层
你说的这些国外早被人研究烂,分词技术,打标签等,语料库都上百个了
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|积分充值|小黑屋|手机浏览|人工智能实验室 ( 苏ICP备12079930号

GMT+8, 2017-10-21 00:03 , Processed in 0.172905 second(s), 21 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表