內容目录

上一个主题

云邮件

下一个主题

Channel

中文分词

服务概述

中文分词指的是将一个汉字序列切分成一个一个单独的词。中文分词是文本挖掘的基础,对于输入的一段中文,成功的进行中文分词,可以达到电脑自动识别语句含义的效果。新浪云分词系统基于隐马模型开发出的汉语分析系統,主要功能包括中文分词、词性标注、命名实体识别、新词识别。

分词服务主要用于中文语义分析。常用应用场景如:

  • 对博客标题进行分词,提取其中的名词作为文章关键词。
  • 对用户搜索条件进行分词,提取其中关键词语进行搜索。例如,用户搜索”新浪云的文件写入”,可分词为“新浪云”、“文件”、“写入”三个关键词来进行搜索,提高搜索成功率。

API使用手册

分词服务请求

新浪云分词服务请求采用以下形式的HTTP网址:

http://segment.sae.sina.com.cn/urlclient.php?parameters

parameters为请求参数,多个参数之间使用&分割,以下列出了这些参数和其可能的值。

  • encoding: 请求分词的文本的编码,可以为: GB18030、UTF-8、UCS-2。
  • word_tag: 可选。是否返回词性数据。0表示不返回,1表示返回。

请求分词的文本以post的形式提交。

  • context: 请求分词的文本。目前限制文本大小最大为10KB。

分词服务响应

分词服务的响应数据为json格式,格式如下:

[
    {"word":"采莲","word_tag":"171","index":"1"},
    {"word":"赋","word_tag":"170","index":"2"}
]

响应数据为一个list,list中每个元素为一个dict,每个dict中包含以下数据:

  • index: 序列号,按在请求文本中的位置依次递增。
  • word: 单词
  • word_tag: 单词的词性,仅当输入parameters里word_tag为1时包含该项。

词性代码:

0   POSTAG_ID_UNKNOW 未知
10  POSTAG_ID_A      形容词
20  POSTAG_ID_B      区别词
30  POSTAG_ID_C      连词
31  POSTAG_ID_C_N    体词连接
32  POSTAG_ID_C_Z    分句连接
40  POSTAG_ID_D      副词
41  POSTAG_ID_D_B    副词("不")
42  POSTAG_ID_D_M    副词("没")
50  POSTAG_ID_E      叹词
60  POSTAG_ID_F      方位词
61  POSTAG_ID_F_S    方位短语(处所词+方位词)
62  POSTAG_ID_F_N    方位短语(名词+方位词“地上”)
63  POSTAG_ID_F_V    方位短语(动词+方位词“取前”)
64  POSTAG_ID_F_Z    方位短语(动词+方位词“取前”)
70  POSTAG_ID_H      前接成分
71  POSTAG_ID_H_M    数词前缀(“数”---数十)
72  POSTAG_ID_H_T    时间词前缀(“公元”“明永乐”)
73  POSTAG_ID_H_NR   姓氏
74  POSTAG_ID_H_N    姓氏
80  POSTAG_ID_K      后接成分
81  POSTAG_ID_K_M    数词后缀(“来”--,十来个)
82  POSTAG_ID_K_T    时间词后缀(“初”“末”“时”)
83  POSTAG_ID_K_N    名词后缀(“们”)
84  POSTAG_ID_K_S    处所词后缀(“苑”“里”)
85  POSTAG_ID_K_Z    状态词后缀(“然”)
86  POSTAG_ID_K_NT   状态词后缀(“然”)
87  POSTAG_ID_K_NS   状态词后缀(“然”)
90  POSTAG_ID_M      数词
95  POSTAG_ID_N      名词
96  POSTAG_ID_N_RZ   人名(“毛泽东”)
97  POSTAG_ID_N_T    机构团体(“团”的声母为t,名词代码n和t并在一起。“公司”)
98  POSTAG_ID_N_TA   ....
99  POSTAG_ID_N_TZ   机构团体名("北大")
100 POSTAG_ID_N_Z    其他专名(“专”的声母的第1个字母为z,名词代码n和z并在一起。)
101 POSTAG_ID_NS     名处词
102 POSTAG_ID_NS_Z   地名(名处词专指:“中国”)
103 POSTAG_ID_N_M    n-m,数词开头的名词(三个学生)
104 POSTAG_ID_N_RB   n-rb,以区别词/代词开头的名词(该学校,该生)
107 POSTAG_ID_O      拟声词
108 POSTAG_ID_P      介词
110 POSTAG_ID_Q      量词
111 POSTAG_ID_Q_V    动量词(“趟”“遍”)
112 POSTAG_ID_Q_T    时间量词(“年”“月”“期”)
113 POSTAG_ID_Q_H    货币量词(“元”“美元”“英镑”)
120 POSTAG_ID_R      代词
121 POSTAG_ID_R_D    副词性代词(“怎么”)
122 POSTAG_ID_R_M    数词性代词(“多少”)
123 POSTAG_ID_R_N    名词性代词(“什么”“谁”)
124 POSTAG_ID_R_S    处所词性代词(“哪儿”)
125 POSTAG_ID_R_T    时间词性代词(“何时”)
126 POSTAG_ID_R_Z    谓词性代词(“怎么样”)
127 POSTAG_ID_R_B    区别词性代词(“某”“每”)
130 POSTAG_ID_S      处所词(取英语space的第1个字母。“东部”)
131 POSTAG_ID_S_Z    处所词(取英语space的第1个字母。“东部”)
132 POSTAG_ID_T      时间词(取英语time的第1个字母)
133 POSTAG_ID_T_Z    时间专指(“唐代”“西周”)
140 POSTAG_ID_U      助词
141 POSTAG_ID_U_N    定语助词(“的”)
142 POSTAG_ID_U_D    状语助词(“地”)
143 POSTAG_ID_U_C    补语助词(“得”)
144 POSTAG_ID_U_Z    谓词后助词(“了、着、过”)
145 POSTAG_ID_U_S    体词后助词(“等、等等”)
146 POSTAG_ID_U_SO   助词(“所”)
150 POSTAG_ID_W      标点符号
151 POSTAG_ID_W_D    顿号(“、”)
152 POSTAG_ID_W_SP   句号(“。”)
153 POSTAG_ID_W_S    分句尾标点(“,”“;”)
154 POSTAG_ID_W_L    搭配型标点左部
155 POSTAG_ID_W_R    搭配型标点右部(“》”“]”“)”)
156 POSTAG_ID_W_H    中缀型符号
160 POSTAG_ID_Y      语气词(取汉字“语”的声母。“吗”“吧”“啦”)
170 POSTAG_ID_V      及物动词(取英语动词verb的第一个字母。)
171 POSTAG_ID_V_O    不及物谓词(谓宾结构“剃头”)
172 POSTAG_ID_V_E    动补结构动词(“取出”“放到”)
173 POSTAG_ID_V_SH   动词“是”
174 POSTAG_ID_V_YO   动词“有”
175 POSTAG_ID_V_Q    趋向动词(“来”“去”“进来”)
176 POSTAG_ID_V_A    助动词(“应该”“能够”)
180 POSTAG_ID_Z      状态词(不及物动词,v-o、sp之外的不及物动词)
190 POSTAG_ID_X      语素字
191 POSTAG_ID_X_N    名词语素(“琥”)
192 POSTAG_ID_X_V    动词语素(“酹”)
193 POSTAG_ID_X_S    处所词语素(“中”“日”“美”)
194 POSTAG_ID_X_T    时间词语素(“唐”“宋”“元”)
195 POSTAG_ID_X_Z    状态词语素(“伟”“芳”)
196 POSTAG_ID_X_B    状态词语素(“伟”“芳”)
200 POSTAG_ID_SP     不及物谓词(主谓结构“腰酸”“头疼”)
201 POSTAG_ID_MQ     数量短语(“叁个”)
202 POSTAG_ID_RQ     代量短语(“这个”)
210 POSTAG_ID_AD     副形词(直接作状语的形容词)
211 POSTAG_ID_AN     名形词(具有名词功能的形容词)
212 POSTAG_ID_VD     副动词(直接作状语的动词)
213 POSTAG_ID_VN     名动词(指具有名词功能的动词)
230 POSTAG_ID_SPACE  空格

使用示例

chinese_text = """
这里填上需要分词的文本
"""

_SEGMENT_BASE_URL = 'http://segment.sae.sina.com.cn/urlclient.php'

payload = urllib.urlencode([('context', chinese_text),])
args = urllib.urlencode([('word_tag', 1), ('encoding', 'UTF-8'),])
url = _SEGMENT_BASE_URL + '?' + args
result = urllib2.urlopen(url, payload).read()