TreeBank是一种标注了句法和语义句子结构的大型语料库,这些句法结构通常是树的形式,所以称之为TreeBank(树库)。The Penn TreeBank是第一个提出的TreeBank语料库,这个语料库使用的词性标注的类别包含了NN,NP。
必须要知道正式表示和用于存储注释数据的文件格式之间有很大的区别。树库必须根据特定的语法构建。不同的文件格式可以实现相同的语法。例如,右图所示的John Loves Mary的句法分析可以用文本文件中的简单标记括号表示,如下所示(遵循Penn Treebank表示法):
上述句法分析树的存储结构如下所示:
(S (NP (NNP John))
(VP (VPZ 爱)
(NP (NNP Mary)))
(…))
这种表示方式很受欢迎,因为它占用资源少,而且树状结构在没有软件工具的情况下相对容易阅读。然而,随着语料库变得越来越复杂,其他文件格式可能是首选。替代方案包括特定于树库的XML方案、编号缩进和各种类型的间隔符号。
TREEBANK中的词性标签
Number | Tag | Description | 中文翻译 |
1. | CC | Coordinating conjunction | 对等连词,对等连词 |
2. | CD | Cardinal number | 基数 |
3. | DT | Determiner | 限定词(置于名词前起限定作用,如 the、some、my 等) |
4. | EX | Existential there | 存在句 |
5. | FW | Foreign word | 外来语;外来词;外文原词 |
6. | IN | Preposition or subordinating conjunction | 介词或者从属连词 |
7. | JJ | Adjective | 形容词 |
8. | JJR | Adjective, comparative | 比较级形容词,例子:better(更好的) |
9. | JJS | Adjective, superlative | 最高级形容词,例子:best(最好的) |
10. | LS | List item marker | 列表项标记 |
11. | MD | Modal | 情态动词,在语法中,情态动词或情态助动词是一个如“can”或“would”之类的词,它与主动词连用,用来表达可能性、意图或必要性等观点 |
12. | NN | Noun, singular or mass | 名词,单数或质量 |
13. | NNS | Noun, plural | 名词,复数 |
14. | NNP | Proper noun, singular | 专有名词,单数 |
15. | NNPS | Proper noun, plural | 专有名词,复数 |
16. | PDT | Predeterminer | 前位限定词,在语法中,一个前位限定词是一个词,使用在限定词之前,但仍然是名词组的一部分。例如,‘all’ in ‘all the time’ and ‘both’ in 'both our children’是前位限定词。 |
17. | POS | Possessive ending | 所有格结尾。全部写法:所有格的写法一般是用“'s“和“of”表示。一般写法:一般常用:“'s”表示 |
18. | PRP | Personal pronoun | 人称代词 |
19. | PRP$ | Possessive pronoun | 物主代词,物主代词有形容词性(my, your等)和名词性(mine, yours等)两种,形容词性的物主代词属于限定词。 |
20. | RB | Adverb | 副词 |
21. | RBR | Adverb, comparative | 副词、比较级 |
22. | RBS | Adverb, superlative | 副词,最高级 |
23. | RP | Particle | 小品词(与动词构成短语动词的副词或介词) |
24. | SYM | Symbol | 符号 |
25. | TO | to | 到 |
26. | UH | Interjection | 感叹词;感叹语 |
27. | VB | Verb, base form | 动词原形 |
28. | VBD | Verb, past tense | 动词过去式 |
29. | VBG | Verb, gerund or present participle | 动词、动名词或现在分词 |
30. | VBN | Verb, past participle | 动词过去分词 |
31. | VBP | Verb, non-3rd person singular present | 动词,非第三人称单数现在时 |
32. | VBZ | Verb, 3rd person singular present | 动词,第三人称单数现在时 |
33. | WDT | Wh-determiner | WH限定词 |
34. | WP | Wh-pronoun | WH-代词 |
35. | WP$ | Possessive wh-pronoun | 所有格wh-代词 |
36. | WRB | Wh-adverb | WWh-副词 |
参考资料
【1】https://www.ling.upenn.edu/courses/Fall_2003/ling001/penn_treebank_pos.html