NLP召回是什么意思 nlpcc_NLP召回是什么意思

欢送师兄师姐毕业

任务介绍

我们做的实验为Task1的closed任务

NLP召回是什么意思 nlpcc_NLP召回是什么意思_02

任务设置

NLP召回是什么意思 nlpcc_数据_03

任务描述： 输入一个自然语句，依存句法分析任务的目标是预测最优的依存句法树，如

图 1 所示。本评测包含 4 个子任务：

  • 子任务一 (un-closed)：无监督领域移植(封闭)
  • 子任务二 (semi-closed)：半监督领域移植(封闭)
  • 子任务三 (un-open)：无监督领域移植(开放)
  • 子任务四 (semi-open)：半监督领域移植(开放)

含义如下：

  • 无监督领域移植：不能使用对应目标领域的训练数据。例如，当目标领域为 PC 时，那么无监督领域移植场景下， PC-Train 不存在，但是 PC-Dev/unlabeled 是可以使用的。
  • 半监督领域移植：可以使用目标领域的训练数据。例如，当目标领域为 PC 时，那么半监督领域移植场景下， PC-Train/Dev/Unlabeled 都可以使用。

Closed 的限制：

  • 只能使用我们提供的数据和信息，包括：所有数据我们都提供分词、自动词性；我们会提供 pre-trained word embedding (在 Chinese Gigaword 3 和无标注数据上训练 word2vec 得到)。
  • 不可以使用其他开源工具得到新的信息，如词性、词义等特征。
  • 不可以使用其他的资源，如词典、句法语义树库等。
  • 不可以使用 ELMo/Bert 或其他预训练词表示。

Open：不作任何限制，可以使用任何资源。但是建议参赛者在系统报告中明确说明使用的外部资源以及这些外部资源对性能的影响。

注意事项 1：不允许使用其他目标领域的训练数据。例如，当目标领域为 PC 时，对于任何子任务，都不可以使用 PB-Train 和 ZX-Train。

注意事项 2：不允许将 Dev 加入到训练数据中，Dev 数据只可以用来调参和选择模型。

数据集

NLP召回是什么意思 nlpcc_子任务_04

测评结果

我们的测评结果为closed下的无监督和半监督第一

NLP召回是什么意思 nlpcc_NLP召回是什么意思_05

详细实验流程和代码会在之后的文章里公布！

参赛人员：余南、刘宗林、甄冉冉、刘涛


好文！在看！