技术照亮人工智能系统的内部工作 该系统处理语言

2019-12-17 15:16:56

通过分析大量的训练数据来学习执行计算任务的神经网络,一直是人工智能领域最令人印象深刻的最新进展,包括语音识别和自动翻译系统。

然而,在训练过程中,神经网络不断地调整其内部设置,即使是其创作者也无法理解。最近在计算机科学方面的许多工作都集中在聪明的技术上,以确定神经网络是如何完成他们所做的事情的。

在最近的几篇论文中,麻省理工学院计算机科学和人工智能实验室(CSAIL)和卡塔尔计算机研究所的研究人员使用了一种最近发展起来的解释技术,该技术已应用于其他领域,用于分析经过训练的神经网络,以便进行机器翻译和语音识别。

他们发现了关于网络可能如何工作的一些常见直觉的经验支持。例如,系统似乎集中于低级任务,例如声音识别或部分语音识别,在移动到更高级的任务(例如转录或语义解释)之前。

但是研究人员也发现翻译网络所考虑的数据类型中有一个令人惊讶的遗漏,他们表明纠正这种遗漏会提高网络的性能。这种改进是有限的,但它指出了神经网络分析有助于提高人工智能系统的准确性的可能性。

"在机器翻译中,从历史上讲,有一种具有不同层的金字塔,"说,JimGlass是一个Cavail高级研究科学家,他在电气工程和计算机科学中的麻省理工学院研究生YonatanBelinkov从事该项目的工作。"在最低级别,单词、曲面形式和金字塔的顶部是某种语言间的表示,而你也有不同的层,在那里你做的是语法、语义。这是一个非常抽象的概念,但是这个想法是你进入金字塔的时候,它更容易转换为一种新的语言,然后你又会再下去了。Yonatan正在做的是想弄清楚这个概念的哪些方面正在被编码在网络中。"

最近,在国际自然语言处理联合会议上,在两份文件中介绍了机器翻译的工作。Belinkov是第一个作者,而玻璃是作者,另一个是Belinkov是一个共同作者。在这两种情况下,他们都来自卡塔尔计算研究所(QCRI)的研究人员,包括Luber的Mingrquez、HassanSajad、最低点Durrani、FahimDalvi和StefanVogel。Belinkov和Glass是论文分析语音识别系统的唯一作者,Belinkov上周在神经信息处理研讨会上提出。

整平

神经网络之所以如此命名是因为它们大致接近人脑的结构。典型地,它们被布置成多个层,并且每个层由许多简单的处理单元(节点)组成,每个节点在上面和下面的层中连接到几个节点。数据被馈送到最低层,其节点处理它并将其传递到下一层。层之间的连接有不同的"重量,",用于确定任何一个节点数字输出到下一个节点执行的计算中的多少。

在训练过程中,节点间的权重不断调整。在对网络进行训练之后,它的创建者可以确定所有连接的权重,但是有数千个甚至几百万个节点,甚至有更多的节点之间的连接,推断出这些权重编码的算法几乎是不可能的。

麻省理工学院和QCRI的研究人员的技术是利用一个经过训练的网络,利用每个层次的输出来响应个别的训练实例,训练另一个神经网络来执行特定的任务。这使他们能够确定每一层被优化的任务。

在语音识别网络中,Belinkov和Glass使用单个层输出来训练一个系统来识别特定于口语的“电话”、不同的语音单位。例如,“tea”、“tree”和“but”这几个词中的“t”音可能被归类为单独的电话,但语音识别系统必须用字母“t”来转录它们。

类似地,在去年夏天在计算语言学协会年度会议上提交的一篇论文中,玻璃、Belinkov和他们的QCRI同事发现,机器翻译网络的较低级别在识别语音和形态的部分时特别好,诸如时态、数字和接合。

创造意义

但是在新的论文中,它们表明,网络的更高层在称为语义标记的事物上是更好的。正如Belinkov解释的那样,部分语言的tagger会认识到,"她自己"是代词,但是代词的含义-它的语义含义在句子"她自己买了这本书"和"她自己买了这本书。"中是非常不同的,语义标记器将为这两个"她自己,"实例分配不同的标记,正如机器翻译系统可能在给定目标语言中找到它们的不同翻译一样。

最佳的机器翻译网络使用所谓的编码-解码模型,所以MIT和QCRI研究人员"网络也使用它。在这样的系统中,输入在源语言中通过网络的几个层(称为编码器),以产生矢量,一串数字,它们以某种方式表示输入的语义内容。该矢量通过网络的多个层(解码器),以产生目标语言的翻译。

尽管编码器和解码器被一起训练,但是它们可以被认为是单独的网络。研究人员发现,奇怪的是,编码器的下层在区分形态方面是好的,但是解码器的较高层不是很好的。因此Belinkov和QCRI的研究人员对网络进行了重新训练,不仅根据翻译的准确性,而且对目标语言中的形态进行了分析。实质上,它们迫使解码器在区分形态方面变得更好。

利用这一技术,他们对网络进行了再培训,将英语翻译成德语,并发现其准确性提高了3%。这并不是一个压倒性的进步,但这表明,在神经网络的遮挡下观察可能不仅仅是一项学术练习。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。