你可能听说过，机器学习技术已经能够打败所有世界上最伟大的围棋玩家。
但它能在网上预订航班吗?
这是谷歌人工智能研究人员最新研究提出的有趣前景。
在该团队的一篇新论文中，他们训练了一个神经网络来理解网页的结构，以及它在机票预订或与社交媒体网站交互时所能做出的选择。
这项工作广泛地采用了与谷歌的AlphaZero软件相同的机器学习类别，即所谓的“强化学习”。在RL中，一个神经网络在尝试解决一个问题的每个阶段都会发展出相应的步骤策略，因为它会因为正确的选择而获得奖励。
此外:谷歌建议所有的软件都可以使用一个小的人工智能机器人
研究人员找到了一种训练神经网络的方法，而不需要给人演示如何浏览在线预订表单。他们写道，这种方法使学习网页和社交媒体网络的任务更具“可扩展性”，状态和动作的可能组合可以达到数千万个。
重点并不一定是实际订机票;这更多的是一种练习，即神经网络如何找到一个有许多变量的问题的解决方案，而在训练中，人工指导或“监督”是不可行的。
12月21日发表在arXiv预印本服务器上的研究论文《学会浏览网页》，作者是伊兹丁·古尔、乌尔里希·鲁埃克特、阿列克谢德拉·福斯特、迪莱克·哈卡尼-图尔，他们都与谷歌AI有关。这篇论文将成为明年5月在新奥尔良举行的学习表征国际会议的海报。
另外:谷歌人工智能研究人员发现了玩危险游戏的新理由!
谷歌的研究人员提出了两种使用强化学习的新型神经网络，一种是QWeb，它可以学习鼠标点击和在网页上输入东西，另一种是INET，它可以找出每一步给QWeb的指令。
这不仅仅是机器人在网上爬行。作者将这个问题描述为“从大量的指令中学习”时的棘手问题，这些指令可能包括必须填写的Web表单字段，以及人们在机票预订网站上遇到的类似下拉菜单选择器的长列表。
“例如，在机票预订环境中，可能的指令/任务数量可以增加到1400多万，每集包含1700多个词汇和大约100个Web元素。”
这项研究延续了史天林(Tianlin Shi)和他在斯坦福大学(Stanford University)的同事们去年的“比特世界”(World of Bits)。那篇论文基于人们提供的演示，测试了电脑学习在网络上执行鼠标点击和键盘敲击来完成任务的能力。
此外:谷歌思考机器学习的缺点
就像那篇论文的作者一样，谷歌的人采用了强化学习，在这种情况下是“深度q -网络”方法，在这种方法中，神经网络在完成问题任务、做出选择时，调整对未来奖励的估计。
但是谷歌的研究人员不能像在“位元世界”中那样使用人类演示，所以他们提出了他们所断言的两种“新型神经网络结构”。
第一个是“QWeb”，这是一个深度的Q-Network，它通过将网页分解为对旅行预订过程中每一步的奖励来增强，比如输入航班日期。这往往会增加神经网络所获得的奖励。
第二种被称为“INET”，是另一种深度Q-Network，当它正确地生成QWeb需要遵循的指令时，就会获得奖励。INET的工作要消化的Web页面,形式的“文档对象模型”或“DOM”和想出QWeb应采取的步骤做出选择在Web表单,如选择机场代码从一个下拉列表的“目的地”的形式。
此外:谷歌大脑，微软探索神秘的网络与人工智能
在许多其他细节中，作者尝试的方法与以前的方法略有不同。例如，他们使用了一种叫做“课程学习”的技术，把大任务分解成小任务，帮助神经网络完成Web表单的多个步骤。
他们还使用了所谓的“浅层编码”来增强神经网络对网页的理解。通过这种方式，它不仅可以看到大量的机场名称，还可以了解它所在网页的结构。
作者报告说，当他们将结果与斯坦福小组的结果进行比较时，他们可以将其人工驱动的示例与简单任务的人工演示(如单击对话框或在表单中登录用户)进行匹配。
在更复杂的任务中，由斯坦福大学团队开发的作为基准的测试，被称为“全社交媒体”，计算机必须做一些事情，比如阻止Twitter上的某个用户。谷歌的研究人员表示，他们的增强神经网络能够成功“以前的方法无法产生任何成功的事件”。
他们报告说，在预订机票的挑战中，像浅编码这样的小技巧每次都帮助神经网络取得成功。他们注意到，如果没有这些小技巧，他们的网络就会表现得像一个无聊的网络冲浪者:“QWeb在第一步就开始点击提交按钮，以获得最少的负面回报。”听起来就像人类在网上预订机票的真实体验。