任何事情都可能发生，除非为机器人提供动力的人工智能对世界有抽象的高级知识，否则没有人类的帮助它就无法执行任务。这正是当代人工智能所缺乏的。
机器人和自动驾驶汽车使用计算机视觉来分析周围环境并导航世界。计算机视觉是一门试图复制人类视觉系统工作原理并帮助软件理解图像和视频内容的科学。
目前，计算机视觉中最流行的人工智能技术是深度学习。深度学习算法会摄取大量示例来发展其行为。例如，想要帮助机器人导航房屋的深度学习模型必须查看不同房间类型、不同装饰、家具、桌子、地毯的视频和图片……才能知道如何绕过不同的障碍物。
即使用数百万个样本进行训练，深度学习模型也不会大致了解房间是什么，为什么厨房里有一张桌子，为什么桌子周围有椅子等等。它只会对房间有一个统计知识。它应该在房子周围看到的图像类型，可以检查哪些图像，需要避免哪些图像，等等。
如果机器人面对一个它从未见过的新环境、新物体或新色彩组合，它的人工智能将不知道该做什么，并且会以一种不稳定的方式行事。一个短期的解决方法是在问题上投入更多数据，并继续使用各种新样本训练 AI 模型。
亚马逊拥有海量数据，这些数据可能有助于训练 Alexa 机器人的 AI 算法。它还可以利用其 Mechanical Turk 平台的大量资源来众包一些培训工作。但这并不能解决让人工智能对世界、物体和它们之间的关系有一个总体了解的问题。
如果没有这种普遍的理解，即使是最复杂的 AI 模型也会遇到“边缘情况”，即 AI 没有经过训练的场景。这就是为什么设计能够在开放环境中导航的机器人和自动驾驶汽车如此困难的原因。
一些公司使用传感器、雷达和激光雷达等互补技术，使机器人能够绘制周围环境的地图。这些硬件添加降低了错误率(并提高了成本)。但是，如果 AI 对其环境没有逻辑理解，即使是完美的周围环境 3D 映射也会导致错误。
如果 Alexa 想要处理对象以及导航环境，它将面临更大的问题。除非在非常受控的环境中，否则机器人历来不擅长处理物体。近年来，公司已经使用强化学习等先进的人工智能技术来训练机器人手自行执行不同的任务。但是这种方法需要大量的数据和计算资源(亚马逊同样拥有丰富的资源)，并且还没有满足现实世界的用例。