例如，我可以解释我分析果子狸图片的复杂心理过程(当然，在我知道它的名字之前)：“它绝对不是鸟，因为它没有羽毛和翅膀。它当然不是鱼。考虑到毛茸茸的外套，它可能是哺乳动物。考虑到尖尖的耳朵，它可能是一只猫，但脖子有点太长，而且体型有点奇怪。鼻子有点像啮齿动物，但腿比大多数啮齿动物都长……”最后我得出的结论是，它可能是一种深奥的猫科动物。(在我的辩护中，如果你坚持的话，它是猫科动物的一个非常远的亲戚。)
然而，人工神经网络经常被视为无法解释的黑匣子。他们没有对他们的决策过程提供丰富的解释。当涉及由数百(或数千层)和数百万(或数十亿)或参数组成的复杂深度神经网络时，尤其如此。
在训练阶段，深度神经网络会检查数百万张图像及其相关标签，然后他们会漫不经心地将数百万个参数调整为从这些图像中提取的模式。然后，这些调整后的参数允许他们确定新图像属于哪个类别。他们不理解我刚才提到的更高层次的概念(脖子、耳朵、鼻子、腿等)，只寻找图像像素之间的一致性。
“直接拟合自然”的作者承认，生物和人工神经网络在其电路架构、学习规则和目标函数方面可能存在很大差异。
“然而，所有网络都使用迭代优化过程来追求目标，给定他们的输入或环境——我们称之为‘直接拟合’的过程，”研究人员写道。“直接拟合”一词的灵感来自进化中观察到的盲目拟合过程，这是一个优雅但无意识的优化过程，不同的生物通过在很长一段时间内进行的一系列随机遗传转换来适应其环境。
“这个框架削弱了传统实验方法的假设，并与发展和生态心理学中长期存在的争论产生了意想不到的联系，”作者写道。
人工智能社区面临的另一个问题是可解释性和泛化之间的权衡。科学家和研究人员一直在寻找可以将 AI 能力推广到更广泛领域的新技术和结构。经验表明，在人工神经网络方面，规模提高了泛化能力。处理硬件的进步和大型计算资源的可用性使研究人员能够在合理的时间范围内创建和训练非常大的神经网络。事实证明，这些网络在执行计算机视觉和自然语言处理等复杂任务方面表现出色。
然而，人工神经网络的问题在于，它们越大，它们变得越不透明。由于它们的逻辑分布在数百万个参数中，因此它们比为每个特征分配单个系数的简单回归模型更难解释。简化人工神经网络的结构(例如，减少层数或变量的数量)将更容易解释它们如何将不同的输入特征映射到它们的结果。但更简单的模型在处理自然界中复杂而混乱的数据方面的能力也较差。
“我们认为，神经计算基于蛮力直接拟合，它依赖于过度参数化的优化算法来提高预测能力(泛化)，而无需明确建模世界的潜在生成结构，”《直接拟合自然》一书的作者“ 写。