挑战在于人们是否可以信任这些决定。复杂的深度学习神经网络做出的决策通常无需解释。由于这些系统基本上是自己编程的，因此它们的决策缺乏可解释性。这被称为"黑匣子AI"。正在进行的研究旨在提高AI决策的透明度。
对于那些现在部署AI的人来说，我们怎么知道我们是否可以相信AI所说的话？处理不良购买建议或错误拒绝信用购买的影响只是一些小事，当关键操作(尤其是我们的安全)依赖于AI时会发生什么？
信任是对某人或某事的可靠性、真理、能力和/或力量的坚定信念。要让人们相信AI，他们需要的不仅仅是一个黑匣子解释"AI就是工作"。它需要超越这一点，用户需要通过以下方式信任AI：
◆可解释性: 用户需要知道为什么AI系统会做出他们所做的决定。
◆局限性：用户必须了解AI的局限性。此外，AI系统还需要意识到并适应自己的局限性。
◆运营透明度：用户必须实时查看AI系统的运行方式，并知道它们为什么会这样做。
◆可预测性：用户必须能够预测AI系统在特定情况下的反应。
◆道德：AI系统必须避免道德问题，如果不小心解决，这些问题可能会破坏信任。
信任的重要性
英特尔前工业创新高级总监Irene Petrick在谈到信任时表示，"我们询问科技公司什么对他们最重要。大约三分之一的评论围绕着信任(图1)，比如AI是否以正确的方式使用正确的数据。AI应该以预测其他问题的方式，迅速推动更多更好的行动。如果用户不信任人工智能，这就无法推动行动。"
Neurala首席技术官Anatoli Gorchet在2022年AI和智能自动化会议上的演讲中描述了归纳局限性可能引起的信任问题。例如，常见的AI盲点是环境差异。如果只在早上捕获训练模型数据，则由于太阳的角度发生了变化，模型精度将在下午或晚上直线下降。这给用户带来了信任问题，因为通常人类不会犯这样的错误。
请注意，环境差异可能非常微妙。考虑将成功的AI部署到准确性严重下降的新生产线上。尽管工程师认为这条线与原始生产线相同，但事实并非如此：新操作员比原始操作员高六英寸，并阻挡了更多的背景光，改变了环境条件，而这些可能足以使神经网络瘫痪。
Gorchet指出，信任需要很多时间来发展，但只需要一个事件就可以打破。挑战在于，我们如何教人们信任可能像这样失败的系统？
图1 虽然AI应该以预测其他问题的方式驱动，但如果用户不信任 AI，这是没有意义的
生成可信赖的数据
AI模型建立在数据之上。因此，如果用户要信任AI，他们必须能够信任用于构建它的数据，这是有道理的。Micropsi Industries首席技术官Dominik Boesl分享了数据影响信任的多种不同方式。
对数据的信任始于仔细捕获数据。"在一个案例中，训练期间桌子上有一支笔。AI认为笔是一个参考点，"Boesl说，只需要一张没有笔的图像就可以表明它不是必需的。
开发人员还需要考虑采样偏差，因为它会影响系统的准确性。采样偏差的一个常见示例是照明等环境条件。AI并不总是相同的。有不同的类型和技术。一个人寻找的东西并不一定与AI正在寻找的东西相匹配。早在1995年，北约就使用识别软件来区分友方坦克和敌方坦克。它表现不佳。经过几个月的故障排除，他们发现训练数据是从明亮的光线下干净的小册子图片中获取的，而不是被泥土覆盖或光线不足的坦克。AI的专注点在于清晰与肮脏。"
"方差在数据中至关重要，"Boesl说，"考虑一下特斯拉演示车手必须拥有95%的驾驶记录。这辆车正在接受训练，以期待一个可预测的司机。但并不是每个司机都是可以预测的。添加方差通过显示可接受的更大样本来消除盲点。"
他说，"有了足够的方差，就没有必要表现出不想要的状态，不需要说好或坏。我们确保使用各种白色和彩色背景来教AI不要专注于背景特征。为了获得灯光独立性，我们在训练时使用视频投影仪照亮系统。由于光线在不断变化，这告诉AI光不是一个相关的特征。并让训练有素的操作员教AI而不是工程师。操作员是专家，也是最终与AI合作的人。"
GE研究院机器学习高级科学家兼"谦逊人工智能计划"负责人Nurali Virani博士说："从根本上说，如果模型在训练数据有限，或没有训练数据的罕见和具有挑战性的情况下，对其预测过于自信，那么它可能会产生推断错误。这有助于理解用户的观点。许多技术人员和最终用户拥有数年甚至数十年的经验。理所当然，他们可以质疑，'在如此具有挑战性的情况下，AI怎么能比我更清楚？'"
还有人为错误的问题。如果某些数据标记不正确，则AI对于类似实例将不可靠。如果AI依靠这些数据进行自信的预测，那么它可能会导致违反信任。但是，如果AI能够知道哪些标签可能是错误的，并且对某些标签错误具有鲁棒性，那么它就可以要求反馈以保持信任。
Gorchet认为，AI系统的开发方式会影响信任。考虑到当开发人员更改硬件时，他们可能还必须更改Cuda版本。某些用户的模型可能不受支持，因为新版本不支持Tensorflow。这可能会导致用户质疑其他可能不起作用的内容。从用户中抽象出此类开发问题至关重要。
AI与局限性
信任AI的另一个基础是意识到它的局限性。Virani说："我们创造了'谦卑的AI'一词，指的是一种意识到自己能力、可以寻求帮助并随着时间的推移而提高能力的AI。当它发现超出其权限范围时，它会将决定权传递给操作员或回退到其他安全操作模式。最终，这些新数据可以进入模型，以提高AI的能力水平。"
这是一个重要的想法。AI不需要在一开始就到处工作。它可以在具有足够数据以提供帮助和信任的地方使用。例如，AI可能不知道如何诊断工业系统中的新故障。它可以说，"我不知道，你是专家，请帮助我。"然而，AI可能知道足够的信息来说明情况不是什么。"这不是故障A，但可能是故障B或故障C。"
当开发人员接受局限性是一个因素时，这也有助于建立信任。Virani说："没有对局限性的认识，AI即使不知道答案也会做出决定。"与其冒着给出错误建议和破坏用户信任的风险，AI可以缩小选择范围。它仍然有帮助。它仍然可以是正确的。因此，它继续在其有能力的领域建立信任并减少工作量。
"广义AI面临着在所有条件下工作的挑战。" Virani说，但是，如果AI的所有数据都来自白天，那么它可能会在晚上遇到麻烦。你不可能在一开始就涵盖所有的可能性。因此，对于模特来说，能够说"我在这里不能被信任"是很重要的。它需要对自己的局限性有自我意识。从相关地区的支持开始，而不是完全自治。分阶段地建立信任。
这提出了一种通过将复杂问题分解为更小的部分来部署AI的方法。起初，整体精度可能较低。例如，Virani与GE机器学习团队的一项合作表明，用于维护记录标记的AI模型可能总体性能较差(80%)，但在该模型认为可以信任的能力范围内，它可以提供97%的准确率。
因此，超过50%的文档标记案例可以自动化，而其他案例需要一些人工帮助来标记不明确或异常的实例。这些来自人类的新标签可用于更新模型。参与一个值得信赖的AI的训练，看到它的发展，可以成为它成为可信AI的坚实基础。
Boesl 说："我们为每个客户区分任务。解决专用问题比解决一般问题更容易、更快捷。例如，我们教机器人如何插入特定的电缆，而不是一般的电缆。我们还对某个设施进行培训，以捕捉其环境条件。AI可以通过重新校准过程将技能转移到第二根电缆或第二个设施，该过程捕获场景之间的所有相关差异。重新校准需要一些工作，但比从头开始或创建完全通用的方法要少得多。通过这种方法，智能机器人可以在数小时或数天内完成训练，而不是数周，以逐行对机器人进行编程。此外，机器人可以再培训或以更少的投资改变生产线。"
Gorchet建议，与其针对所有可能的情况进行训练，不如针对已经发生的场景进行训练。这可能比创建通用模型便宜，即使团队必须进行多个特定的训练。
它有助于记住AI是一个不断发展的领域。如果AI没有提供所需的结果，那么这很可能不是AI今天能够解决的问题。最好承认这一点，而不是声称AI可以做它不能做的事情。因为当它第一次失败时，信任就会被打破，很难重新获得。
此外，用户应该能够停止或暂停智能设备。Boesl表示，人们必须有一种感觉，即他们处于控制之中，如果出现问题，机器也可以关闭。人类控制机器，而不是机器控制人类。当用户觉得自己被控制时，可能会失去很多信任。同时，用户需要解释AI的局限性。例如，在工厂车间行走的人必须意识到移动机器人通行权，或者如果他们踩到地板上的黑色和黄色胶带，他们可能会受到严重伤害。
通过可解释性建立对AI的信任
可解释性是建立AI信任的主要工具之一。简而言之，它的想法是，如果用户了解AI如何做出决策，他们将更愿意相信其建议。可解释性的另一个好处是，它可以更轻松地验证 AI 是否按预期执行。这可以加速工程师的开发，并与用户建立信任。
例如，经理可能会问："为什么这个机器人这么慢？"虽然机器人可以走得更快，但它的速度是为了保护工人。Gorchet 描述了AI的"黑匣子"问题(图2)。试图向用户解释神经网络的工作原理不是可解释性的。
图2 试图向用户解释神经网络是如何工作的是不可解释的，也没有触及人工智能为什么选择以某种方式做某事的核心。
Petrick说："可解释性始于，'我到底为什么要这样做？' 如果不解释原因，就会为不安和不信任奠定基础。为了获得员工的支持，鼓励他们的参与，他们需要了解公司面临的挑战，AI如何提供帮助，以及他们自己在整个解决方案中的重要作用。只有这样，你才能讨论黑匣子里发生了什么。接下来，我们提倡用通俗易懂的语言解释AI是如何工作的。接下来是 AI 如何分解任务、评估任务以及如何提出建议。正因为AI解决方案可以100%自动化，它可以帮助分阶段引入这种自动化。一旦用户收到正确的建议，他们往往会更放心地将该决定作为合作伙伴发布给AI。"
Gorchet描述了如何使用优质产品的图像进行培训，这样就不需要贴标签了。当AI认为它检测到缺陷时，它会在它认为缺陷所在的地方绘制一个分割掩码。你可以看到系统为什么会做出这样的决定。如果掩码显示的东西不是缺陷，则系统会学习错误并可以纠正它。
Virani将能力和可解释性联系在一起。特定AI在某些验证数据集上的整体准确性并不像了解当前建议的预期准确性那么重要。还需要一定程度的可解释性来解释为什么AI在特定情况下有信心或不自信。例如，使用带有标签的训练数据创建包装器使 AI 能够引用用于做出决策的相关数据。我们已经探索了AI模型的这种基于示例的可解释性，以便为它们在我们的项目中的预测提供理由。当然，这并不总是有用的。如果决策是在图像的像素级别做出的，那么当AI向他们展示来自训练数据的像素示例时，用户可能无法理解他们在看什么。
这是可解释性问题的一部分。AI可能很复杂，可用的工具为开发人员抽象了这种复杂性。例如，对于无代码生成的AI系统，开发人员告诉AI他们想要做什么，AI生成自己的程序。然而，这种抽象只会使黑匣子更加不透明。开发人员检查AI所能做的就是输入数据并验证结果是否正确。在某些情况下，可能几乎没有可解释性。
Petrick说："如果开发人员不理解或无法解释黑匣子的工作原理，那么用户怎么能理解呢？如果理解和评估AI的可靠性需要太多的工作，用户可能会认为不使用AI更有效率。"
解决可解释性挑战的一种方法是双向沟通。Petrick说："AI工程师正在艰难地学习，他们不了解工厂车间的细微差别。在工厂车间训练的AI解决方案应该很容易转移到另一个以相同方式布置的工厂。但事实往往并非如此。例如，照明、灰尘、喷水、相机角度等环境因素使每种情况都不同。有效的可解释性包括一个反馈渠道，使用AI的用户可以在其中提供有关AI如何不能满足他们需求的见解。"
伦理在AI中的作用
信任的一部分包括感觉用户的最大利益被牢记在心。当用户感到害怕或他们不是必需的时，信任就会受到侵蚀。
Petrick说："机器人解放了人们去做只有人类才能完成的任务。机器人有助于最大限度地发挥一个人创造价值的潜力。但是，当AI被认为比用户更可靠时，这可能会使用户和AI发生冲突。用户需要能够说，'我做决定。AI帮助了我，做了我不想做的事情。' 目前，只有20%的受访制造商考虑AI技术的道德规范。许多人认为道德都是关于数据偏见的。例如，氧脉监护仪中的AI对深色皮肤的影响可能较小，因为工程人员没有意识到传感器不能很好地读取。数据偏差的挑战之一是偏差不是故意的。这通常是一个盲点，一种没有人考虑过的可能性。但这并不是唯一需要考虑的道德问题。"
隐私对于信任也至关重要。操作员想知道如何使用有关它们的数据。Petrick说："我们倾向于衡量最容易衡量的东西。"
办公室工作人员不希望通过他们点击鼠标的次数来评估他们的生产力，因为这并不能准确反映他们所做的工作。操作员对可用于对他们的生产力的任意评估也有同样的感觉。考虑一个用户，由于他们的专业知识而遇到更多麻烦的情况；由于难度较高，它们产生的产量更少。系统需要在操作过程中了解一个人，但有些人认为需要从数据中清除这个人。Petrick说："这个行业在隐私方面只是冰山一角。"
还有公平的因素需要考虑进去。Virani说："考虑一个想要推荐最好的技术人员来修复某些问题的 AI。如果数据集不够多样化，AI会让这个人只做他们以前做得很好的任务。这不仅会成为技术人员的负担，而且从道德的角度来看，技术人员将没有机会获得新的经验和在公司内成长。因此，当人员参与其中时，需要确保他们的需求也得到满足。"
这种方法也可能造成单点故障，因为只有有限的技术人员获得处理此问题的经验。你的人才库中可能有更多的选择，但它们从未被探索过，所以没有其他人可以学习如何解决这个问题。
当谈到问责制时，Petrick说，"当AI失败时会发生什么，看起来用户有责任？可解释性需要扩展，以便不仅能够解释将要发生的事情，而且能够解释实际发生的事情。如果用户不相信他们有办法保护自己，他们对系统的信任就会降低。这不是毫无根据的考虑。工程师们正在为他们从未工作过的环境创造AI。"
考虑数据的道德使用。Boesl说："有了像GDPR这样的法规，关于谁拥有数据有很多争论。还可能出现道德问题。例如，一家AI公司是否可以使用在客户设施收集的数据来改善客户竞争对手的运营？如果不仔细解决，这样的问题可能会破坏信任。"
道德问题只会变得更加普遍和复杂。如今，相机对准生产线。但是，当这些相机转身并包括用户时，必须考虑广泛的道德问题，这些问题因国家而异。
正如我们所看到的，信任对于充分利用AI技术至关重要。有了可解释性，可以更快地建立信任，并得到用户的支持。当道德问题被认为很重要时，这是保护信任不被破坏的最佳防御措施。
