■主持人：刘大椿（中国人民大学哲学院一级教授）
■本期主题：人工智能的伦理尺度
主持人语
人工智能的迅猛发展已使其影响无远弗届。本专题以“人工智能的伦理尺度”为主题，约请三位学者分别从不同角度进行回应。段伟文指出人工智能体是一种“拟主体”，问题在于该如何用代码编写的算法，使人所倡导的价值取向与伦理规范得以嵌入到各种智能体中，使其遵守道德规范并具有自主伦理抉择能力。田海平认为，让算法遵循“善法”的原则包含两个重要的伦理尺度：人工智能自身嵌入的道德与人类在拓展人工智能的过程中进行的道德建构。刘劲杨依据对人工智能算法复杂性特质的分析，指出人工智能正在从根基上挑战我们伦理观念中对行为和主体的预设。
马克思在第二次工业革命之开端曾指出，机器体系不同于一般工具，是“人手创造出来的人脑器官”，既是一种异己的强大的机体，也受控于全社会所共同积累和分享的“普遍智能”。中国传统思想笃信：“生生之谓易”“仁是造化生生不息之理”。在人工智能时代来临之际，应当审慎省察人工智能的伦理尺度，使人工智能不仅免于扮演人类宰制者乃至文明终结者的魔咒，更能以其超卓而与人性合一的普遍智能推进人的自由与全面发展，开出人机共生而与天地参的文明化境。
人工智能的道德代码与伦理嵌入
作者：段伟文
人工智能和包括机器人在内的智能化自动系统的普遍应用，不仅仅是一场结果未知的开放性的科技创新，更将是人类文明史上影响甚为深远的社会伦理试验。诚如霍金所言，人工智能的短期影响由控制它的人决定，而长期影响则取决于人工智能是否完全为人所控制。
人工智能体的拟主体性与人工伦理智能体
人工智能的伦理问题之所以受到前所未有的关注，关键原因在于其能实现某种可计算的感知、认知和行为，从而在功能上模拟人的智能和行动。在人工智能创立之初，英国科学家图灵、美国科学家明斯基等先驱的初衷是运用计算机制造能实现人类所有认知功能的通用人工智能或强人工智能。但科学家们不久就发现，要使机器像人一样理解语言和抽象概念，通过学习全面达到人类智能的水平，并非一日之功。迄今为止，应用日益广泛的各种人工智能和机器人尚属狭义人工智能或弱人工智能，只能简单地执行人交给它们的任务。
一般地，人工智能及智能自动系统能根据人的设计自动地感知或认知环境（包括人）并执行某些行动，还可能具备一定的人机交互功能甚至可以与人“对话”，常常被看作具有一定自主性和交互性的实体。有鉴于此，人工智能学家引入了智能体（agents，又称智能主体）的概念来定义人工智能：对能够从环境中获取感知并执行行动的智能体的描述和构建。于是，可将各种人工智能系统称为人工智能体或智能体。从技术上讲，智能体的功能是智能算法赋予的：智能体运用智能算法对环境中的数据进行自动感知和认知，并使其映射到自动行为与决策之中，以达成人为其设定的目标和任务。可以说，智能体与智能算法实为一体两面，智能算法是智能体的功能内核，智能体是智能算法的具体体现。
从智能体概念出发，使人工智能系统更为明晰地呈现为可以模拟和替代人类的理性行为，因可与人类相比拟乃至比肩的存在，故可视之为“拟主体”，或者说智能体具有某种“拟主体性”。如果仅将智能体看作一般的技术人造物，其研究进路与其他科技伦理类似，主要包括面向应用场景的描述性研究、凸显主体责任的责任伦理研究以及基于主体权利的权利伦理研究。但在人们赋予智能体以拟主体性的同时，会自然地联想到，不论智能体是否像主体那样具有道德意识，它们的行为可以看作是与主体伦理行为类似的拟伦理行为。进而可追问：能不能运用智能算法对人工智能体的拟伦理行为进行伦理设计，即用代码编写的算法使人所倡导的价值取向与伦理规范得以嵌入到各种智能体之中，令其成为遵守道德规范乃至具有自主伦理抉择能力的人工伦理智能体？
机器人三定律与嵌入式的机器伦理调节器
其实，这一思路并不新鲜，早在70多年前，美国人阿西莫夫在对机器人三定律的科学幻想中，就提出了通过内置的“机器伦理调节器”使机器人成为服从道德律令的类似构想。在短篇科幻小说《转圈圈》（1942）中，阿西莫夫提出了按优先顺序排列的机器人三定律：第一定律，机器人不得伤害人类或坐视人类受到伤害；第二定律，在与第一定律不相冲突的情况下，机器人必须服从人类的命令；第三定律，在不违背第一与第二定律的前提下，机器人有自我保护的义务。此后，为了克服第一定律的局限性，他还提出了优先级更高的机器人第零定律：机器人不得危害人类整体或坐视人类整体受到危害。
从内涵上讲，机器人定律是一种康德式的道德律令，更确切地讲是人为机器人确立的普遍道德法则，以确保其成为遵守绝对道德律令的群体。而更耐人寻味的是，机器人三定律是通过技术实现的。在《转圈圈》中，三定律是根深蒂固地嵌入到机器人的“正电子”大脑中的运行指令：每个定律一旦在特定场景中得到触发，都会在机器人大脑中自动产生相应的电位，最为优先的第一定律产生的电位最高；若不同法则之间发生冲突，则由它们的大脑中自动产生的不同电位相互消长以达成均衡。这表明，机器人定律并不全然是道德律令，也符合其技术实现背后的自然律。换言之，机器人定律所采取的方法论是自然主义的，它们是人以技术为尺度给机器人确立的行为法则，既体现道德法则又合乎自然规律。
历史地看，这些富有电气化时代色彩的机器人伦理设计实际上是一种科技文化创新。自英国作家雪莱夫人创作《弗兰肯斯坦》（1818）到捷克的恰佩克发表《罗素姆万能机器人》（1921），不论是前者呈现的科学怪人的形象，还是后者昭示的机器人造反，都体现了人对其创造物可能招致毁灭性风险与失控的疑惧。机器人定律则为摆脱这种情结提供了可操作性的方案——通过工程上的伦理设计调节机器人的行为，使其成为可教化的道德的机器人——合伦理的创造物。但从自然主义的方法论来看，这一构想又似乎明显超前。在提出第零定律时，阿西莫夫也意识到，机器人可能无法理解人类整体及人性等抽象概念。或许是这些困难令他转而畅想，一旦机器人灵活自主到可以选择其行为，机器人定律将是人类理性地对待机器人或其他智能体的唯一方式。这似乎是在暗示，使人工智能体成为可以自主作出伦理抉择的人工伦理智能体的前提是其可与人的智能媲美。
走向可计算的机器伦理与智能体伦理嵌入
回到人工智能的现实发展，随着无人机、自动驾驶、社会化机器人、致命性自律武器等应用的发展，涌现出大量人可能处于决策圈外的智能化自主认知、决策与执行系统，这迫使人们在实现强人工智能之前，就不得不考虑如何让人工智能体自主地做出恰当的伦理抉择，试图将人工智能体构造为人工伦理智能体。从技术人工物所扮演的伦理角色来看，包括一般的智能工具和智能辅助环境在内的大多数人工物自身往往不需要做出价值审度与道德决策，其所承担的只是操作性或简单的功能性的伦理角色：由人操作和控制的数据画像等智能工具，具有反映主体价值与伦理诉求的操作性道德；高速公路上的智能交通管理系统所涉及的决策一般不存在价值争议和伦理冲突，可以通过伦理设计植入简单的功能性道德。反观自动驾驶等涉及复杂的价值伦理权衡的人工智能应用，其所面对的挑战是：它们能否为人类所接受，在很大程度上取决于其能否从技术上嵌入复杂的功能性道德，将其构造为人工伦理智能体。
让智能机器具有复杂的功能性道德，就是要构建一种可执行的机器伦理机制，使其能实时地自行做出伦理抉择。鉴于通用人工智能或强人工智能在技术上并未实现，要在智能体中嵌入其可执行的机器伦理，只能诉诸目前的智能机器可以操作和执行的技术方式——基于数据和逻辑的机器代码——就像机器人三定律所对应的电位一样，并由此将人类所倡导或可接受的伦理理论和规范转换为机器可以运算和执行的伦理算法和操作规程。机器伦理的理论预设是可以用数量、概率和逻辑等描述和计算各种价值与伦理范畴，进而用负载价值内涵的道德代码为智能机器编写伦理算法。论及伦理的可计算性，古典哲学家边沁和密尔早就探讨过快乐与痛苦的计算，而数量、概率、归纳逻辑和道义逻辑等都已是当代伦理研究的重要方法，机器伦理研究的新需求则力图将“可计算的伦理”的思想和方法付诸实践，如将效益论、道义论、生命伦理原则等转换为伦理算法和逻辑程序。不得不指出的是，用数量、概率和逻辑来表达和定义善、恶、权利、义务、公正等伦理范畴固然有失片面与偏颇，但目前只能通过这种代码转换才能使人的伦理变成程序化的机器伦理。
在实践层面，机器伦理构建的具体策略有三：其一是自上而下，即在智能体中预设一套可操作的伦理规范，如自动驾驶汽车应将撞车对他人造成的伤害降到最低。其二是自下而上，即让智能体运用反向强化学习等机器学习技术研究人类相关现实和模拟场景中的行为，使其树立与人类相似的价值观并付诸行动，如让自动驾驶汽车研究人类的驾驶行为。其三是人机交互，即让智能体用自然语言解释其决策，使人类能把握其复杂的逻辑并及时纠正其中可能存在的问题。但这些策略都有其显见的困难：如何在量化和计算中准确和不走样地表达与定义伦理范畴？如何使智能体准确地理解自然语言并与人进行深度沟通？
鉴于机器伦理在实践中的困难，人工智能体的伦理嵌入不能局限于智能体，而须将人的主导作用纳入其中。可行的人工伦理智能体或道德的智能机器的构造应该包括伦理调节器、伦理评估工具、人机接口和伦理督导者等四个环节。伦理调节器就是上述机器伦理程序和算法。伦理评估工具旨在对智能体是否应该以及是否恰当地代理了相关主体的伦理决策做出评估，并对机器伦理的道德理论（如效益论、道义论等）和伦理立场（如个性化立场、多数人立场、随机性选择等）等元伦理预设做出评价和选择。人机接口旨在使人与智能体广泛借助肢体语言、结构化语言、简单指令乃至神经传导信号加强相互沟通，使机器更有效地理解人的意图，并对人的行为做出更好的预判。伦理督导者则旨在全盘考量相关伦理冲突、责任担当和权利诉求，致力于厘清由人类操控不当或智能体自主抉择不当所造成的不良后果，进而追溯相关责任，寻求修正措施。
对人类文明而言，人工智能将是一个好消息还是坏消息，最终取决于我们的伦理智慧。在中国推出新一代人工智能发展规划的今天，我们更要悉心体味孕育了巧夺天工精神和天工开物情怀的中国思想，审天人之性，度万物之势，以探求人机和谐、文明通达之道。
（作者：段伟文，系中国社会科学院哲学所研究员）
让“算法”遵循“善法”
作者：田海平
人工智能的蓬勃发展带来了人们在思想、生活和工作各方面全方位的变革。“人机大战”引发广泛关注的深层原因，在于它在文明史和人类史尺度上以一种仪式化的效应表征了一个时代的来临，即人工智能时代的来临。
人工智能时代来临，人类应该如何行动
从人工智能的主体结构看，无论“阿尔法狗”战胜人类顶尖棋手，还是“微软小冰”创作诗歌，抑或是IBM公司的超级机器人“沃森”跻身杏林、悬壶治病，它们目前充其量属于某种弱的人工智能，离真正的智能主体相去甚远。然而，这并不能消除一种日益滋长起来的恐慌性担忧：一旦人工智能大规模进入我们的生活，人类未来会怎样？斯蒂芬·霍金、史蒂夫·沃兹尼亚克、比尔·盖茨等发出警示说：人工智能可能是人类存在的最大威胁。埃隆·马斯克甚至说：“有了人工智能，就相当于我们开始召唤恶魔。”
透过各种各样的“悲观主义—乐观主义”的观念对峙，我们看到，我们真正需要认真面对的问题是：既然认识到人工智能的时代已经到来，我们要如何行动才使自己成为未来的一部分？换言之，为了避免人工智能在唤醒万物的同时唤醒人类无法控制甚至最终控制或取代人类的“恶魔”，我们到底应该如何行动？笔者认为，这个问题的紧要处只有放在规范性的先行构建上，才能未雨绸缪。它涉及人工智能时代的道德建构问题，应从“人为自己立法”的规范性原理中产生。就形式方面而言，笔者将这种规范性的先行构建概括为一个基本原则，那就是：让算法遵循“善法”。因为“善法”的主体性总是与“目的”相关，而算法在总体上永远只能是达到目的的手段或工具而已。
具而言之，作为人工智能时代的道德建构，让算法遵循“善法”的原则包含两个重要的伦理尺度：一是人工智能自身嵌入的道德，涉及人工智能带来的智能主体模式及其相关伦理尺度；二是人类在拓展人工智能的过程中进行的道德建构，涉及常见的人类主体模式以及人类主体与人工智能主体相处的“主体间”模式及其相关伦理尺度。
“人工智能2.0”是否依系于“道德算法”
第一个方面的伦理尺度与人工智能的智能主体或智能主体模式有关。人工智能通常的定义是：研究如何使计算机等机器能够做那些表现出人的智能的事情，其目标是使智能行为自动化。然而，就智能主体的类型而言，在机器中实现某些人类的智能的弱人工智能，与让机器自主地或自动地表现人类的智能的强人工智能，在强弱程度上是大不一样的。如果将前者记为“人工智能1.0”，那么后者就是“人工智能2.0”。目前的人工智能完全可以看作是从“人工智能1.0”到“人工智能2.0”的过渡，其实质是走向一场更深远的智能主体革命。
在这个背景下，人工智能作为一种“自主智能主体的架构体系”，其主体性或主体结构，有点类似于我们将人脑的某些功能（或类似人脑的某些功能）移至机器之中。如果说人类主体性的生物学基础是“神经”，那么，人工智能的主体性是而且只能是对人类主体性的一种模仿。这种模仿的科学基础和展现形式就是“算法”。抛开人工智能主体在多大程度上类似于人类主体不论，研究者指出：使人工智能产品成为智能主体的关键要素是“道德算法”——即一种令自主性人工智能装置学会负责任行动的算法，它内嵌于人工智能的算法体系之中。那么，这是否意味着“人工智能2.0”的智能主体革命依系于道德算法呢？
人工智能的主体模式在这个问题上面临伦理尺度上的重大挑战。以医疗和战场中的自主式机器人为例，当面临人类生命之生死抉择难题时，机器人应该如何做决定？当不当决定导致原本可避免的伤害发生时，那是谁的责任？在这个问题上，人工智能的主体模式虽然凸显了道德算法的重要性，但其更深层次且更为重要之依系，则无疑是人类为自己所立之“善法”。
人工道德与算法遵循“善法”的道德形态
第二个方面的伦理尺度与人类主体模式下的道德建构有关。目前赋予人工智能以道德能力的算法大致上有三种：一是通过语义网络扩增道义逻辑，形成义务与许可概念；二是通过知识图谱建立关联法则，侦测道德判断情境；三是通过云计算发掘相关关系，评估或预测行动后果。道德算法是嵌入在算法体系中有待完善的算法程式。它本身是在不断变化发展之中的，而非某种具体现存之物，也非某种一蹴而就或一劳永逸的终极预设。它作为一种人工建构，是一种通向“目的善”的“手段善”，因而依系于人类主体模式。在这个尺度上，算法只有体现或遵循人类主体模式下的“善法”，才能以有责任感的方式推进道德算法的进化及其在机器中的嵌入。这是人工智能时代的道德建构应遵循的基本原则，即算法遵循“善法”。在这一原则中，“善法”一词尽管抽象含混，其表征的人类主体性尺度在具体内容上也可能引发争论，但它在形式上则明确指向人类尺度上的两种道德形态。
第一种道德形态由常见的人类主体模式主导，涉及人类在拓展人工智能时可能带来的所有伦理问题。特别说来，当人们把人工智能视为一种工具时，它的道德特殊性和道德重要性始终呼唤人类主体的道德责任之回归。这是一种单纯的规范性取向，即人类应该透过有责任感的方式筹划和迎接人工智能时代的来临。一种审慎的伦理表明，人工智能可能存在的最大威胁并非来自机器，而是来自人或人类的意图和行动。考虑到赋予机器人以道德能力的算法本质上是模仿人类道德的算法，如果人类在道德问题上不能获得明确性，以算法形式在机器中展现人类道德又如何可能呢？问题以悖谬方式彰显了人工智能内爆的道德形态建构。它以某种方式回应了美国人詹姆斯·摩尔对伦理智能主体应具备道德明确性的要求，即随着自主性的提升，具有自主道德能力的人工智能在面临道德两难的情境时，或者在面对不同道德原则冲突时，必须能够作出明确的合理化决策。这种对道德明确性的要求，反过来构造或描绘了人类尺度上的“善法”之特质，它倒逼人类主体模式尽一切可能走出可能会引发晦暗后果（甚至灾难）的各种道德模糊地带。
第二种道德形态由人类主体与人工智能主体相处的“主体间”模式主导，涉及人类主体与智能主体之间依系关系的道德建构。这是一个新的领域。道德算法只有在“‘人—机’交互主体间”的反复博弈中，才能不断地矫正偏颇或错误，进一步升级和完善。自主性机器人可能会作出我们认为在道德上有错误的决定——例如被授权不为病患提供止痛药，再比如带有偏见的人工智能可能会自我强化从而损害社会。但是，这不应该成为人类拒绝机器人的原因，而应该成为机器人或人工智能在道德形态上得到改善和提升的契机。随着人类主体与人工智能主体之间的相互依系关系的建立，具备自我决策能力的自主机器人一旦在与人类主体的互动中学习从道德角度发展决策算法，那么避免伤害就成为人与机器相互依系的“善法”。
（作者：田海平，系北京师范大学哲学学院教授）
人工智能算法的复杂性特质及伦理挑战
作者：刘劲杨
当下人工智能的伦理思考多侧重于实践：如人工智能是否最终会成为人类事务的主导，该以什么伦理原则来引导、规范人工智能的应用等。可更大的挑战却是理论上的困惑：算法是人工智能的内核，不同算法实则暗含有不一样的价值选择，何谓善的算法？善的算法必会导向行为的善？人工智能算法可以自我学习、自我进化，伦理上该如何看待这种智能主体？鉴于人工智能是一种典型的复杂行为，从复杂性的角度我们能更深入地揭示这些困惑和挑战。
人工智能算法的传统通常有两个：一是符号认知主义，主张智能行为依赖于符号操作，通过基于符号表征的计算可实现学习、记忆、推理、决策，甚至情感活动，如早期的专家系统；二是联结主义，受人和动物大脑神经结构启发，认为通过大量底层简单的“激活单元”相互交织可在高层自发涌现出复杂的智能行为，这一传统以人工神经网络为代表。阿尔法围棋的成功主要得益于后一种传统，基于神经网络的深度学习实现算法的突破。
以复杂性视角观之，基于神经网络的人工智能算法有一个突出特质——涌现性，即智能是一种由算法底层的简单规则生成的复杂行为，智能并不由预定的算法前提所决定。“涌现”被遗传算法的创立者、美国科学家霍兰称为复杂世界的“隐秩序”，生命诞生、交通堵塞等都是涌现现象。以棋类游戏智能算法为例，棋子数是有限的，游戏规则是简单的，但棋局变化的可能性却无法穷尽。棋局的最终输赢是一种涌现，决定棋局走向的不是底层的简单规则，而是由它们生成的更高层的组织过程。
人工智能算法的涌现性具有这样一些特点：1.智能行为不是一种底层简单规则的加和，而是从底层到高层的层次跨越，高层具有底层个体所不具备的复杂特性。2.无法通过底层算法来准确预测高层的涌现，智能是算法前提无法决定的“新奇性”。3.涌现不是单一行为而是由众多简单个体行为到复杂集体行为的演化。智能行为是一个过程，棋局的最终取胜不是依靠单次行为的累加，而是算法演化系列的整体取胜。阿尔法围棋在与人类棋手对弈时有一些令顶尖职业棋手难以理解的“昏招”，可这些昏招到了棋局结束时竟成为取胜的“神之一手”。这并不是证明了所谓关键招的重要性，而是表明“招数系列”比“某一招”更有意义。在伦理上，涌现性特质揭示出人工智能算法具有不同于传统的行为特征：人工智能算法行为不是边界清晰的单个行为而是集体行为的演化，其行为效果既不由“某一”行为所决定，亦不由其前提完全决定。
人工智能算法的另一个复杂性特质是算法的自主性。美国科学家冯·诺依曼于20世纪50年代初成功建立了一个能够自我繁殖的元胞自动机算法模型，它成为第一个可以自我进化的算法。当下人工智能深度学习算法可以从海量无标注的大数据中自我学习、自我进化。阿尔法围棋一代曾依据人类历史上的优秀棋谱，对弈了3000万盘棋，二代强化了自我增强学习。如果智能算法的自主性意味着机器不再是被动的工具，而是某类主动的、自我进化的“生命”（如人工生命），那么我们是否能说人工智能就是一个具有自我意识、能够自我决定的“主体”？以算法的观念来看，理性传统所认可的这种“主体”其实是一个能够协调个体自身复杂行为的中心控制单元，它担负该个体所有信息的整合和全部行为的控制。强人工智能自主性遵循这一传统，人们认为未来的人工智能不仅具有感知对象、解决问题的智能，还可能具有感知自我的意识。弱人工智能的自主性主要是指智能行为的自组织性，机器算法会在没有人类程序员的干预下自发学习，自动处理问题，以分布式控制算法为其代表。强人工智能主体在技术上目前还遥遥无期，常常成为科幻作品的题材。弱人工智能的分布式控制模式目前已在人工智能领域得到广泛应用，形成了一种完全不同于传统的主体观念。
要回答什么是善的算法，我们需要追溯伦理学的一个基础问题：什么是善的行为？该问题又可转换为什么是正当的行为？作为主体的“我”应该如何行为？道义论者更强调行为原则的正当，功利论者更看重行为结果的正当。在英国伦理学家乔治·摩尔看来，不论是从功利论还是道义论出发，一个行为是“正当的”在很大程度上就是指“这一行为会产生可能的最大总量的善”，而“我”应当按此善的原则实施某一行为。
2015年5月，美国人约书亚·布朗在使用特斯拉的“自动驾驶”模式时遭遇严重车祸身亡，成为人工智能发展中的重要事件。该事故历经了十个多月的周密调查，最后归责为驾驶员过于信任人工智能，手没握住方向盘，人工智能得以免责。不久的将来，人工智能必会让我们可完全摆脱方向盘，智能驾驶系统由厂商的机器人制造，其算法不断自我进化，无缝嵌入庞大的物联网中，行进于更多智能体交互的开放环境，并与它们共同形成了一个不断自我演化的复杂算法整体。在这一整体中，厂商、机器人、使用者、众多智能体等都是造就整体的个体，但并不存在对整体负责的“主体”，此时我们在伦理上可能面临根本的挑战：智能行为既不遵循行为与效果之间的直接对应，也不遵循行为与主体之间的必然联系，我们该如何做出一个恰当的道德判定？如果智能行为的涌现是理性原则的失效，我们如何从行为原则的角度来评判其行为的善，又如何能通过道德代码的嵌入来使之成为善的算法？如果道德主体实质上是诸多分布式智能体的组织过程，那么什么是“我”的正当行为呢？面对人工智能的这些深层挑战，最为重要的不是一味地退缩和担忧，而是在挑战中与其共同进化和成长。
（作者：刘劲杨，系中国人民大学哲学院副教授）