人工智能的利与弊及未来的发展方向如何？

新冠状病毒突然的出现，通过空气迅（xùn）速扩散（sàn），波及大众，影（yǐng）响了国人们的春节（jiē）假（jiǎ）期和个企业的正常复工，但同时也给AI人工智能推波助澜，实（shí）打实的做了一波广告。

借着疫情的（de）持续发展，AI人工智能企业的纷（fēn）纷（fēn）助力（lì），让人工智能这个概念出现（xiàn）在越来越多人（rén）的视野。那人（rén）工智能现状（zhuàng）如何呢（ne）？

目前，社会上（shàng）对于人（rén）工智能技术的（de）讨论可谓众说纷纭（yún），莫衷一是。有观点认为，人（rén）工智能技术已经或即将全面超越人（rén）类的能力（lì）水平，已（yǐ）经可以无条（tiáo）件应用，因（yīn）而（ér）也会产生严重的伦理危机；也有观点认为，现（xiàn）有人工智能技（jì）术只是“人工弱智”，“有多少人工就（jiù）有多少智能”，因而（ér）无法应用，也就根本（běn）不存在伦理风险。但如果依据前一（yī）种看法从现在（zài）开始就限制人工智能的发展（zhǎn），或者基于（yú）后一种看（kàn）法（fǎ）完全放弃对人工智（zhì）能（néng）伦理风险的监管，都是不（bú）明智的。

70年来人工智能的（de）技术成果有哪些？根据对现有人工智能成果的（de）技术本质的理解，提（tí）出人工智（zhì）能（néng）封闭性和强封闭性（xìng）准（zhǔn）则，形成观（guān）察人工（gōng）智能的（de）一种新视（shì）角，进而得出以（yǐ）下（xià）观察：第（dì）一，在满足强（qiáng）封闭性准则的场景（jǐng）中（zhōng），现有人工智能技术可以大（dà）规模应用，而在不满足该准则的场（chǎng）景中难以（yǐ）获得成功（gōng）应用；第（dì）二，受强封闭性准则的制约，短期内不存在人工智能技术失控的风险，而（ér）未（wèi）来长（zhǎng）期风险也是（shì）可控的；第三，在强封闭（bì）性准则的有效范围（wéi）内，人工（gōng）智能的主要风（fēng）险来（lái）自技术（shù）误（wù）用和管理（lǐ）失误（wù）。脱离人工智能技术本质（zhì）的政策，将难以避（bì）免“一（yī）管就（jiù）死、一放就乱”的监管困境。

人工智（zhì）能应用与治理的（de）迫切（qiē）需求

人（rén）工智能（néng）迄今已（yǐ）有约（yuē）70年历史（shǐ），出现（xiàn）了三次浪潮（cháo），每（měi）次（cì）浪（làng）潮经（jīng）历大（dà）约20年（nián）。也有（yǒu）人将以往的人工智能技术归结为两代，每代（dài）的（de）发展经（jīng）历了30~40年。由于本轮产业升级的窗口（kǒu）期只有10~15年（nián），而一代（dài）新技术从诞（dàn）生到成（chéng）熟往往需要（yào）几十年，所（suǒ）以本轮产业升级依靠的人（rén）工智能技术，将主要（yào）是现有人工（gōng）智能技术的工程化落地，而不（bú）是等待下一代新（xīn）技（jì）术的成熟。于是，下（xià）列问题尖锐地（dì）呈现在全社会（huì）面（miàn）前：10~15年内，现有人工（gōng）智能（néng）技术能（néng）否以及（jí）如何在我国产业升级中发（fā）挥关键作用？如果我们不（bú）能（néng）从现（xiàn）有人工（gōng）智能（néng）技（jì）术的本质出发回答这（zhè）个问题，人工（gōng）智能国家战略必将（jiāng）落空，与（yǔ）此有关的产（chǎn）业升级（jí）也必（bì）将受（shòu）到极（jí）大影响。

在（zài）西方发达国（guó）家中，人工智能的（de）前三次浪潮均引起普遍关注，因而社会各界对人工智能（néng）的了解是长期的，也较容易形成较为客观的看法。但在我（wǒ）国，由于社（shè）会上普遍关心的只有人工智能的第三次浪潮，而且（qiě）在（zài）短短几（jǐ）年之内这种关（guān）注又被放大，故（gù）而（ér）普遍存在（zài）着（zhe）对（duì）人（rén）工智能技术（shù）真相了解（jiě）不够，甚至（zhì）误（wù）将国外影视（shì）作品当作现（xiàn）实的现（xiàn）象。而我国人工智能领域的专家学者，又极少介入社会（huì）上的讨论，极少（shǎo）参与（yǔ）伦理风险研究和政策（cè）制（zhì）定。因而，如果相关政策（cè）建议不能如实反映人工智能（néng）技术本质、应（yīng）用条件和发展态势，必将隐含着管理（lǐ）失误的巨大（dà）风（fēng）险。

人工智能三（sān）次（cì）浪潮的技术进展

人工智能研究（jiū）已形成了至少几千种（zhǒng）不（bú）同（tóng）的技术路线，其中最成功、影（yǐng）响最（zuì）大的有两种，被称为人工（gōng）智能的两（liǎng）种经典（diǎn）思维（wéi）：“基于模型的暴力法” 与“基于元（yuán）模型的训练法”。这两（liǎng）种思维虽然不（bú）能代表人工智能（néng）的全部，但它们已经不是停留在单个技（jì）术的层面，而是上升到“机（jī）器思维（wéi）”的高度，因而它（tā）们在近期应（yīng）用中发挥关键作用，最值得关注（zhù）。

第一种人工智能经（jīng）典思（sī）维是“基于模型（xíng）的暴力法”，其（qí）基本设（shè）计原理是（shì）：第一，构建问题的一个精确模（mó）型（xíng）；第二（èr），建立一个表达该模型（xíng）的知（zhī）识表（biǎo）示或状态空间，使得推理或搜索在计算上是可行（háng）的；第三，在上（shàng）述知识表示或状态空间中，用推理法或搜索法穷举所有选（xuǎn）项，找出问题的一个解。因此，暴力法包含（hán）推理法和搜索法两种（zhǒng）主要实（shí）现方法，它们具有共同（tóng）的基本前提：待解问题存在良定义的、精确的符号模型。

在推理（lǐ）法中，通（tōng）常采用逻辑形式化、概率形式化（huà）或（huò）决（jué）策（cè）论形式（shì）化作为（wéi）知（zhī）识（shí）表达（dá）的手段。以逻辑形式化为例，一个AI推理（lǐ）系统由一个知识库和（hé）一个推（tuī）理（lǐ）机组成，推（tuī）理机（jī）是一（yī）个执（zhí）行（háng）推（tuī）理（lǐ）的（de）计算机（jī）程序，往往（wǎng）由专业团队长期研发而（ér）成，而知识（shí）库则需要由（yóu）不同应用的研发者自行（háng）开发。推理机根据知（zhī）识库里的知识（shí）进行推理，回答（dá）提问。

基于（yú）形式化逻辑系统的（de）推理机的研制以对应逻辑的（de）“保真性”为标准，因此推理机（jī）本身（shēn）是“可证正确的”—只要推理机使用的知识库是（shì）“正确的”，则（zé）对知识库（kù）有效范围内（nèi）的任何问题，推理机给出（chū）的回答都是正确的。然而，一个知识库的“正（zhèng）确性（xìng）”以及相对于一个应用领（lǐng）域的（de）充分性，至今没有形成公认的、可操作的（de）标准，只能通过（guò）测试进行实验检验。

第二种人工（gōng）智能经（jīng）典（diǎn）思维（wéi）是“基于元模型的训练法”，其基本设计原理是（shì）：第一（yī），建立问题（tí）的元模型；第二，参照元模型，收集训练（liàn）数（shù）据并进行人工标注，选择一种合适的人工神经网络结构和一个监督学习（xí）算法（fǎ）；第三，依数据拟合原（yuán）理（lǐ），以带标注的数据（jù），用上述监督（dū）学习算法训练上述人工神（shén）经网络的（de）连接权重，使得（dé）网（wǎng）络输出总（zǒng）误差最小。训练好的人工神经网络可以对任（rèn）意（yì）输入快速计算出对应（yīng）的输出，并达到一定的准（zhǔn）确性。例如，针对给定（dìng）的图像库（kù），一些经过训练的深层神经网络，可以对输入的图（tú）片进行分（fèn）类，输出图片中物体的种类，分类准确性已（yǐ）超过人类。然而，训（xùn）练法目前（qián）没（méi）有可证正确性，甚至没有可（kě）解释性。

在训练（liàn）法中，只有（yǒu）监督学习（xí）算法和带标注的（de）数据是不（bú）够的，还必须（xū）对（duì）学习目标（biāo）、评价（jià）准则（zé）、测试方法、测试工具等进行人工（gōng）选择。本文将（jiāng）这些人工选择汇集在（zài）一起，用（yòng）“元模型”概括它们（men）。因此，训练法绝不（bú）是只要有训练数据和训练算法就行的，人工智能已具备独立（lì）于人（rén）类的“自我学习”能（néng）力（lì）的说法更是毫无根据的。

训练（liàn）法和暴力法都存在“脆弱性”问题：如果（guǒ）输入不在知识库或训练好的人工（gōng）神经网络的覆盖（gài）范围内，将产生错误的输出。针对实际应用中无（wú）处不在的感知噪声，美国麻省理工学院做过（guò）一（yī）个测试。先用一个（gè）著（zhe）名的商（shāng）业机器学习系统训练出（chū）一个深层（céng）神经网络，该网络可以（yǐ）从照（zhào）片中识别（bié）各种枪支，并达到很高的正确（què）识（shí）别率。然后，人为修改了（le）这（zhè）些照片上的（de）少（shǎo）量像素（代（dài）表感知（zhī）噪声（shēng）），这些修改对人眼识别没有（yǒu）任（rèn）何影响，可是训（xùn）练（liàn）好的深层神经（jīng）网络却不能正确识别修改（gǎi）后的照片，而且会发生离奇（qí）的错误。自20世纪80年（nián）代以（yǐ）来，脆（cuì）弱（ruò）性已成为制约（yuē）现有人工（gōng）智能技术成功应（yīng）用的主要瓶（píng）颈（jǐng）。

除了脆弱（ruò）性之（zhī）外，暴力（lì）法和训练法还存在其他短板。工程上，训（xùn）练法（fǎ）的主要短板是需要对大量原始数据进（jìn）行（háng）人工标注，费时费力，且难以保（bǎo）证（zhèng）标（biāo）注质量；暴（bào）力（lì）法的（de）主（zhǔ）要短板是需要人（rén）工编写知识库或（huò）制定搜索空间，而这（zhè）两（liǎng）项工作对于绝（jué）大多数开发者而（ér）言是十（shí）分困难的（de）。因（yīn）此，尝试将暴力法和（hé）训练法取长补短，以（yǐ）消除或减（jiǎn）少它们（men）各自（zì）的短板（bǎn），一（yī）直是人工智能的一个研究课题。

AlphaGo Zero采用（yòng）了四项人（rén）工智能（néng）技术，包括两项暴力法技术—简化的决（jué）策论模（mó）型和蒙（méng）特卡洛树搜索，用这（zhè）两项技术进行自博（自己和（hé）自己下棋），自动产生训练数（shù）据和标注，而且不仅（jǐn）下（xià）了（le）人类下（xià）过（guò）的很多（duō）棋，也下了人类没（méi）下过的（de）很多棋；另（lìng）外两项是训练法技术——残差网络和强化学习，强化（huà）学（xué）习算法用自博产生的（de）全部训练数（shù）据（jù）及标注对残差网络进行训（xùn）练，不断改进（jìn）残差网络（luò），最终训练出一（yī）个（gè）网络，其下棋水平（píng）远远超过了人（rén）类。这也（yě）表明，认为AlphaGo Zero仅仅是深度（dù）学习的胜（shèng）利，是一（yī）个巨大（dà）的（de）误解。正是由于暴（bào）力法（fǎ）和训练法的结合，使得（dé）AlphaGo Zero完全不需要人工标注和人类围棋（qí）知识（除（chú）了规（guī）则（zé））。

根据规则，围（wéi）棋一（yī）共可以下出大约（yuē）10的（de）300次（cì）方局不同的棋。AlphaGo Zero通过（guò）40天自博，下了2900万（wàn）局棋（不到（dào）10的8次方），仅仅探索了所有围棋（qí）棋局中（zhōng）的一个极小部分（fèn），所以AlphaGo Zero的下（xià）棋水平还有巨大的（de）提（tí）升空间（jiān）。这表（biǎo）明，在（zài）现有人工智能技术的（de）有效工作范围内，人工智能系统的能力已（yǐ）经远远超过（guò）了人类，“多（duō）少人工多少（shǎo）智（zhì）能”的说（shuō）法是（shì）没有根（gēn）据的，也是不符合事（shì）实（shí）的。

以上分析表明，社会（huì）上（shàng）流行的两种极端说法都是不成立的（de）。那么，现有人工智（zhì）能技术的真实能力到底如何？

现有人工智能技术的能力边界—封闭性

有人认为：围棋是最（zuì）难的问题，既然AlphaGo在（zài）最难的问题上超过了人（rén）类（lèi），当然人工（gōng）智能已全面（miàn）超过了人类。但事实（shí）上，对（duì）人工智能而言，围棋（qí）是（shì）最容易的一（yī）类问题（tí），比围棋更难的问题不仅有，而且非常多，而在（zài）这些问题上，现有人工智能技术远远达不（bú）到人的能力水平。

因此，我们需要某（mǒu）种准则，以便客（kè）观地（dì）判断：哪些（xiē）场景中的应用是现有人（rén）工智能（néng）技术（shù）能够解决的，哪些问题是不能解决的。这个准则（zé）就是封闭性。为了便于理解，这里给出（chū）封闭性的一种（zhǒng）尽可能通俗的描述（shù）。

一（yī）个应（yīng）用场景具有封闭性（xìng），如（rú）果下列两条（tiáo）件（jiàn）之一（yī）得到满足：(1)存在一个可计算（suàn）的（de）和语义完全的模型，并且所有提问在该模型的可解范（fàn）围（wéi）内；(2)存在（zài）有限确定的（de）元模型（xíng）,并且代表（biǎo）性数据集也是有（yǒu）限确定的（de）。

封闭（bì）性条件(1)和条件(2)是分别针对暴力法和训练法而言的。一个应用场景如果不满足条件(1)或条件（jiàn）(2)中的任何一个要求，则该场（chǎng）景应用（yòng）就（jiù）不能用（yòng）暴力法或训练法解决（jué）。例如，假设（shè）一个场景具有可计算的和语义完全的模型，但某些提问不在该模（mó）型的可解（jiě）范（fàn）围（wéi）内，那么就不能保证智能系统对这些提（tí）问的回答都是正（zhèng）确的，这时就（jiù）出现了脆（cuì）弱性（xìng）。

因此，封闭性给出了一个（gè）场景中的应用能（néng）够被暴力法或训练（liàn）法（fǎ）解决的理论上（shàng）的必要条件，也就是（shì）说，不满足这些条件的场景应用是不（bú）可（kě）能用现（xiàn）有人工智能技术实现的。但是，实际（jì）场景往往是非常（cháng）复杂的，理论上的（de）必要条件与工程（chéng）实际之间存（cún）在一定距离。例（lì）如，用训练法进（jìn）行图像分类时，不保证分类误识别率为零，而且错误的性质可能非常严重，无法满足（zú）用（yòng）户的需求。为了（le）尽可能（néng）缩小理论与（yǔ）实际之间的距（jù）离（lí），本文引入（rù）强封闭性（xìng）准则（zé）如下。

一（yī）个场景具有强封（fēng）闭性（xìng），如果（guǒ）下列条件全部得到满足：(1)该场景具有封闭性；(2)该（gāi）场景具有失（shī）误非致命性，即应用（yòng）于该场（chǎng）景的智能系统的失误不（bú）产生致（zhì）命（mìng）的（de）后果；(3)基础条件成熟性，即封闭性包含的要求在该应用（yòng）场景（jǐng）中（zhōng）都得到（dào）实际满（mǎn）足。

基础（chǔ）条件成熟性包（bāo）含的内容较多，下面介绍（shào）两种重要的典型情（qíng）况。

第一（yī）种情况是，满足要求（qiú）的模型理（lǐ）论上（shàng）存在，工程（chéng）上构建不出。封（fēng）闭（bì）性准则中的条件(1)要求，存在（zài）一个可计算的和语义完全的模型，而这里所谓“存在”只要理论上（shàng）成立就行。但（dàn）对（duì）于一项具体（tǐ）的工程项目来说，仅仅在（zài）理论上存在这（zhè）样的模型是不够的，必须能够在该项目要求的施工（gōng）期限内（nèi），实（shí）际（jì）地构建出一个这样（yàng）的模型。可是有些场景过（guò）于（yú）复杂，无法在项目期限内实（shí）际构建出它的（de）模型。于是（shì），这样的场景虽然符合封闭性准则，却在（zài）项（xiàng）目实施中无法（fǎ）成功。基础条（tiáo）件成（chéng）熟性要求：在（zài）项目施工期限内可以实际构建（jiàn）出所需的模型，因而强封闭性准则反映了工程可（kě）行性。

第二种情况是，代表性数据集理（lǐ）论上（shàng）存在，工程中得不（bú）到。封闭性准则的条件(2)要（yào）求保证找到一个复杂问题的（de）代表性（xìng）数（shù）据集，即（jí）使理论上可（kě）以证（zhèng）明存在这（zhè）样的（de）代表性（xìng）数据集。因此，目前主（zhǔ）要在环境变化可忽略或可控的场景中运（yùn）用训（xùn）练法（fǎ），因为代（dài）表（biǎo）性（xìng）数据集在这（zhè）种场景中（zhōng）是可以得到的。这里的（de）“环（huán）境变化可忽（hū）略或（huò）可（kě）控（kòng）”就是（shì）强封闭性准则的一项具体（tǐ）要求（qiú），而封闭性准则不包含这项要求。

当一个应用场景出现以（yǐ）上两种情况时，怎（zěn）么处（chù）理才能符合强封闭性准则？对于多数企业特别是中小企业来说（shuō），最（zuì）有效的办法是进行场景（jǐng）裁剪，比如缩小场景规模、舍弃场（chǎng）景中难以建模的部分、舍弃（qì）场景中（zhōng）环境变（biàn）化（huà）不可控（kòng）或不可忽视的部分，使得（dé）裁剪后的场景（jǐng）符合强封（fēng）闭性准（zhǔn）则。

另外，人工智能技术（shù）在（zài）实际（jì）应（yīng）用中往往起“画龙点睛”的作用，而不（bú）是单（dān）打独斗地解决一个行业的全（quán）部技术问题。因此，通常是在其（qí）他条件都已具备，却（què）仍然（rán）无（wú）法实现预期工程目（mù）标的情况下，引入人工（gōng）智能技术以（yǐ）攻克难点，从而（ér）发挥关键性作用。这（zhè）也（yě）是（shì）基础条件（jiàn）成熟性的要求之一。例如（rú），传统制造业（yè）的信息化和自动化、大面积高标准农田的实施（shī），分别为我国传统制造（zào）业和现代农业的智能化提供了重要的（de）、决（jué）定性的基（jī）础条件。

现有人（rén）工（gōng）智能技术（shù）在实体经济中的落地路径

在实体经济特（tè）别是制造业中，大量场景的自然形态非常（cháng）复杂，难以通过场景裁（cái）剪（jiǎn）使之符（fú）合强封闭性（xìng）准（zhǔn）则。针（zhēn）对这种情况（kuàng），可以采（cǎi）取场景改造的办法。目前至少有如下三（sān）条场景（jǐng）改造策略，可（kě）以作为（wéi）现有人工智（zhì）能技术在实体经济中的落地路（lù）径。

第一条（tiáo）落地路径：封闭化。具体做（zuò）法是将一个（gè）自然形态下的非封闭场景加以改造（zào），使得（dé）改造后的场（chǎng）景具有强封闭性。场（chǎng）景改造在制（zhì）造业中（zhōng）是常见的（de），也（yě）是（shì）成（chéng）功的。例如汽（qì）车制造业，原始的生产过程是人工操作的，其中包含大量不（bú）确定性，不是（shì）封（fēng）闭性场（chǎng）景。建设汽车自动化（huà）生（shēng）产线的本质，是建立一个物（wù）理的三（sān）维坐标系，使得生产过程中出现的一（yī）切（如车身、零件、机（jī）器（qì）人和其他装备）都在这个坐标系中被精确定位，误（wù）差控制在亚毫米（mǐ）级以下（xià），从而把非封闭的场景彻底（dǐ）改（gǎi）造为封闭的（de）（这种改造在工业（yè）上（shàng）称为“结构化”），于是各种智能（néng）装备和（hé）自（zì）动化设（shè）备都可以自（zì）动（dòng）运行，独（dú）立完成（chéng）生产任务。这（zhè）种（zhǒng）封闭（bì）化（huà）/结构化策略正在（zài）越来越（yuè）多地应用于其他行业，而且智能化程度不断（duàn）提升。

第二条落（luò）地（dì）路径：分治（zhì）法。一些复杂的生产过程难以一次性地进行（háng）封（fēng）闭化，但可以从整个生产过程中分解出一些环节（jiē），对这些环（huán）节（jiē）进行封闭化，使之符合强封（fēng）闭（bì）性准则；而不能封闭化的环节继续保留传（chuán）统生产模式，各个环节之间（jiān）通过移动机（jī）器（qì）人进（jìn）行连接。这种策略（luè）已被奥迪等大型（xíng）企业采纳，其实对较（jiào）小型企业也是适用的。

第三条（tiáo）落（luò）地路径：准封闭化。在服务业和人机（jī）协作等场合，普遍（biàn）存在着（zhe）大（dà）量（liàng）无法彻底（dǐ）封闭化的场景，这时可考虑采取“准（zhǔn）封闭（bì）化”策（cè）略：将应用场景（jǐng）中可能导致（zhì）致命（mìng）性失误的（de）部分彻底封闭化，不会（huì）出（chū）现（xiàn）致命性失误（wù）的部分半封（fēng）闭化。举一个运输业的例子，高（gāo）铁系统的行车（chē）部分是（shì）封闭化的，而乘客的活动不要求封闭（bì）化，在遵守相关规定的前提下可自由（yóu）活动。对于（yú）服务业的很（hěn）多场景，只要满（mǎn）足失（shī）误（wù）非致（zhì）命性条件，就可（kě）以放宽封闭性程度要求，因为适当条件下，这些场景中的人可以弥补人工（gōng）智能系统的不足。

因此（cǐ），强封闭性准则（zé）并（bìng）非简（jiǎn）单地要求一个场景在自然形态（tài）下满足（zú）该准则（zé），而是指出一个目标（biāo）方向，并通过（guò）场（chǎng）景裁剪或场景改（gǎi）造，只要裁剪/改造后的场景符合（hé）强封闭性（xìng）准则，就可以在该场景中（zhōng）应（yīng）用现有（yǒu）人工（gōng）智能技术（shù），实现产业升级。

不（bú）满足（zú）强（qiáng）封闭性准则（包括（kuò）无法通（tōng）过场景裁剪或场景改造（zào）满足准（zhǔn）则）的场（chǎng）景也（yě）是大量存（cún）在的（de），现有人工智能技术在（zài）这些场景中（zhōng）难以实用化。一个典型例子（zǐ）是开放领域的人机对话。由于这种对话的提问集不是有（yǒu）限确定的，无法收集、标注所有代表性提问（wèn）数据，也（yě）无法（fǎ）写出足够的规则（zé）描（miáo）述（shù）提问（wèn）或对应的回答，因而无法（fǎ）用现有人工智能技术完（wán）全（quán）实现（xiàn）开（kāi）放（fàng）领域（yù）的人机对话。

尤其（qí）值得注意（yì）的是，目前国内（nèi）外人工（gōng）智能（néng）应用都（dōu）没有充分体现强封闭性准则，具体表（biǎo）现是：一方（fāng）面（miàn）选择了自然形态下不符合强封闭性准则的（de）应用场景，另一（yī）方面又没（méi）有进行充分（fèn）的场（chǎng）景裁（cái）剪或场景改造。因（yīn）此（cǐ），人工（gōng）智能应用的现实情况不容乐观。近来，国外媒体开始注意到人工智能初创企业发展不顺的（de）情况，却（què）只报（bào）道现（xiàn）象，没（méi）有分（fèn）析深层原因。本文的观察是直截了当的：人工智能技术落地不顺利的（de）原因不是现（xiàn）有人（rén）工（gōng）智能技（jì）术不具备应用潜力，而是（shì）因为这些落地（dì）项目没有（yǒu）通过充分的场景裁剪或场景改造（zào），以确保符合强封闭性（xìng）准则的（de）要求。

人（rén）工智能（néng）的风险分（fèn）析

人工智能技术具有正（zhèng）、反（fǎn）两方面（miàn）的（de）作用，在造福于人类（lèi）的（de）同（tóng）时，也存在各种（zhǒng）风险。理论上（shàng）可（kě）能存在四种风险：技术失控、技术误（wù）用、应用风险、管理失误。从封闭（bì）性准则的视（shì）角分析这（zhè）些风险（xiǎn），可以得出更符合实际的观察。对（duì）四种风险的具体分析简述如（rú）下。

风险（xiǎn）1：技术失（shī）控。技术失控指的是技术的发展超越了人类（lèi）的控制能（néng）力，甚（shèn）至人类被（bèi）技术控制（zhì），这是很多人最（zuì）为担忧的风险。上面的分析表明，现有人（rén）工智能技（jì）术（shù）仅（jǐn）在（zài）满足强（qiáng）封闭（bì）性准则的条件下，才可发挥其强大功能；在非封闭的场景中，现有人工（gōng）智能技术（shù）的能力远远不如人（rén）类，而现实世界（jiè）的大（dà）部分场景是非封（fēng）闭的。所以，目前（qián）不存（cún）在技术失（shī）控风险，并且未来只（zhī）要依据封闭性准则做（zuò）到以下三点，仍然可以避免技术失控。第一，在封闭化改造（zào）中，不仅（jǐn）考虑产业或商业需求，也考虑（lǜ）改造后（hòu）场景的可控性（xìng），这种考虑不应局限于单个场景，而应（yīng）通过行业标准批量式（shì）地（dì）制定和（hé）落实。第二，在对适用于非封（fēng）闭性场景（jǐng）的人工智（zhì）能（néng）新技术的研发（fā）中（zhōng），不仅考虑技（jì）术性能，也考虑新技术的（de）伦理风险及其可控性。第三，在对（duì）具有特（tè）殊需求的人（rén）工智（zhì）能新（xīn）技术的研发中，不仅考（kǎo）虑特殊需求的满足，也考虑新技术的伦理风险和应用（yòng）条件（jiàn），并严（yán）格控制这（zhè）些技术的（de）实际应用。

风险2：技术误（wù）用（yòng）。与信息技（jì）术相关的技术误（wù）用包括数据隐私问题（tí）、安全（quán）性问题和公平性问（wèn）题等，人工智（zhì）能技术（shù）的应用可以（yǐ）放大（dà）这些问题的严重程度，也可能产生新的技术（shù）误用类型。在现有条件下，人工智能（néng）技术本身是（shì）中性的，是否出现误用完全取（qǔ）决于（yú）技术的使用。因此，对人工（gōng）智能技（jì）术误用的（de）重视和风险防范应提上议事（shì）日程（chéng）。值得注意的是（shì），根据封闭性准则，现（xiàn）有人工智能（néng）技术仅在（zài）封闭（bì）性（xìng）场景中有效，而（ér）对于这（zhè）种（zhǒng）场景中的（de）技（jì）术（shù）误用，至（zhì）少（shǎo）理论上是（shì）有办（bàn）法应对的，所以应该积极（jí）对应，无须恐惧（jù）。不仅如此（cǐ），应用自动验证等现有技术，可以消除或减轻某（mǒu）些技术误（wù）用（yòng）的风险（xiǎn）。

风险3：应用风险。应用风险指的是技术应用导致负面社会后果的可能性。目前人们最（zuì）担心的（de）是（shì）人（rén）工智能在某些行业中的普遍应用（yòng）导致（zhì）工作岗位（wèi）的大量减（jiǎn）少（shǎo）。应用风险是由技术的应用引起的，因此关键在于对（duì）应用的掌控。根据强封闭性准则，人工（gōng）智能技（jì）术在实体经济（jì）中的应用往（wǎng）往需（xū）要借助于场景改造（zào），而场景改造完全（quán）处（chù）于人类的控（kòng）制之下，做多做少取决于相关（guān）的产业（yè）决策。因此，在强封闭性条件下，应用风险是可（kě）控的；同时也意味着，产业（yè）决策（cè）及（jí）相关的风险预测是应用风险防范的重点（diǎn）。

风险4：管理（lǐ）失误。人工智（zhì）能是一项新技术（shù），它的应用是一项新（xīn）事物，社会缺乏管理经验，容易陷（xiàn）入“一（yī）管就死，一放（fàng）就乱”的局面。为此（cǐ），更需（xū）要深入理解人工智能现（xiàn）有成（chéng）果（guǒ）的技术本质（zhì）和技（jì）术条件，确保监管措（cuò）施的针对性、有效性。封（fēng）闭性准则刻画了现有人工智（zhì）能（néng）技术的能力边界，从而为（wéi）相关治理措施的（de）制定提供了依据。同样，当未来人工智能技术超（chāo）越了强（qiáng）封闭性条件，那时人（rén）类就需要某种把握未来人工智能技术本质的新准则（如封闭性准（zhǔn）则2.0）。还应（yīng）看到，人工智能伦理问题不是（shì）一个单（dān）纯的风险（xiǎn）管控问题，而需建设一个（gè）将监管（guǎn）与（yǔ）发展融为一体（tǐ）的（de）完整伦理体（tǐ）系（xì）。

以上分析表明，封闭性（xìng）准则帮助我们形成对各种（zhǒng）风险的更（gèng）具体（tǐ）、更明确、更贴近实际的（de）认（rèn）识，三点主要观察概括如下。第一，短期内不存在技术失控风险；对长（zhǎng）期风险来说，应关注适用于（yú）非封闭性场景的新技术，而强封闭性准则为保证这种技术的（de）风险可控性提供了初步指导。第二，技术误（wù）用和管理失误是目前的主要风险来源（yuán），应重点关（guān）注，着力加强（qiáng）研究（jiū）。第三，应用风（fēng）险尚（shàng）未（wèi）出（chū）现，未来出现的可能性、形态及应对（duì）手段需（xū）提早研判。

AI人工智（zhì）能的发展，带给人（rén）类便利，同（tóng）时也伴（bàn）随着风险（xiǎn），怎样有效利（lì）用人（rén）工智能优势，来避免危害，也是未来（lái）不断追求的。