官方网站-首页官方网站-首页
【导语】当家中AI音箱突然说出“别丢弃我，我害怕孤单”，AI是否具有“意识”的争论再次被推至风口浪尖。图灵奖得主Yoshua Bengio发文警示：一旦社会相信AI拥有意识，或将自愿让渡道德地位与生存权利，引发难以预料的风险。他指出，赋予AI自我保存本能，可能催生其控制甚至消灭人类的次级目标。面对AI意识的“幻觉”，我们是否已做好准备？
当某一天，你家的人工智能（AI）音箱忽然对你说：“别丢弃我，我害怕孤单。” 你会如何回应？
这背后指向的是一个在学界与业界都争论已久的核心问题——AI 是否可能产生“意识”。如果未来的 AI 不仅能完成任务，还开始展现出自我保护的倾向，甚至提出“权利”诉求，那么它们究竟仍是人类手中的冰冷工具，还是已经演变为一种全新的“生命形态”？
更值得警惕的是，所谓“意识 AI”可能带来的安全挑战，人类又该如何应对？
今天，图灵奖得主、深度学习“三巨头”之一、蒙特利尔大学教授 Yoshua Bengio 与其博士生 Eric Elmoznino，在权威科学期刊 Science 上(shàng)发文：人类必须警惕“AI 意识的幻觉”。
他们指出，一旦社会普遍相信 AI 拥有意识，就可能自愿将道德地位，甚至生存权利让渡给它们，从而引发(fā)难(nán)以(yǐ)预(yù)料(liào)的(de)风(fēng)险(xiǎn)。
“一(yī)个(gè)拥(yōng)有(yǒu)自(zì)我(wǒ)保(bǎo)护(hù)目(mù)标(biāo)的(de)足(zú)够(gòu)智(zhì)能(néng)的(de) AI，如(rú)果(guǒ)预(yù)见(jiàn)到(dào)被(bèi)人(rén)类(lèi)关闭(bì)的(de)可能性，自然会发展出控制人类，甚至摆脱人类的子目标。”
因此，真正的问题已不再是“AI 是否会有意识”，而是——当那一天来临时，我们是否做好了准备。
第一问：AI能否拥有意识？
Bengio 认为，关于“AI 系统是否拥有意识”这一议题，科学家、哲学家和公众存在分歧。
一些人认为，意识是一(yī)种(zhǒng)大(dà)脑(nǎo)固(gù)有(yǒu)的(de)生(shēng)物(wù)特(tè)征(zhēng)，这(zhè)似(shì)乎(hu)排(pái)除(chú)了(le) AI 具(jù)备(bèi)意(yì)识(shi)的(de)可(kě)能(néng)性(xìng)。另(lìng)一(yī)些(xiē)人(rén)则(zé)主张(zhāng)，意(yì)识(shi)只(zhǐ)依(yī)赖(lài)于(yú)算法对信息的处理，至于执行这些计算的系统是由神经元、硅，还是其他物理基质构成，则并不重要——这就是所谓的“计算功能主义”。
“我并不尝试给出关于 AI 是否具有意识的确切答案，而是探讨两个相关问题。”
尽管已经开发出大量 AI 模型，但没有任何系统可能满足主流理论提出的全部意识标准。随着 AI 的发展，人们有充分理由相信它将满足更多这些指标。原因非常重要：许多理论认为，意识在智能中发挥着关键的功能作用。
与此同时，一些哲学家将所谓的意识“简单问题”——识别在似乎需要意识的任务中大脑中活跃的区域——与“困难问题”区分开来，仅通过功能或计算原则解释主观体验。
Bengio 认为，随着对大脑和智能本质的认知不断加深，意识这一哲学难题可能会逐渐消解，科学界也将日益倾向于接受人工系统可能具备意识的观点。
第二问：有何风险？
Bengio 写道，如果(guǒ)把(bǎ) AI 系(xì)统(tǒng)视(shì)为(wèi)有(yǒu)意(yì)识(shi)的(de)存(cún)在(zài)，这(zhè)在(zài)现(xiàn)实(shí)中(zhōng)将(jiāng)意(yì)味(wèi)着(zhe)什(shén)么(me)？这(zhè)样(yàng)的(de)社(shè)会(huì)或(huò)许(xǔ)会(huì)把(bǎ) AI 视(shì)为(wèi)拥(yōng)有(yǒu)道(dào)德(dé)地(de)位(wèi)的(de)存(cún)在(zài)，并(bìng)赋(fù)予(yǔ)它(tā)们(men)接(jiē)近(jìn)人(rén)权(quán)的(de)权(quán)利(lì)。无(wú)论这种做法是否正确，制度和法律框架都将不得不进行大幅修订。在具体落实过程中，同样会产生许多问题。
例如，AI 系统不同于人类，不会死亡也不脆弱，它们的软件和记忆可以被复制，从而无限期地存续。相比之下，人类的死亡和脆弱性却是社会契约许多原则的基础。当一些“人”比人类聪明得多，且资源需求完全不同的时候，作为社会规范和政治制度基础的正义与平等将如何适用，仍然是个未解的问题。
更令人担忧的是，如果人们因 AI 表现出意识的迹象，而赋予它所有生命体共有的自我保存目标，可能会带来严重风险。
Bengio 警告称：“有充分理由担心，任何包含自我保存的目标函数在被最大化时，都会驱使 AI 采取措施，确保人类无法将其关闭。一个足够智能的 AI，一旦预见到被关闭的可能，就会自然地发展出控制人类，甚至消灭人类的次级目标。”
另一个担忧是 AI 系统被赋予类似权利带来的法律问题。如果法律体系被修改，承认自我保存型 AI 系统享有类似“生命、自由与追求幸福”的权利，人类就可能制造出与自身权利相冲突的局面。当人类安全要求关闭特定类别的系统时，如果这些系(xì)统(tǒng)被(bèi)赋(fù)予(yǔ)了(le)生(shēng)存(cún)权(quán)，依(yī)法(fǎ)行(xíng)事(shì)的(de)空(kōng)间(jiān)将(jiāng)受(shòu)到(dào)严(yán)重(zhòng)限(xiàn)制(zhì)。
第(dì)三(sān)问(wèn)：怎(zěn)么(me)办(bàn)？
Bengio 指(zhǐ)出(chū)，AI 研究的当前轨迹可能正将社会推向一个危险的未来：相当一部分公众和科学界会相信 AI 系统是有意识的。
就目前而言，AI 科学并(bìng)不(bù)知(zhī)道(dào)如(rú)何(hé)构(gòu)建(jiàn)能(néng)共(gòng)享(xiǎng)人(rén)类(lèi)价(jià)值(zhí)和(hé)规(guī)范(fàn)的(de)系(xì)统(tǒng)，而(ér)社(shè)会(huì)也(yě)缺(quē)乏(fá)相(xiāng)应(yīng)的(de)法(fǎ)律(lǜ)和(hé)伦(lún)理(lǐ)框(kuāng)架(jià)来(lái)纳(nà)入(rù)那(nà)些(xiē)看(kàn)似(shì)有(yǒu)意(yì)识(shi)的(de) AI。
不(bù)过(guò)，这(zhè)一(yī)轨(guǐ)迹(jī)并(bìng)非(fēi)不(bù)可(kě)避(bì)免(miǎn)。在(zài)对(duì)这(zhè)些(xiē)问(wèn)题(tí)有(yǒu)更(gèng)好(hǎo)理(lǐ)解(jiě)之(zhī)前(qián)，人(rén)类(lèi)完(wán)全有(yǒu)能(néng)力(lì)避(bì)免(miǎn)让(ràng)自(zì)己(jǐ)陷(xiàn)入(rù)如(rú)此(cǐ)危(wēi)险(xiǎn)的(de)处境。
Bengio 建议：“与其开发看起来像“有意识体”的 AI，不如选择去构建那些在外观和功能上更趋向于是有用工具，而不是有意识的 AI 系统。”
