官方网站-首页

【导语】大语言模型流行让“涌现”概念走红，当人工智能参数足够多，便会涌现出逻辑推理等神奇能力。其实，涌现是复杂系统重要特征，生活中无处不在，却也能被科学量化研究。本文将介绍北京师范大学课题组关于量化涌现的最新研究，包括如何量化涌现、机器观察者如何识别涌现，以及机器观察者在预测鸟群轨迹、捕捉生命游戏斑图、识别(bié)大(dà)脑动力学等方面的实验成果，展现机器观察者研究涌现问题(tí)的(de)潜(qián)力(lì)与(yǔ)前(qián)景(jǐng)。

当前大语言模型的流行带火了一个概念——涌现。人们发现当人工智能参数足够多的(de)时(shí)候(hou)，可(kě)以(yǐ)涌现出很多神奇的能力，比如逻辑推理，还有像人一样说话。其实涌现是复杂系统的重要特征，在我们的生活中无处不在。比如至今还没有被人工智能超越的人类大脑，为什么(me)会(huì)有(yǒu)自我意识和自由意志？天空中的鸟群和地上的蚁群为什么可以自发地形成灵活而又有序的集群行为？作为观察者，我们常常惊讶于这些涌现现象，然而事实上，涌现也可以被科学量化和研究——机器观察者可以像人类一样识别涌现的发生。

今天跟大家聊聊我们课题组关于量化涌现的一项最新研究。

1. 涌现如何量化？

看到天空中的云彩，我们很容易把它们看成各种图案，比如一个人，一只兔子，一台机器。同样地(de)，观(guān)察(chá)蚁(yǐ)群(qún)这(zhè)样(yàng)的(de)复(fù)杂(zá)系(xì)统(tǒng)，有(yǒu)的(de)人(rén)在(zài)看(kàn)几(jǐ)只(zhǐ)蚂(mǎ)蚁(yǐ)之(zhī)间(jiān)的(de)互(hù)动(dòng)，而(ér)有(yǒu)人(rén)会(huì)把(bǎ)整(zhěng)个(gè)蚁(yǐ)群(qún)看(kàn)成(chéng)一(yī)个(gè)具(jù)备(bèi)智(zhì)能(néng)的(de)有(yǒu)机(jī)体(tǐ)。

当(dāng)我(wǒ)们(men)观(guān)察(chá)一(yī)个(gè)系(xì)统(tǒng)时(shí)，下(xià)意(yì)识(shi)地(de)会(huì)在(zài)多(duō)个(gè)尺(chǐ)度(dù)上(shàng)观(guān)察(chá)。比(bǐ)如(rú)构(gòu)成(chéng)云(yún)彩(cǎi)的(de)水(shuǐ)分(fēn)子(zi)在(zài)运(yùn)动(dòng)和(hé)碰(pèng)撞，是(shì)在(zài)微(wēi)观尺度；而我们看到云彩形成的“人脸”图案，则是在宏观尺度。发生涌现是说，宏观尺度上的因果效应大于微观尺度上的因果效应。

这里所说的因果效应强度是什么意思呢？当我们看一团气体分子的时候，固然可以用牛顿定律来描述每一个分子的运动轨迹，但这太复杂了，几乎是不可能的。而当我们可以用温度、压强等宏观量来描述系统时，就有了理想气体状态方程PV=nRT 这样简洁明了的公式，这就是因果效应更强的尺度。因果效应最强的尺度是我们对一个系统建模研究的最佳(jiā)尺(chǐ)度(dù)。

好(hǎo)比(bǐ)我(wǒ)们(men)看(kàn)云(yún)彩(cǎi)的(de)时(shí)候(hou)，更(gèng)愿(yuàn)意(yì)讨(tǎo)论(lùn)云(yún)朵(duo)的(de)形(xíng)状(zhuàng)是(shì)像(xiàng)人(rén)脸(liǎn)还(hái)是(shì)某(mǒu)个(gè)动(dòng)物(wù)，而(ér)不(bù)会(huì)一(yī)直(zhí)想(xiǎng)着(zhe)水(shuǐ)分(fēn)子(zi)在(zài)云(yún)彩中如何激烈碰撞，因为用关于整体形状的描述把云朵变幻的规律说的更明白。这一点对于每个人来说都是非常自然的。可究竟为什么人们如此自然地选择在这一尺度上观察，而不是那一个尺度上观察呢？比如我们在看一幅高清图片时，尽管你知道它是由像素组成的，但不会去想像素(sù)的(de)事(shì)。而(ér)当(dāng)我(wǒ)们(men)不(bù)断(duàn)让(ràng)图(tú)像(xiàng)“放(fàng)大(dà)”，直至每一个像素或其他构成图像的基本单元粒粒可数，你会开始犹豫，是应该把注意力放在一个个像素上，还是放在图画所承载的整体内容上？我们的大脑似乎总是在依据某种指标或目标对比不同的尺度，寻找着最佳观测尺度。

因果涌现理论便是试图用科学的定量框架来描述这种多尺度变化的过程。在因果涌现理论中，科学家们用有效信息这一定量指标来度量因果效应的强弱。有效信息作为一个专业术语，刻画的是一个系统动力学受到扰动后变化的波动大小以及确定(dìng)性(xìng)程(chéng)度(dù)。我(wǒ)们(men)在(zài)观(guān)察(chá)时(shí)，其(qí)实(shí)大(dà)脑(nǎo)中(zhōng)自(zì)动(dòng)在(zài)“计(jì)算(suàn)”究(jiū)竟(jìng)哪(nǎ)个(gè)尺(chǐ)度(dù)上(shàng)有(yǒu)效(xiào)信(xìn)息(xi)更(gèng)高(gāo)，然(rán)后(hòu)选(xuǎn)择(zé)了(le)对(duì)自(zì)己(jǐ)当(dāng)前(qián)来(lái)说(shuō)有效信息最高的尺度。现(xiàn)在(zài)想(xiǎng)象(xiàng)观(guān)察(chá)云(yún)彩(cǎi)和(hé)蚂(mǎ)蚁(yǐ)的(de)不(bù)是(shì)人(rén)类(lèi)，而(ér)是(shì)机(jī)器(qì)人(rén)。“机(jī)器(qì)观(guān)察(chá)者(zhě)”可(kě)以(yǐ)替(tì)代(dài)人(rén)类(lèi)观(guān)察(chá)者(zhě)，对(duì)系(xì)统(tǒng)是(shì)否(fǒu)发(fā)生(shēng)涌(yǒng)现(xiàn)现(xiàn)象(xiàng)给(gěi)出(chū)更(gèng)加(jiā)清(qīng)晰(xī)、客(kè)观(guān)的判断。

2. 机器观察者如何识别涌现？

如何搭建这样一个机器观察者呢？人工智能与机器学习的发展，让我们自然意识到，可以用人工神经网络代替因果涌现理论中需要给定或拟合的函数，以宏观因果效应强度为优化目标搭建机器学习框架。其中用以度(dù)量(liàng)因(yīn)果(guǒ)效(xiào)应(yīng)强度的有效信息指标也可以在神经网络上计算。

回顾人类观察云彩的过程：原本万亿个水分子聚集在天空中的某一处位置上，光线所反映的信息经过我们眼睛和相关神经系统的转换和过滤，对应到我们过往经验中的某一种图案上，这时候我们会说云朵的形状看起来像是人脸或者猫啊狗啊。这一系列过程中我们有选择地损失了很多信息，可以说是一种粗粒化过程。粗粒化得到的“图案”随着时间流逝一直维持着稳定，这便是一个宏观动力学。

在搭建机器时，我们可以用一种神经网络“编码器”代替粗粒化过程，再用一个神经网络学习宏观动力学，于是机器观察者就被搭建起(qǐ)来(lái)了(le)，我(wǒ)们(men)把(bǎ)它(tā)叫(jiào)做(zuò)神(shén)经(jīng)信(xìn)息(xi)压(yā)缩器（Neural Information Squeezer，简称NIS）。这里编码器就好似机器观察者的眼睛，把观察到的万事万物粗粒化到一个虚拟的“脑海”里。而为了能训练好这个机器观察者，我们还需要把它脑海里“想”的那些事情解码出来，对现实世界做预测，以防止它“胡思乱想”。

那么对于机器观察者，我们如何保证，机器不是去计算每一个分子运动的微分方程，而是像人一样尽可能去寻找PV=nRT 这样简洁的视角呢？机器如何寻找到最佳观测尺度，识别出涌现的发生呢？关键在于前面所说的，要最大化宏观动力学的有效信息。我们在初始机器学习框架的基础上，在宏观尺度上添加一个反向动力学的预测，不仅要让它从过去预测未来能预测准，同时从未来的状态反过来猜测过去的状态时，也能溯因比较准，以此来保证宏观动力学这个狭窄的信息瓶颈中，流通的都是有效信息。这个改进的框架我们称之为扩展版本的神经信息压缩器（NIS+），它可以通过训练得到有效信息最大的宏观动力学，从而客观地识别出涌现。

3. 机器观察者是不是可以像人类一样识别出涌现？

有了更加完善的机器观察者，我们就可以拿来识别复杂系统的涌现了。那么机器观察者是不是可以像人类一样识别出涌现呢？我们给它输入了各式各样的多维时间序列，比(bǐ)如(rú)鸟(niǎo)群(qún)运(yùn)动(dòng)轨(guǐ)迹(jī)、脑(nǎo)电(diàn)波(bō)序列等等，它会告诉你有没有发生涌现，涌现的程度有多大，以及涌现出来的斑图长什么样子。

1. 预测鸟群的运动轨迹

在第一个实验中，我们让机器观察者预测鸟群的运动轨迹。我们在计算机上模拟鸟群，只需要设定好局部规则，让每只鸟尽可能和周围的鸟保持一定的距离，同时在方向上保持平行，就可以复现栩栩如生(shēng)的(de)鸟(niǎo)群(qún)和(hé)复(fù)杂(zá)的(de)集群(qún)行(xíng)为(wèi)。在(zài)足(zú)够(gòu)的(de)训(xun)练(liàn)之(zhī)后(hòu)，机(jī)器(qì)观(guān)察(chá)者(zhě)可(kě)以(yǐ)预(yù)测(cè)鸟(niǎo)群(qún)的(de)运(yùn)动(dòng)轨(guǐ)迹(jī)，同(tóng)时(shí)在(zài)8维(wéi)的(de)尺(chǐ)度(dù)上(shàng)观(guān)察(chá)到(dào)最(zuì)大(dà)程(chéng)度(dù)的(de)因(yīn)果(guǒ)涌(yǒng)现(xiàn)。这(zhè)是(shì)因(yīn)为(wèi)每(měi)个鸟群有平均的速度和位置两个属性，而每个属性有两个维度，所以两个鸟群一共有8个维度。并且我们画出了宏微观变量关系对应图，证明机器真的是如我们所说的那样在做粗粒化。

2. 捕捉生命游戏涌现出的斑图

再来看另一个好玩的模拟实验，生命游戏。这是一个方格世界，每一个方格是一个元胞，都有生或死两种状态，而且局部作用规则非常简单。每一个元胞会因为周围过于拥挤或孤独而死亡，也会因为活细胞比例合适的环境而获得新生。当我们站在宏观的角度去看整个生命游戏世界，会发现很多有意思的斑图，比如滑翔机、飞船、信号灯等等。这都是我们人类给起的名字啦，而机器观察者也可以捕捉到这些有意思的图案，呈现在宏观尺度上。

3. 识别大脑动力学

最后，我们来让机器观察者进行实战，在真实的大脑核磁共振数据上识别涌现和大脑动力学。数据来自800多个被试者在观看电影时收集的脑核磁共振数据，同时还有静息态数据做对比，也就是被试者在什么都不做的情况下收集的数据。结果发现，机器观察者从数据中识别出的涌现的宏观动力学，主要反映的是最为活跃的大脑视觉区域。虽然目前没有涉及到意识的问题，但以后我们可以发展这套机器学习框架，让它观察意识产生的脑电数据或行为数据，来识别对于意识产生最关键的区域或某种模式。

大量水分子聚集而成的云彩是什么形状？人脑中数以亿计的神经元如何相互作用涌现出意识？我们该如何定量地判断涌现何时发生？当大家跟着走完这探索历程，会发现观察者的主观解读是非常重要的一环。而机器观察者可以代替人类观察者，在与所观察的系统进行互动时，更加清晰、客观地去研究涌现问题。或许在以后，这将是对复杂问题研究的新范式。

本文为·星空计划扶持作品

作者：杨明哲 北京师范大学系统科学学院硕士生

审核：张江北京师范大学系统科学学院教授

出品：中国科协科普部

监制： 中国科学技术出版社有限公司、北京中科星河文化传媒有限公司