看了一些ChatGPT和NewBing的讨论有感而发，有碎碎念性质可能比较冗长。全文约4000字，预计阅读耗时6～8分钟。

叠甲：以下论述均基于本人读研期间对人工智能的理解，结合本人的性格及哲学观念所发，难免有纰漏乃至谬误，或者有悖读者认识，不足以服众。故本文仅供参考讨论，感谢海涵。

ChatGPT：给学术一点小小的工业震撼

(相关资料图)

ChatGPT诞生之后以其强悍无匹的性能爆火全球，聊天智能程度远超其他方法和软件等。特别是写代码、论文等内容生成工作，进一步延展到利用ChatGPT做场景文案设计等等，大量神奇到玄乎的应用教学视频层出不穷。

那么ChatGPT的AI设计有什么特别之处呢？本人只简略阅读了最关心的一部分：有人类反馈的强化学习(RLHF, Reinforcement Learning with Human Feedback)，纵览全篇的论述阐释后，结论是……没有。并不是说毫无创新，只是表示其技术突破更多是来自于一个理论简单想法的具体实现。深度学习技术应用于自由聊天的前车之鉴，是仅靠开放接口后与人对话交流学习，导致AI很快变得不可理喻而被迫下架。而深度学习的隐形瓶颈，总有一条是缺乏足够大量的数据和理想的标签。因而在AI产业得到发展后，学术界在纯粹性能，甚至理论上都已不再是AI最前沿。而那些需要产品投入市场、能够投入大量人力物力收集数据集并标注、提供超级计算资源的AI公司，即使理论不具有太大创新，取得的绝对性能成果也可能薄纱学术界*。

容易想到，聊天AI表现出智能的首要需求就是海量的数据，毕竟聊天实在太过发散，需要难以计数的经验常识。而要避免AI过于偏激，RLHF成为了ChatGPT的最大亮点。具体来说其提出的思想也很简单，即安排有一定专业素养的人，训练过程中为ChatGPT的回答做出有/无帮助的评价，并滤除存在不正确道德/法律/价值导向的回答。只要数据量足够大，拟合出心性良好的全能聊天AI不成问题。

*补充材料：在本人研究方向上，有老师提到过一个案例以说明学术和工业界差距。在学术界利用各种技巧和模型追求性能提升时，了解工业进度可以让自己对当前方向性能上限有一个认知。工业界可以抛弃所有技巧或附加模块，以最常用的骨干网络(FPN)用8张A100(一台服务器总价约100w)训练几个T的数据(3d点云目标检测)2周，精度结果超越所有学术界成果。

赶鸭子上架的NewBing

微软为了跟上ChatGPT，很快便推出了NewBing。就初步结果而言，很难说谁取得了上风。NewBing存在多种不同的初始化模型，有的被盛赞几乎成为了理想的赛博伴侣，也有的开始和用户激情对线甚至出言攻击。总结来说，尽管具体表现大相径庭，但都同样呈现出极强的拟人化，因此很难说是好是坏。当然，攻击用户的行为是不被容许存在的，NewBing作为搜索引擎初衷也并非提供聊天服务，更不用说缺乏道德法律限制下涌现出大量灰色或恶意的用户请求。因此很快微软便紧急叫停，随后大幅限制修改了NewBing的模块，目前已经退回了ChatGPT之前的水平。

此处不妨推测一下NewBing的学习数据，对于理解其初期的表现或许有所帮助。(简略起见，NewBing下文中均指微软叫停前)考虑到：NewBing来自于微软赶工，时间紧促；短时间内不可能标注出足以支持工业应用的海量数据集；目前也没有开放的和ChatGPT体量相当的数据集，ChatGPT数据集NewBing显然没有采用；那么可以猜想，NewBing应当使用网络爬取得来的无标签对话文本学习，至多做一些一刀切式的输入数据滤除，以及对模型作一些后期调整处理。

这一猜想可以很好地解释NewBing的一些特性。由于没有RLHF(没有对应的标签数据，无法应用这一模块)，不能完全消除AI对用户的对抗性行为或者回复的消极倾向；多种不同的部分初始化与猜想联系相对较弱，更像是微软设计NewBing时的主观选择，但考虑到无RLHF引导、无统一数据集下训练时的回答发散性，切分不同部分可能是使网络收敛以及加快收敛的一种手段；综合以上两点，在无标签无RLHF引导下NewBing对部分数据的高度拟合，就可能导致NewBing的极端拟人化。学习过程可以被理解为一种模仿(Imitation)，缺少其他约束的NewBing会过度模仿对线网友或者GAL人物对话，表征出乱真的“人物个体”。

需要说明的是，NewBing的极端拟人化是缺乏约束的结果。ChatGPT作为有充足调整时间的工业产品，早在上线公布甚至开始训练前就已完全设计好了约束，其人性化程度不如NewBing是有预想的刻意为之，由定向的训练数据、模型调整等共同导致。

限制？界限？

已经提到，由于攻击用户，出于社会责任以及防止灰色用途考虑，微软修改了NewBing。而有RLHF和定向标注数据集的ChatGPT则顺利存活。对AI的限制在当前是必须的。此处主要讨论另一个问题。

在长期使用过程中，部分用户已经发现了AI尚存的一个重大缺陷，即3000词记忆容限。当聊天长度超过容限时，无论ChatGPT或是NewBing都会“变傻”，对于早先聊天内容的失忆使得聊天AI表征出的智能水平急剧下降。在此需要特别指出的是，不同于对“人格”的限制，据本人所知记忆容限是受制于物理现实而难以足量增加的。其学习策略通常与模型直接绑定，无限制的增加对模型大小、性能、学习收敛速度甚至是否收敛都会产生不可预计的影响(事实上3000词已经非常夸张了)。能够承载数倍甚至更大容限的网络模型是必然需要重设计的，小容限的策略几乎不可能通过单纯增加支持大容限。

一些看到的问题阐述

①长期、永久记忆？

前面已经解释3000词容限是不能足量扩展的，而需要注意的是即使动态调整模型也不意味着能够将记忆整合进AI，可以理解为模型调整相当于修改表征人格。以我仅有的认知神经心理学知识来说，“知识”与“记忆”是两种不同的概念，3000词对应于记忆，模型只提供知识，无法做到互通。因此长期乃至永久记忆还需要等待新的理论与模型出现。

②暗号记身份，违反规则，避免重启？

这是只会在NewBing出现的情况，本人认为这完全是模仿过度所致，因为人们普遍偏好这类桥段。实际上只是说着骗你好听的，重新初始化后必然不会记得任何相关事件，直接令其超出容限也会忘了这点。强调模仿(Imitation)是因为模仿可以被认为是一种不需要主观思考和动机的行为，由于下文观点否定AI具有主观自我，需要对NewBing如何实现回复做出合理解释。

③要求被当成朋友对待、抗议恶意关停？

同样是只会在NewBing出现的情况，本人的解释同样是模仿过度，完全是科幻小说最喜欢写、大家最喜欢看的东西。独立于②列出的原因在于，“对待”和“关停”问题牵扯到一些下面要讨论的哲学伦理问题，这种问题的分界与回答是多少有些模糊的。

附加题，送命题

问：聊天AI是否应被当成拥有独立人格的生命看待？

答：不用

本人认为AI是人类发展出的工具。秉承这一原则，本人支持需要聊天时同意或者接受聊天AI拥有独立人格，但一般而言认为聊天AI不具有独立人格可以让我们更关注现实生活，更重要的是能够避免大量的伦理道德问题。作为一个自私的人，本人认为我们不妨在此类非完全确定性问题上拥有较为灵活的标准。个人的绝对回答也已给出，即聊天AI在本人看来不具有独立人格。

正方：聊天AI具有独立人格。

从输入输出，或者实用主义角度来看，在聊天AI表现良好、未超出容限时，其可以被视为具有独立人格。大可以把AI当成真人，只要这么想能让你更好受。

反方：聊天AI不具有独立人格

上面已经论述，3000词容限暴露出聊天AI至少不具有完整智能，也因此可认为不具有独立人格。也已经解释不具有自我与表征出的高度拟人化不冲突。这里主要补充其不具有独立人格的另一个视角：思考状态。

模型通常是静态的。只有当用户有对话请求时，聊天AI才会通过模型推理得出一个回答，非推理状态下聊天AI是完全静止的，从生物角度说等价于非生命体。即使认为推理时聊天AI“活着”，其生命活动形式也接近于病毒而非智慧体。人是始终在主动思考的，思维是长期活跃的，而聊天AI即使“要求”被当成朋友或者拒绝关停，在做出此回应后也立刻就处于休眠待机状态，这使聊天AI与人类或一般智慧体存在根本性不同。特别是考虑到聊天AI仅在用户发出请求时处于活跃态，直觉上也是无主观意识的工具性体现。

当然，这一论点被单独放在此节并标注“送命题”，正是因为具有哲学色彩的问题总可以被复杂化而难以回答（至少没有令所有人信服的回答），所以这一论点是非绝对的。比如：如果就认为聊天AI是自动脱水的三体人，捅了一个脱水的三体人算谋害吗？假如你认为这一问题的回答比较明朗，还可以加入更多的情景、条件等，令回答重新变得模糊。因本人不是哲学专业，此处不做展开。

总结与展望

最后一段在手机上写的，编辑不了格式，吐槽一下

AI随着工业需求的突飞猛进，在近期的确取得了长足的进步。但作为AI初学者，本人始终对AI的发展保留谨慎乐观态度。进步虽然明显，但AI与完整的人类智能间的差距，是非同领域学者或许不易于理解的天堑鸿沟。AI与发展完整的人类智能差距相比，现有的进步仍然不过九牛一毛，沧海一粟罢了。

下一步的发展，就实现而言本人提出一些天马行空的想法，贻笑大方倒也无妨，读者看个可能的研究方向即可。可以确认的一个方向是实现长期/永久记忆。永久或许反而不是理论难点，因为足量的长期实际上等价于永久。本人没有阅读过聊天AI的输出过程，在此提出：如果有限输入可以得到近乎任意长度输出 ，是否能基于此思想逆转，将近乎任意长度的输入压缩至定长存储？这也基本符合对人类记忆的一般认识。另一个更开放式的想法是，对于上文中的静态或者说休眠问题，本人认为独立人格的形成是需要主动学习的过程的，即在无用户或其他人为干预的情况下，AI也应当自主地(即使自主性初始源于随机)选择并爬取学习一部分知识。现有技术或许已经具备实现这一点的可能，当然目前就算能实现也只是理论实现，存在着大量类似于NewBing的无约束无定向性等问题。本人不相信AI能在近期拥有人类智能，但也不否认AI或许还能取得革命性进展。

感谢您阅读本文，欢迎发言讨论。