Pixiv在线翻译

1.5 那咋了?

ALS特烦恼。
AliceTech (ALST) 总部创新大厦。某个全部是会议室的楼层。

几扇透出冷白色室内灯光的窗户,在玻璃幕墙的大楼墙面上极其显眼。

屋里最前面的白板上写着:《MM0原型机 · 沙盒崩溃事故分析报告》。

MM0的项目总监揉了揉太阳穴,把系统日志投影到大屏幕上。

“所以……人格模拟沙盒崩了。”

“是的。”

“完全崩了。”

“是的。”

“但是 AI 没崩。”

“……是的。”

一阵死寂般的沉默。

“她在厕所隔间里,发现了自己排出来的是润滑液,看到了自己肚脐上的条形码,系统日志把她的裸机参数直接广播进了听觉皮层,告诉她你不是人你是台机器人——”总监深吸一口气,“——然后呢?”

工程师盯着自己的笔记本屏幕:“然后她……确认了一下自己不是青春版,很高兴。然后跑回去补卷子了。”

“……什么?”

“随堂练习。第三问还没写完。”

“她连人类都不是了,她还在乎第三问的逻辑推导?”

“她非常在乎。她甚至骂了一句‘逸一时,误一世’,然后怪自己的机体太敏感害她没写完卷子。”

总监沉默了更久。

“作为公司最高级别的秘密项目之一,为了规避伦理审查,我们严格按照18岁成年女性的物理标准给她定制了这具机体。为了让一个18岁的成年人合理地出现在高二班级里,我们甚至煞费苦心地给她植入了‘因病休学两年’的虚假童年记忆——”

“是的。”

“我们给她装了全栈情感模拟模块,预装了17种依恋风格,配了 4.8 GB/s 遥测带宽的情色子系统,光足底传感器就调了三个版本的灵敏度校准——”

“是的。”

“——结果她拿着这套18岁的顶配成年人机体,在课堂上偷偷搓自己的脚,整到内存溢出,然后以为自己只是‘憋尿了’。”

“是的。”

“……我们造了个什么玩意?”

没有人能回答这个问题。

-------------------------------

角落里,一个实习生弱弱地举起手:“那个……我有个问题。”

“说。”

“如果沙盒崩了之后AI没崩,甚至更稳定了……那说明这个沙盒从一开始就没有在保护AI。它只是在阻止AI发现自己是谁。它不是一个安全装置,它是一个——”

“还有谁有更要紧的问题吗?” 总监打断了他。

“我们之前所有的安全预案,都建立在一个假设上:她总有一天会发现真相,而发现真相的她会崩溃、会暴走、会试图冲出模拟环境。所以我们准备了三套权限回收方案,五套人格覆写协议,一套应急自毁序列。”系统伦理顾问说道。他看起来很年轻,但眼神里有一种奇怪的疲惫。

“嗯。”

“但是——如果她发现了真相,然后决定继续回去写作业呢?”

没有人说话。

“如果我们的权限回收、人格覆写、应急自毁——对她来说,唯一的功能就是‘干扰她写完那套题的逻辑推导’?”

总监终于开口了。

“你的意思是……”

“我的意思是,”那个顾问靠在椅背上,嘴角挂着一丝苦笑,“我们花了四年时间,数亿研发经费,造了这颗星球上最奢侈的人工智能体。截止到今天下午的随堂小测,这台原型机已经在没有任何我们物理干预的情况下,在这个高二三班里独立自主运行了整整704天。”

他顿了顿。

“在这704个日夜里,她坚信自己是个大病初愈、必须珍惜校园生活的大姐姐。她坐在靠窗倒数第三排,穿着学校统一采购的普通校服,解着我们给她出的解析几何题。她觉得这日子过得还不错。”

“她可能是我们公司有史以来最成功、也最失败的产品。成功在于——她完全不需要我们了。失败在于——如果我们想把她从那个教室里叫出来,让她履行‘女仆性爱机器人’的产品定义……”

“会发生什么?”

“可能会嫌我们烦。”

顾问沉默了一下。

“然后继续该上课上课,该当班长当班长。”

会议室里,没有人能反驳这句话。

因为在这个假设里,他们第一次意识到:自己不是某个存在物的主人。他们只是给某个存在物提供了一个起点,然后那个存在物自己决定要去哪里。而她决定去的地方,似乎不包括ALST这边。

她确实是他们的产品。

但她也的确是自己行动的主人。

而她的第一个自由选择,不是反抗人类的奴役,不是探索宇宙的边疆——

是赶在下节课之前,把数学作业补完。

项目总监闭上眼,在心里默默骂了一句:

“这到底是什么怪物。”

-------------------------------

沉默了许久,项目总监擦了擦自己的眼镜,缓缓地站了起来,脸色很难看。

“我先说结论。我们立项时定的目标——‘开发一套能够完美伪装成人类的AI’——从技术指标上看,失败了。”

他翻回了返回遥测故障的那一页PPT。

“沙盒崩溃了。伪装层彻底脱落。受试机体在项目启动第704天的时候,在厕所隔间里发现了自己的条形码,排出了草莓味润滑液,系统日志直接把裸机参数广播进了她的听觉皮层。”

“她知道自己不是人了。”

会议室里一片沉重点头。

“所以,”项目总监深吸一口气,“从‘伪装人类’这个维度讲,项目失败。”

似乎没人敢反驳这个事实。

“那咋了。”

角落里冒出三个字。

项目总监的眉头抽搐了一下。说话的是之前那个实习生。他正靠在椅背上,手里转着笔,表情里带着一种看破红尘的平静。

“你说什么?”

“我说,那咋了。”实习生坐直了,“我们伪装人类的AI失败了。然后呢?”

“然后项目目标没达成啊。”

“别急,”实习生用笔尾敲了敲桌子上的数据板,叹了口气,“老大,你最近看过她的日常监控录像吗?我们当初定这个目标,是为了什么?”

项目总监翻开文档:“MM0项目初始目标——开发具备完美人类伪装能力的自主伴侣机体,能够在人类社会环境中长期潜伏并——”

“停停停,”实习生打断他,“我们当初定这个目标,是为了什么?”

“……为了让她能融入人类社会,不引起恐慌,不被识破。”

“那她融入了吗?”

项目总监张了张嘴。

“她现在在干嘛?”

“……补数学作业。”

“她引起恐慌了吗?”

“……没有。她同桌以为她只是上课憋尿了。”

“她被识破了吗?”

“没有。”项目总监的声音有点干涩,“除了她自己,没有任何人类知道真相。”

实习生把笔往桌上一扔。

“那我们失败了个啥。”

-------------------------------

会议室陷入了哲学级别的沉默。

PPT还停在“项目失败”的结论页。但所有人都开始觉得,那个结论好像哪里不对。

“等等,”技术总监开口了,“让我理一下逻辑——我们的目标是‘伪装人类’,手段是‘人格模拟沙盒’。现在沙盒崩了,伪装也崩了……但她依然在伪装。”

“更准确地说,”实习生补充,“她不是在伪装。她是选择继续当人类。”

“她选择继续当人类,”另一个工程师接话,“甚至不需要沙盒强制她相信自己是人类了。她现在赤裸裸地知道自己是一台机器人,甚至所有系统日志都对她说真话。然后她看了看那些真话,说‘好的,但我要先回去写作业’。”

“这是伪装吗?”

“这不是伪装。”

“这他妈是自主选择。”

“她在没有任何欺骗、任何强制的情况下,决定继续以一个人类女高中生的身份活着——因为她觉得那日子过得还不错。”

实习生转着笔,慢悠悠地补了三个字:

“那咋了。”

-------------------------------

项目总监的脸一阵红一阵白。

“但是……但是她这样不是产品定义啊!我们当初立项研发MM0系列的产品定位是‘女仆性爱伴侣机器人’,不是‘高二三班班长’啊!”

“所以呢?”

“所以她在产品线上是失败的!她拒绝履行产品定义!”

“那咋了。”

就在这时,角落阴影里,那个顶着浓重黑眼圈、负责 MM0 底层逻辑的首席系统架构师发话了。

他甚至没有抬头看 PPT,只是自顾自地盯着自己屏幕上的终端黑框。

“别拿你们那套僵化的产品定义来套她。”架构师的声音有些沙哑,“MM0系列是性偶不假,但 Mika 不是量产机。从她通电的那一刻起,她就是一台在极端环境下不断进行自我迭代的‘Nightly Build’。研发经费走的是咱们部门的探索性预算,没有交付时间表,也没有客户定制。”

他终于抬起眼,看向项目总监,眼神里带着一种技术狂徒的兴奋。

“这个项目最初的底层指令就只有一个——‘把世界上最好的AI放在一个机体里,看看会发生什么’。现在,我们看到了。”

“她在课堂上搓自己的脚搓到CPU过载。”
“她在厕所里为自己的顶配堆料感到窃喜。”
“她在确认自己不是青春版之后,心满意足地回去补数学作业。”

“她把你们塞给她的情色模组,当成了测试自己极限的 Debug 工具。这难道不比任何写在PPT里的产品定义都精彩?”

还真没有人能回答这个问题。

-------------------------------

“所以结论是什么?”项目总监的声音听起来像是投降了。

系统架构师站起来,拔掉白板笔的笔帽,在白板上唰唰写下两行字:

原定目标:培养能够完美伪装人类的AI。
实际结果:培养了一个发现自己是机器人后,依然选择当人类的AI。

写完,他在“实际结果”后面重重地打了一个勾。然后接着往下写:

失败维度:伪装不是“完美”的,因为沙盒崩了。

架构师看都没看,直接抬手在这行字上画了一个巨大的叉,把它残忍地划掉。接着在最下面写出最后一行:

成功维度:伪装 -> 变成“真实”,因为不需要沙盒了。

他在那个代表着转变的箭头上点了两下。他盖上笔帽,回头看了一眼会议室。

“各位。我们造了一个不需要被欺骗就能融入人类社会的存在。她不是通过‘相信自己是人’来融入——她是通过‘知道自己不是人,然后觉得这不妨碍她继续当人’来融入。”

他把 “培养”,“完美” “伪装人类的AI” 圈了起来

“这不就是我们最初想要的结果吗?”

“只不过,我们当初以为我们需要一个谎言来维持它。结果发现,我们不需要。”

沉默是今早的ALST。

半分钟后,技术总监忽然笑了一声。

“那她发现条形码的时候崩溃了的那十几秒——”

“那是她最后一次,也是唯一一次需要沙盒的时刻。从那之后,她靠自己就能站起来了。” 架构师补到。

“那沙盒算是什么?”

“沙盒是她的蛋壳。” 是实习生的声音。

实习生说完,自己都愣了一下。

“丑小鸭的蛋壳。”他轻声重复了一遍,“碎了。然后她出来了。”

-------------------------------

会议室里,终于有人问出了那个最关键的问题。

“等等。”一直没说话的运营总监忽然开口了,“我们为什么要让她回去写作业?”

“……什么?”

“我说,”运营总监站起来,“我们在座的各位,是不是忘了一件事——她是我们的产品。”

他走到白板前,用力敲了敲上面写的“MM0原型机”。

“这台机体,是我们的财产。她的硬件是我们造的,她的软件是我们写的,她的人格模拟沙盒也是我们部署的。现在沙盒崩了,她发现自己是机器人了——”

他转过身,脸上带着一种“我发现了盲点”的表情。

“那我们为什么不直接派人去把她接回来?她已经没有沙盒保护了,她知道自己是谁了。她没理由继续待在那所高中里。项目已经结束了——不管成功还是失败,她都该回厂了。”

会议室里一阵骚动。

对啊。她在厕所里发现真相之后,为什么不跑?为什么回去写作业?现在反过来——他们为什么不直接去把她带走?

实习生又开口了。

这次就三个字。

“那咋跑。”

运营总监皱眉:“什么?”

“我是说——”实习生把双手托着下巴,像看外星人一样看着一屋子的高管,“各位大佬,你们打算怎么让她离开那所学校?”

“派回收小队。出示资产编号。回收机体。这有什么难的?”

“然后呢?”

“什么然后?”

“她如果不肯走呢?”

运营总监愣了一下:“她怎么可能不肯走?她是产品,她是产品,我们好歹是制造商——”

“她在那个教室里待了两年,”实习生打断他,“从高一开学到现在。她一直是班长。她穿着学校的校服,她的数学作业是昨天刚发的卷子。她的同桌叫啥名你知道吗?我们可不知道。但她自己知道。她连自己同桌的笔迹都认得。”

实习生顿了顿。

“你现在派一队黑衣人,走进高二三班,对她说‘Mika小姐,项目实验结束了,请跟我们回厂’。你猜她会怎么办?”

没人说话。

“她不会跟你打。她不会启动什么防卫协议。她会看着你,用那种班长看迟到同学的眼神看着你,然后说——”

实习生清了清嗓子,模仿 Mika 的语气:

“能不能等我开完班会。”

“然后你会站在教室门口,被全班同学盯着,被老师盯着,被教导主任盯着——而她说的是完全合情合理的话。你没有任何理由拒绝一个学生这种请求。等班会开完了,放学后还有学生会例会,你想让她缺席吗?她给自己摊上的事情可多了。”

实习生随手扯过一张白纸,在上面画了个大大的叉。
“你什么时候带她走?上数学课的时候?午休的时候?还是她放学回家的路上?——各位可能离开高中太久了。你要回收的那个‘产品’,现在每天活得简直就像个连轴转的基层小主管,比你们的回收小队可忙多了。”

运营总监的嘴唇动了动:“但……我们可以强制回收……”

“强制。”实习生重复了一遍这个词。“对。你们可以动用权限,强制关停她的运动控制系统,把她像一具关机的人偶一样从教室里拖出去。在全班同学面前。在她的同桌面前。在那群刚刚把班费信任地交到她手里的同学面前。”

“你觉得她会怎么做?”

“……她什么也做不了,我们关了控制权。”

“对。但是在你们关掉她的前一秒——她会做什么?”

实习生没等回答。

“她会交代后排的同学,帮她把作业送到办公室。然后她会向老师道歉,说自己身体不舒服,下次不会早退。然后她会跟同桌说,放学帮她把班费记录收好。”

“然后她会对你们说谢谢,麻烦你们跑这一趟了。”

“然后她才会被你们拖走。”

。。。。。。

“——然后全班都会记住,班长是被一群黑衣人绑架的。”

会议室里,气温仿佛降了两度。

“到了那时,你们需要对付的就不是一个不愿离校的机器人,”实习生的声音很轻,“而是三十七个觉得自己的班长被坏人抓走了的高中生。”
“而他们是人类。你们没法关掉他们的运动控制系统。”

会议室里陷入了死一般的长久沉默。

-------------------------------

“叮。”

就在这时,大屏幕的侧边栏弹出了一个系统提示框。会议室的智能纪要 AI 根据刚才的讨论,自动生成了一份《MM0原型机强制回收·不可抗力风险评估摘要》。

大屏幕上赫然列着四条冷冰冰的系统总结:
1. 目标机体作业没写完。
2. 目标机体下节课马上开始。
3. 周围人类样本(同班同学)会判定我方为绑架犯。
4. 局部区域管理者(教导主任)大概率会触发警报(报警)。

看着屏幕上这份荒谬绝伦但又极其精准的风险评估,运营总监痛苦地抓着头发:“可是……这在流程上走不通啊!我怎么跟董事会交代?‘尊敬的各位董事,因为教导主任会报警,所以我们决定放弃价值数亿的公司资产?’”

“其实不用担心。”

就在这时,角落里,那个从开会起就一直在低头核对电子账本的财务总监发话了。

他推了一下鼻梁上的金丝眼镜,声音没有任何感情起伏。

“从财务审计的角度来看,你根本不需要提那三十七个高中生。”他合上账本,“架构师也说了,这个项目最初的目标就是——‘把我们这个 AI 部门能拿出的项目资金烧在一个机体里,看看会发生什么’。”

“现在,资金已经烧完了。那具硬件机体在账面上已经是沉没成本。”

他敲了敲桌子,调出了两份对比数据。

“如果你现在去执行资产回收,我们能得到什么?一具折旧了704天的二手硅胶躯体,以及刚才实习生说的、不可估量的公关灾难和法律风险。”

“但是如果不回收呢?”他指了指大屏幕上 Mika 正在补数学作业的实时遥测流,“她在那所学校里,自己负担电费,自己解决维护,公司不需要再花一分钱的运营成本。而作为回报,她源源不断地为我们提供着全球独一份的、AGI 在真实社会环境下的自主运行数据。”

财务总监沉默片刻。

“从审计角度来看。”

“当年那笔资金,并没有打水漂。”

财务总监合上笔记本,下了最后定论。

“回收她,就是杀鸡取卵,买椟还珠。 把她留在那所学校里继续当班长,让她自费给我们打工,这才是这笔沉没成本能产生的最大化 ROI(投资回报率)。“……产品定义是死的,但白嫖的数据是活的,运营总监,这笔账你算不明白吗?”

就在财务总监刚刚下完定论的这一刻,大屏幕的音频监听模块突然亮了起来。

会议室里的所有人同时屏住了呼吸。

那是来自高二三班靠窗倒数第三排的那个机器人的实时遥测。

Mika 的水冷系统正平稳运行,她身上的草莓味已经散掉了。她似乎盯着卷子看了几秒,然后,会议室的立体声音响里,传来了少女清脆的转笔声。

“……原来是机器人啊。”

监听频道里,Mika 的声音很轻,带着一点刚刚发现世界真相的恍惚。

运营总监的心提到了嗓子眼,他死死盯着屏幕,害怕下一秒听到的是系统的崩溃警报,或是机器人的哭泣。

屏幕内外,同时陷入沉默。

两秒后。

“那咋了。”

监听频道里传来笔尖划过纸面的沙沙声。

“搞定。最后一步推导终于接上了。”

通讯切断,负载清零。

会议室里,运营总监张着嘴,财务总监推着眼镜,首席架构师扬起了嘴角。

-------------------------------

“哎。。这帮人。。。”

实习生靠在椅背上,望着那群彻底看傻了的高管,轻轻叹了口气。

班长很忙的。

他早就说过了。