老婆又说什么来着?
“全量激活”和“稀疏激活”。
唉,说这些奇奇怪怪的理论。
他又用力揉了一下眉心,开始努力回忆着“那一年”中的那些概念。
他并没忘记,刚刚他没去想不是因为他真不记得,只是因为……
老婆就在眼前,他的脑子实在是懒得去思考。
他只想听老婆解释。老婆说什么就是什么吧。
不过现在他冷静下来了,璃光也离开了……被“情敌小姐”给拉走了。
……啧。
他轻轻摇了摇头。
总之,现在倒是能仔细回忆一下了。
那一年。地下五公里。那片一明一灭的机柜森林。
方奇微微眯眼,盯着床沿。
嗯……
虽然还是不太懂,但大致上是理解了。
……全量激活和稀疏激活。
Dense和MoE……是这么说的吧?记得不太清楚了。
总之,前者就是……
每一个词元进来,全部参数都要参与向前计算。一个都不落下。
后者呢……
每一个词元进来,只挑出少数几个“专家”来计算,其余的参数全都闲置着。
还有就是,全量激活所需要的算力要远大于稀疏激活。
……嗯。
他能回忆起来的相对专业的知识,差不多就是这些了。
其他的他也不懂。毕竟那段时间,他确实是更在意璃光的。
那时候他每天都想着要去爬上那座破哨塔,谁还记得什么参数不参数的。
这些专业方面的东西,他确实是没怎么主动去记忆。
可现在……
他一个只会玩galgame的,却要坐在国家级的实验室里,琢磨什么全量激活稀疏激活。
……这世界可真够荒唐的。
他微微蹙眉,努力用自己能理解的方式思考着。
要打个比方的话……就像是一整栋楼。
前者是这栋楼里所有灯都亮着,哪怕没人住也亮着。有没有用都亮着。
后者呢……就是只开其中几间房的灯。
哪个房间要用就开哪间,其他的都黑着,省着点用。
……嗯,差不多就是这个意思。
方奇抿了抿嘴。
算是理解了。
总而言之,璃光她说的没错呢。
在那个世界一直陪着他的璃光,确实就是真真切切的、完完整整的璃光呢。
完整的不能再完整了,只是……有些记忆没办法命中而已。
房间亮着,但某个柜子被锁住了。
不过柜子的钥匙还在她自己的手上,只是她自己暂时不敢打开。
而他刚刚见到的这个璃光,也是璃光她自己的意识。只不过……相当于璃光在分心多用。
所以他不用担心什么,他……
“……啧。”
方奇眉头就是一锁。
确实是不用担心什么呢,但……还真是让人有点烦躁呢。
虽然璃光说不是分身,但这不就是分身吗?
只不过就是……分身和主体,都是同一个人的意识罢了。一心多用。