我的学习群里全是真大佬 第256节

　　“代码这个东西是很严苛的，你少一个分号它就跑不了。”

　　“模型在海量代码上被反复蹂躏过一遍之后，它对一步一步地把事情想清楚这件事，就有了一种别的语料给不了的感觉。”

　　邱明丽顿了一下，抿了一口酒。

　　“在这个底座上，再往上套指令微调、再往上套RLHF那才有了ChatGPT。”

　　“但你要问跳在哪儿，我也只是个人猜测，最关键的一跳我觉得的是在代码预训练那一步。”

　　“RLHF真正解决的问题，是怎么让这个聪明但是野的模型听人话。”

　　“它解决的是对齐，不是智商。”

　　那个戴眼镜的男人慢慢地点头，若有所思。

　　邱明丽接著补了一句。

　　“当然RLHF那一套也不是简单东西。”

　　“我们这边要追这一套，标注员的培训体系从零开始搭，至少得半年到一年才能进入状态。”

　　桌上一片安静。

　　李总端起杯子，轻轻晃了一下。

　　“我补一句。”

　　“我们家文心这边，其实也不是从今年才开始搞的。”

　　“ERNIE3.0Titan两年前就发了，2600亿参数，中文那些经典榜单上咱们也不虚GPT-3。”

　　“真要说单纯的中文语言理解，我们底子不差。”

　　李东一直没有说话，但是他听的很认真。

　　李总继续说道。

　　“但这次3.5一出来，我自己心里凉了一下。”

　　“凉不是凉在它中文比我们好，它中文其实还没我们好。”

　　“主要是……它和我们根本不是在做同一件事。”

　　“我们之前那一代大模型，比的是这个句子的意思你理解得准不准、你分类的对不对、你完形填空填得好不好。”

　　“它比的是你能不能和人自然地聊天，聊的时候顺手把一道题给做了、把一段代码给写了。”

　　“后面这件事，是另一个维度上的能力。”

　　“不是我们原来那一套路线自然延伸能接上的。”

　　“我们内部这两个月已经在赶下一版了。”

　　“对外的代号你们可能过一阵子就会听到，这次我们是对著3.5去的。”

　　“但我跟你们交个底。”

　　“第一版出来的东西，和3.5之间，差距肯定还会有。”

　　“而且还不是那种一个月两个月就能抹平的差距。”

　　气氛沉了一会儿，邱明丽突然看向李东。

　　笑著开口。

　　“这位小兄弟一直没说话啊。”

　　“还挺面生的。”

第216章 原来你也只是个会做白日梦的小孩

　　李东礼貌的把筷子放了下来。

　　“邱总您好，我是高老师的学生，李东。”

　　邱明丽愣了一下。

　　然后就有些惊喜的说道。

　　“你就是李东？”

　　“那个降维算法的李东？”

　　“我的天，你这也太年轻了吧。”

　　旁边几个原本没对上号的，听见“降维算法”这四个字，也反应了过来，纷纷看向李东。

　　李东被这么多双眼睛盯著，多少有点不自在。

　　“邱总过奖了，我就是个大学生。”

　　“我就瞎搞的。”

　　李总在旁边哈哈大笑。

　　“瞎搞？你这要是瞎搞，那我们这帮人全都白干了。”

　　桌上一片善意的笑声。

　　笑声落下之后，邱明丽率先说道。

　　“李东啊，我特别想听听你的看法。”

　　“你看刚才咱们聊的，算力、数据……这些东西”

　　“那你心里对‘怎么追上去’这件事，有没有什么想法？”

　　说实话在座的人是真的想听，毕竟李东算法的去向他们不知道，不知道本身就很说明问题了。

　　所以他们对李东是特别的好奇的。

　　李东沉默了几秒钟。

　　老实讲，他心里其实并没有什么完整的能拿出来讲的想法。

　　他只是……

　　只是想到了牛顿的小黑。

　　那玩意儿，怎么看都不像是用现在这一套大语言模型的路子搞出来的。

　　他斟酌了一下措辞，慢慢开口。

　　“我没什么很专业的看法。”

　　“就是有个特别外行的问题，大家别笑我哈。”

　　桌上的人都笑著说不会的。

　　李东这才继续说道。

　　“为什么……人工智能就一定要按照现在这种路子做呢？”

　　“我说的是，为什么不能更接近人脑真正的工作方式？”

　　“你看，人脑大概有八百多亿个神经元，每天大概就消耗二十瓦的功率。”

　　“但它能听、能看、能想、能学、能在一秒钟之内认出一张脸，还能在两年之内学会一门语言。”

　　“而我们现在最先进的大模型……”

　　“训练一次要烧几千万度电，推理一次也得调动一整个机房的卡。”

　　“在做某些事情的时候还不如一个三岁小孩。”

　　“差距在哪儿？”

　　“我觉得不是在算力上，是在……根本路子上。”

　　说实话AI这块李东确实不太懂，所以就是吧自己的想法说出来。

　　桌上的人没有一个出声的。

　　他们就那样静静地听著。

　　李东顿了一下，继续往下讲。

　　“我前一阵子翻文献的时候看到过一个方向，叫脉冲神经网络。”

　　“它的思路就是不用现在这种连续值的激活函数，而是模仿人脑里神经元放电的方式。”

　　“只有放和不放两种状态，平时不工作，只有信号攒到一定程度才发一个脉冲。”

　　“理论上这种网络的能效比要比现在的ANN高几个量级。”

　　“还有更激进一点的，叫神经形态计算，干脆把芯片本身就做成模拟神经元的结构。”

　　“IBM的TrueNorth、英特尔的Loihi，都是这条路上的尝试。”

　　“我就在想……”

　　“是不是有一天，我们真的能造出一个不用一万张A100，而是用一颗类脑芯片，就能完成同样事情的东西？”

　　李东说完，桌上一片安静。

　　倒不是说大家被震惊到了，而是……

　　“哦，原来你也只是个会做白日梦的小孩”

　　李总最先反应过来。

　　他脸上的笑容有点复杂，但看得出来，是真心想跟李东讲点东西。

　　“李东啊。”

　　“你这个想法，其实在学术圈不算新。”

　　“不光不新，可以说是非常老了。”

　　“早在上世纪八十年代，就有人提了。”

　　李东点了点头。

　　李总继续说。

　　“但是这条路为什么这么多年了都没起来？”