都大学了，小学系统才来？ 第389节

　　这正是演海一直在做的事情。

　　“行了。“

　　陈林自言自语道：

　　“感慨归感慨，该干活还得干活。“

　　他站起身。

　　朝白迁和潘思的工位走去。

　　......

　　......

　　白迁和潘思正在讨论刚才会议上的内容。

　　看到陈林走过来。

　　两人都抬起头。

　　“陈总，有什么事？“

　　白迁问道。

　　陈林在他们旁边找了把椅子坐下。

　　“计划有变。“

　　他直接说道：

　　“刚才廖部长打电话来了。“

　　白迁和潘思对视了一眼。

　　都露出了好奇的神色。

　　陈林简单说明了一下情况。

　　YanHai-30B要在全国范围内推广。

　　科技蔀那边非常重视。

　　津门超算中心会提供算力支持。

　　他们演海这边需要尽快把推理服务开发好。

　　白迁听完，若有所思地点了点头。

　　“推理服务的开发不算复杂。“

　　他说：

　　“但如果要支持大规模并发的话......“

　　“确实需要花点时间做优化。“

　　潘思也点了点头。

　　“主要是部署和运维那块。“

　　他补充道：

　　“大规模集群的推理服务，稳定性是第一位的。“

　　“不能出任何岔子。“

　　陈林笑了笑。

　　“所以......“

　　他看着两人：

　　“之前定下的神经发育程序融合YanHai-1.5B的研发计划，暂停一下。“

　　“先把推理服务这块搞定。“

　　他顿了顿：

　　“计划不如变化嘛。“

　　白迁和潘思都没有异议。

　　毕竟推广YanHai-30B是一件大事。

　　某种程度上比神经发育程序的研发还要紧迫。

　　“那人员怎么安排？“

　　潘思问道。

　　陈林想了想。

　　“推理服务这个项目不算大。“

　　他说：

　　“潘思你来当项目经理。“

　　“白迁当架构师。“

　　“我、沈妍、孙宇三个人打下手。“

　　他笑着补充道：

　　“够用了。“

　　潘思和白迁都点了点头。

　　这个配置确实够用。

　　推理服务的开发虽然需要一定的技术功底。

　　但和从零开始训练一个大模型相比。

　　难度完全不是一个量级的。

　　“那就这么定了。“

　　陈林站起身：

　　“尽快开干吧。“

　　“目标是一周之内完成开发和测试。“

　　“下周一正式部署上线。“

　　“没问题。“

　　白迁和潘思异口同声地回答。

　　......

　　项目正式启动。

　　白迁作为架构师。

　　很快就把整体框架拿了出来。

　　大模型推理服务这块。

　　各大科技巨头其实已经做得非常成熟了。

　　有很多现成的开源方案可以参考。

　　什么vLLM、TensorRT-LLM、TGI......

　　每一个都有大量的生产环境验证。

　　白迁没有闭门造车。

　　而是在这些成熟方案的基础上进行改造。

　　针对YanHai-30B的特殊架构做了一些定制化的优化。

　　“我们的架构天然适合做推理优化。“

　　白迁一边画图，一边解释：

　　“因为计算复杂度本身就比Transformer低。“

　　“再加上一些工程层面的trick......“

　　“推理速度应该能做到非常可观。“

　　他在白板上画了一个大致的系统架构图。

　　分为几个核心模块：

　　模型加载模块、请求分发模块、推理计算模块、结果返回模块。

　　还有一些辅助模块：

　　日志模块、监控模块、安全模块......

　　“整体架构就是这样。“

　　白迁放下马克笔：

　　“接下来我细化一下每个模块的技术方案。“

　　“然后交给潘思来分配任务。“

　　潘思点了点头。

　　“我这边已经在准备任务拆解了。“

　　他说：

　　“等白迁的方案出来，我就开始分工。“

　　效率很高。

　　毕竟都是老手了。

　　......

　　大约一个小时后。