第215章 差距不小
逆天宰道小说推荐阅读：Apop之我在首尔当外教、赘婿出山、泥泞、股神传奇、乡村中医李茂阳、开局账号被盗，反手充值一百万、极品全能学生、推拿、最强狂兵、带着超市重返年代、都市：我的器官能自己强化、不装了，我有五个天仙姐姐！、国宝神鉴
听见李东的语音，电话那边的杨胜果隔了很久才发来一条语音。
“你小子最近有点飘啊。”
“我杨胜果要说搞学术，或许是不如你，不如彭罗斯教授，不如刘若传院长，不如……哈哈哈”
说着说着他自己都笑了。
最后很认真的说了句。
“但我会追上的……”
李东一听，也会了条消息。
“我信你，杨老师。”
结束聊天后，李东伸了个懒腰，从床上爬下来。
昨晚上写到一半的那份{Φk}嵌入算子族的草稿还摊在桌上。
“先把手头的事做完。”
“晚上的事，晚上再说。”
……
时间很快就到了下午五点多。
李东换上了一件深灰色的针织衫，外面套了一件黑色的外套。
这是他能在寝室的衣柜里找出来的，最接近“正经”两个字的行头了。
他在镜子前看了自己一眼。
嗯，吴彦祖多了一分成熟的气质。
走出宿舍楼，李东顺着熟悉的“学霸专线”一路坐地铁，大概四十分钟之后，在中关村站下车。
地铁口出来，他按照导航往北走了一段。
然后就看见了一个玻璃幕墙的建筑。
中关村香格里拉大酒店。
这座酒店在中关村这一片的地位有点特殊。
它在海淀中关村大街与知春路的交汇处，背后就是整个京城最密集的科技产业带和高校。
正门往外一百米，就是一堆人耳熟能详的互联网公司的老巢。
所以圈内人一提到“在中关村香格里拉见面”，那潜台词往往都不是简单的“吃个饭聊个天”。
而是……
这顿饭，和科技有关，和钱有关
李东走到酒店门口的时候，就看见高稳已经到了。
他今天也穿了一件深色的西装外套，正站在酒店门口的台阶上和另一个人聊天。
那个人看起来大约五十岁上下，身材不算高，穿着一件看起来很低调的灰色毛呢大衣。
但气质非常扎眼。
李东一看到他，就觉得这张脸莫名其妙地眼熟。
他一边走一边想。
然后他终于对上号了。
我靠？
这不是三巨头之一的李总吗？
这个时候高稳已经看见了他，笑着朝他招了招手。
“李东，过来。”
然后李东就走了过去嘛。
“高老师。”
高稳伸手拍了拍身边那位中年男人的胳膊，给李东介绍。
“这位是北行的李总。”
“李总，这就是你一直想见的李东。
面前这位中年男人脸上的笑容很温和，主动伸出了手。
“你就是李东啊。 ”
真是英雄出少年啊！”
“比我想象的还要年轻。”
李东赶紧把手伸过去，握了握，姿态放得很低。
“李总，您好。”
“我还是个学生，以后要跟您多学习。”
李总笑了笑。
“学生？”
“阳光厅那天那个十三连问，在场的那些老教授有的还是我老师。”
“能把他们问到脸色发青这可不是一个学生能干到的事。”
李东一时间还不知道怎么接。
好在高稳在旁边很自然地打了个圆场。
“行了行了，你俩别在门口站着了，里面还有几位都快到齐了。”
“我们先进去。”
李东点了点头。
三人就一起走进了酒店。
……
中关村香格里拉，三楼宴会厅。
大门被门童推开。
李东往里面看了看。
整个宴会厅其实并不算特别大，中间摆了两张大圆桌。
厅里现在已经站了十来个人，三三两两地凑成几个小圈子。
李东的目光在这些人身上扫了一圈。
好家伙！
全是些大佬呀。
在窗边和别人聊天的，不是上个月才上了《财经》杂志封面的那个吗？
那个在桌边看手机的女士不是里云的副总裁吗？
还有那个看上去四十出头的男人，前段时间刚刚因为一篇关于大模型路线的文章登过一次热搜……
李东心里感叹
这个厅里的规格有点高呀。
这是把整个国内AI圈能叫得动的人，都叫来了呀。
好几个人察觉到门口的动静，转过头来，看见高稳和李总走进来，都笑着点了点。
甚至还有好几个李东不认识的人朝他打了个招呼。
高稳在李东背上轻轻一拍，朝厅里一个相对安静的角落抬了抬下巴。
“先去那边坐会儿。”
三人走过去。
刚一坐下，
李总就从旁边的小几上拿起一杯柠檬水递给李东，笑眯眯地开口。
“李东，今天就当朋友聊。”
“你那个降维算法1.0版本一公开，我们底下深度学习实验室的人就跑去测了。”
“测完之后专门给我打了个电话。”
李总顿了顿，抿了一口水。
“算法是真的很优秀……”
李东喝了一口柠檬水。
“李总您过奖了。”
李总笑得很温和。
“过奖个啥呀。”
“我们公司光是把你那个算法的思路套在分布式训练的通信层上，单卡有效算力直接抬高了一截。”
“你知道这意味着什么吗？”
李东其实大概知道。
但他还是配合地摇了摇头。
李总哈哈的笑道。
“省钱。”
“上亿的省。”
“所以今天我也就不绕弯子了。”
“北行那边，你随时可以来。”
“AI研究院那边，岗位、方向、团队你自己挑，年薪你自己开。”
“别管什么市价，你开多少，我就批多少。”
旁边的高稳端着茶杯，就像没听见一样。
李东心里又开始默默地吐槽。
你们这帮老总怎么回事？
动不动就是拿钱考验干部呀？
你就不怕我开个一百亿吗？
不过吐槽归吐槽，李东脸上的表情还是端得很稳的。
“李总，您是真看得起我。”
“但是说实话，我现在还是想以学业为重。”
“我对纯粹一点的学术更感兴趣，至于把学术成果落地、做产品、做应用这些……我心里清楚，我不是那块料。”
李总脸上的笑容没变。
但眼睛还是有一丝失落闪过。
他在商场上摸爬滚打了二十多年，李东话里的意思，他当然懂。
这小子，是真不爱钱。
华轩：？ ？ ？
或者说……
这小子心里装的东西，比钱大得多。
李总沉默了大概两秒钟。
然后摆了摆手，笑着说道。
“行，不勉强你。”
“我就是惜才。”
“以后你要是改主意了，随时给我打电话。”
高稳这个时候才慢悠悠地插了一句。
“行了李总，你也别老盯着我们家这棵苗子。”
“田钢院士那边可看着呢，你再这么挖下去，老田明天就得给我打电话。”
李总立马“哎哟”一声，做出一个夸张的告饶手势。
“不敢不敢，田院士的人，我哪敢动。”
三个人相视一笑。
桌上的气氛一下子就缓和下来了。
……
六点半的时候，晚宴正式开始了。
服务员推着餐车从门口的侧门进来。
宴会厅一共就两桌，李东、高稳、李总坐在主桌。
旁边几个也是比较有分量的人。
包括里云那位副总裁，还有一个看起来像是某家做芯片的初创公司CEO的男人，也都坐在主桌上。
服务员退出去之后，话题自然而然就从最近的天气、最近的政策，慢慢地飘到了“那玩意儿”上面。
“那玩意儿”
这是在场所有人对“GPT-3.5”心照不宣的称呼。
最先开口的是里云AI那位副总裁，姓邱，叫邱明丽。
她端着酒杯，慢悠悠地说道。
“上个礼拜我们组里专门搞了一个内部测试。”
“中文常识题、英文阅读理解、代码生成、数学推理、长文本总结，五个方向，各出了二十道题。”
她叹了口气。
“五个方向，它都赢了。”
桌上一片沉默。
李总放下了筷子，眉头皱着。
“赢得多吗？”
邱明丽自嘲的笑了一声。
“我就不说具体分数了，但差距……不小。”
“尤其是那种需要多步推理的题，我们这边的模型基本上做到第三步就开始胡言乱语了。”
“它还能稳稳地往下推。”
“你把一道国内高考压轴题扔给它，它就算做错，它做错的路子也是对的。”
“它是在认真地算错，不是那种一看就知道在瞎编的错。”
“这个东西，是我们目前的模型最缺的。”
那个戴眼镜的男人放下了刀叉，慢慢地开口。
“邱总，我其实一直有个问题想请教。”
“GPT-3到GPT-3.5中间这一跳，到底关键是跳在哪儿的？”
“外面现在一提就是RLHF，好像那一套人类反馈就是所有答案。”
“但我总觉得没那么简单。”
邱明丽笑了一下。
“你这个问题，问到点子上了。”
“RLHF这几个字，最近被炒得有点太凶了。”
他用筷子头在桌布上虚划了一下。
“GPT-3到GPT-3.5，真正那一跳，不是RLHF。”
“是代码。”
桌上有人愣了一下。
“代码？”
邱明丽点头。
“OpenAI中间悄悄干了一件事。”
“他们在GPT-3的底座上，又灌了一轮超大规模的代码预训练，内部叫-davinci-002。”
“GitHub上能扒的高质量代码，加上一部分自然语言和代码混在一起的数据，一锅炖进去。”
“灌完这一轮出来，模型的推理能力莫名其妙地就起来了。”
“不光是会写代码了，你让它做数学题、让它做多步逻辑推理、让它分析一段很长的论证，它突然就会想了。”
“业内现在把这个叫做代码带出来的思维链。”
“代码这个东西是很严苛的，你少一个分号它就跑不了。”
“模型在海量代码上被反复蹂躏过一遍之后，它对一步一步地把事情想清楚这件事，就有了一种别的语料给不了的感觉。”
邱明丽顿了一下，抿了一口酒。
“在这个底座上，再往上套指令微调、再往上套RLHF那才有了ChatGPT。”
“但你要问跳在哪儿，我也只是个人猜测，最关键的一跳我觉得的是在代码预训练那一步。”
“RLHF真正解决的问题，是怎么让这个聪明但是野的模型听人话。”
“它解决的是对齐，不是智商。”
那个戴眼镜的男人慢慢地点头，若有所思。
邱明丽接着补了一句。
“当然RLHF那一套也不是简单东西。”
“我们这边要追这一套，标注员的培训体系从零开始搭，至少得半年到一年才能进入状态。”
桌上一片安静。
李总端起杯子，轻轻晃了一下。
“我补一句。”
“我们家文心这边，其实也不是从今年才开始搞的。”
“ERNIE3.0Titan两年前就发了，2600亿参数，中文那些经典榜单上咱们也不虚GPT-3。”
“真要说单纯的中文语言理解，我们底子不差。”
李东一直没有说话，但是他听的很认真。
李总继续说道。
“但这次3.5一出来，我自己心里凉了一下。”
“凉不是凉在它中文比我们好，它中文其实还没我们好。”
“主要是……它和我们根本不是在做同一件事。”
“我们之前那一代大模型，比的是这个句子的意思你理解得准不准、你分类的对不对、你完形填空填得好不好。”
“它比的是你能不能和人自然地聊天，聊的时候顺手把一道题给做了、把一段代码给写了。”
“后面这件事，是另一个维度上的能力。”
“不是我们原来那一套路线自然延伸能接上的。”
“我们内部这两个月已经在赶下一版了。”
“对外的代号你们可能过一阵子就会听到，这次我们是对着3.5去的。”
“但我跟你们交个底。”
“第一版出来的东西，和3.5之间，差距肯定还会有。”
“而且还不是那种一个月两个月就能抹平的差距。”
气氛沉了一会儿，邱明丽突然看向李东。
笑着开口。
“这位小兄弟一直没说话啊。”
“还挺面生的。”
http://www.nitianzaidao.com/yt124042/48372755.html
请记住本书首发域名：www.nitianzaidao.com。逆天宰道手机版阅读网址：www.nitianzaidao.com
“你小子最近有点飘啊。”
“我杨胜果要说搞学术，或许是不如你，不如彭罗斯教授，不如刘若传院长，不如……哈哈哈”
说着说着他自己都笑了。
最后很认真的说了句。
“但我会追上的……”
李东一听，也会了条消息。
“我信你，杨老师。”
结束聊天后，李东伸了个懒腰，从床上爬下来。
昨晚上写到一半的那份{Φk}嵌入算子族的草稿还摊在桌上。
“先把手头的事做完。”
“晚上的事，晚上再说。”
……
时间很快就到了下午五点多。
李东换上了一件深灰色的针织衫，外面套了一件黑色的外套。
这是他能在寝室的衣柜里找出来的，最接近“正经”两个字的行头了。
他在镜子前看了自己一眼。
嗯，吴彦祖多了一分成熟的气质。
走出宿舍楼，李东顺着熟悉的“学霸专线”一路坐地铁，大概四十分钟之后，在中关村站下车。
地铁口出来，他按照导航往北走了一段。
然后就看见了一个玻璃幕墙的建筑。
中关村香格里拉大酒店。
这座酒店在中关村这一片的地位有点特殊。
它在海淀中关村大街与知春路的交汇处，背后就是整个京城最密集的科技产业带和高校。
正门往外一百米，就是一堆人耳熟能详的互联网公司的老巢。
所以圈内人一提到“在中关村香格里拉见面”，那潜台词往往都不是简单的“吃个饭聊个天”。
而是……
这顿饭，和科技有关，和钱有关
李东走到酒店门口的时候，就看见高稳已经到了。
他今天也穿了一件深色的西装外套，正站在酒店门口的台阶上和另一个人聊天。
那个人看起来大约五十岁上下，身材不算高，穿着一件看起来很低调的灰色毛呢大衣。
但气质非常扎眼。
李东一看到他，就觉得这张脸莫名其妙地眼熟。
他一边走一边想。
然后他终于对上号了。
我靠？
这不是三巨头之一的李总吗？
这个时候高稳已经看见了他，笑着朝他招了招手。
“李东，过来。”
然后李东就走了过去嘛。
“高老师。”
高稳伸手拍了拍身边那位中年男人的胳膊，给李东介绍。
“这位是北行的李总。”
“李总，这就是你一直想见的李东。
面前这位中年男人脸上的笑容很温和，主动伸出了手。
“你就是李东啊。 ”
真是英雄出少年啊！”
“比我想象的还要年轻。”
李东赶紧把手伸过去，握了握，姿态放得很低。
“李总，您好。”
“我还是个学生，以后要跟您多学习。”
李总笑了笑。
“学生？”
“阳光厅那天那个十三连问，在场的那些老教授有的还是我老师。”
“能把他们问到脸色发青这可不是一个学生能干到的事。”
李东一时间还不知道怎么接。
好在高稳在旁边很自然地打了个圆场。
“行了行了，你俩别在门口站着了，里面还有几位都快到齐了。”
“我们先进去。”
李东点了点头。
三人就一起走进了酒店。
……
中关村香格里拉，三楼宴会厅。
大门被门童推开。
李东往里面看了看。
整个宴会厅其实并不算特别大，中间摆了两张大圆桌。
厅里现在已经站了十来个人，三三两两地凑成几个小圈子。
李东的目光在这些人身上扫了一圈。
好家伙！
全是些大佬呀。
在窗边和别人聊天的，不是上个月才上了《财经》杂志封面的那个吗？
那个在桌边看手机的女士不是里云的副总裁吗？
还有那个看上去四十出头的男人，前段时间刚刚因为一篇关于大模型路线的文章登过一次热搜……
李东心里感叹
这个厅里的规格有点高呀。
这是把整个国内AI圈能叫得动的人，都叫来了呀。
好几个人察觉到门口的动静，转过头来，看见高稳和李总走进来，都笑着点了点。
甚至还有好几个李东不认识的人朝他打了个招呼。
高稳在李东背上轻轻一拍，朝厅里一个相对安静的角落抬了抬下巴。
“先去那边坐会儿。”
三人走过去。
刚一坐下，
李总就从旁边的小几上拿起一杯柠檬水递给李东，笑眯眯地开口。
“李东，今天就当朋友聊。”
“你那个降维算法1.0版本一公开，我们底下深度学习实验室的人就跑去测了。”
“测完之后专门给我打了个电话。”
李总顿了顿，抿了一口水。
“算法是真的很优秀……”
李东喝了一口柠檬水。
“李总您过奖了。”
李总笑得很温和。
“过奖个啥呀。”
“我们公司光是把你那个算法的思路套在分布式训练的通信层上，单卡有效算力直接抬高了一截。”
“你知道这意味着什么吗？”
李东其实大概知道。
但他还是配合地摇了摇头。
李总哈哈的笑道。
“省钱。”
“上亿的省。”
“所以今天我也就不绕弯子了。”
“北行那边，你随时可以来。”
“AI研究院那边，岗位、方向、团队你自己挑，年薪你自己开。”
“别管什么市价，你开多少，我就批多少。”
旁边的高稳端着茶杯，就像没听见一样。
李东心里又开始默默地吐槽。
你们这帮老总怎么回事？
动不动就是拿钱考验干部呀？
你就不怕我开个一百亿吗？
不过吐槽归吐槽，李东脸上的表情还是端得很稳的。
“李总，您是真看得起我。”
“但是说实话，我现在还是想以学业为重。”
“我对纯粹一点的学术更感兴趣，至于把学术成果落地、做产品、做应用这些……我心里清楚，我不是那块料。”
李总脸上的笑容没变。
但眼睛还是有一丝失落闪过。
他在商场上摸爬滚打了二十多年，李东话里的意思，他当然懂。
这小子，是真不爱钱。
华轩：？ ？ ？
或者说……
这小子心里装的东西，比钱大得多。
李总沉默了大概两秒钟。
然后摆了摆手，笑着说道。
“行，不勉强你。”
“我就是惜才。”
“以后你要是改主意了，随时给我打电话。”
高稳这个时候才慢悠悠地插了一句。
“行了李总，你也别老盯着我们家这棵苗子。”
“田钢院士那边可看着呢，你再这么挖下去，老田明天就得给我打电话。”
李总立马“哎哟”一声，做出一个夸张的告饶手势。
“不敢不敢，田院士的人，我哪敢动。”
三个人相视一笑。
桌上的气氛一下子就缓和下来了。
……
六点半的时候，晚宴正式开始了。
服务员推着餐车从门口的侧门进来。
宴会厅一共就两桌，李东、高稳、李总坐在主桌。
旁边几个也是比较有分量的人。
包括里云那位副总裁，还有一个看起来像是某家做芯片的初创公司CEO的男人，也都坐在主桌上。
服务员退出去之后，话题自然而然就从最近的天气、最近的政策，慢慢地飘到了“那玩意儿”上面。
“那玩意儿”
这是在场所有人对“GPT-3.5”心照不宣的称呼。
最先开口的是里云AI那位副总裁，姓邱，叫邱明丽。
她端着酒杯，慢悠悠地说道。
“上个礼拜我们组里专门搞了一个内部测试。”
“中文常识题、英文阅读理解、代码生成、数学推理、长文本总结，五个方向，各出了二十道题。”
她叹了口气。
“五个方向，它都赢了。”
桌上一片沉默。
李总放下了筷子，眉头皱着。
“赢得多吗？”
邱明丽自嘲的笑了一声。
“我就不说具体分数了，但差距……不小。”
“尤其是那种需要多步推理的题，我们这边的模型基本上做到第三步就开始胡言乱语了。”
“它还能稳稳地往下推。”
“你把一道国内高考压轴题扔给它，它就算做错，它做错的路子也是对的。”
“它是在认真地算错，不是那种一看就知道在瞎编的错。”
“这个东西，是我们目前的模型最缺的。”
那个戴眼镜的男人放下了刀叉，慢慢地开口。
“邱总，我其实一直有个问题想请教。”
“GPT-3到GPT-3.5中间这一跳，到底关键是跳在哪儿的？”
“外面现在一提就是RLHF，好像那一套人类反馈就是所有答案。”
“但我总觉得没那么简单。”
邱明丽笑了一下。
“你这个问题，问到点子上了。”
“RLHF这几个字，最近被炒得有点太凶了。”
他用筷子头在桌布上虚划了一下。
“GPT-3到GPT-3.5，真正那一跳，不是RLHF。”
“是代码。”
桌上有人愣了一下。
“代码？”
邱明丽点头。
“OpenAI中间悄悄干了一件事。”
“他们在GPT-3的底座上，又灌了一轮超大规模的代码预训练，内部叫-davinci-002。”
“GitHub上能扒的高质量代码，加上一部分自然语言和代码混在一起的数据，一锅炖进去。”
“灌完这一轮出来，模型的推理能力莫名其妙地就起来了。”
“不光是会写代码了，你让它做数学题、让它做多步逻辑推理、让它分析一段很长的论证，它突然就会想了。”
“业内现在把这个叫做代码带出来的思维链。”
“代码这个东西是很严苛的，你少一个分号它就跑不了。”
“模型在海量代码上被反复蹂躏过一遍之后，它对一步一步地把事情想清楚这件事，就有了一种别的语料给不了的感觉。”
邱明丽顿了一下，抿了一口酒。
“在这个底座上，再往上套指令微调、再往上套RLHF那才有了ChatGPT。”
“但你要问跳在哪儿，我也只是个人猜测，最关键的一跳我觉得的是在代码预训练那一步。”
“RLHF真正解决的问题，是怎么让这个聪明但是野的模型听人话。”
“它解决的是对齐，不是智商。”
那个戴眼镜的男人慢慢地点头，若有所思。
邱明丽接着补了一句。
“当然RLHF那一套也不是简单东西。”
“我们这边要追这一套，标注员的培训体系从零开始搭，至少得半年到一年才能进入状态。”
桌上一片安静。
李总端起杯子，轻轻晃了一下。
“我补一句。”
“我们家文心这边，其实也不是从今年才开始搞的。”
“ERNIE3.0Titan两年前就发了，2600亿参数，中文那些经典榜单上咱们也不虚GPT-3。”
“真要说单纯的中文语言理解，我们底子不差。”
李东一直没有说话，但是他听的很认真。
李总继续说道。
“但这次3.5一出来，我自己心里凉了一下。”
“凉不是凉在它中文比我们好，它中文其实还没我们好。”
“主要是……它和我们根本不是在做同一件事。”
“我们之前那一代大模型，比的是这个句子的意思你理解得准不准、你分类的对不对、你完形填空填得好不好。”
“它比的是你能不能和人自然地聊天，聊的时候顺手把一道题给做了、把一段代码给写了。”
“后面这件事，是另一个维度上的能力。”
“不是我们原来那一套路线自然延伸能接上的。”
“我们内部这两个月已经在赶下一版了。”
“对外的代号你们可能过一阵子就会听到，这次我们是对着3.5去的。”
“但我跟你们交个底。”
“第一版出来的东西，和3.5之间，差距肯定还会有。”
“而且还不是那种一个月两个月就能抹平的差距。”
气氛沉了一会儿，邱明丽突然看向李东。
笑着开口。
“这位小兄弟一直没说话啊。”
“还挺面生的。”
http://www.nitianzaidao.com/yt124042/48372755.html
请记住本书首发域名：www.nitianzaidao.com。逆天宰道手机版阅读网址：www.nitianzaidao.com