百川智能王小川:美国OpenAI要把1000万个GPU连接起来做大模型 这种想法像登月一样

日期:2023-10-31 来源:手游巴士 作者:快科技

10月31日消息,在今天上午举办的2023云栖大会上,百川智能创始人兼CEO王小川发表演讲称,今年年底之前,国内会有几家公司能够做到GPT3.5的水平,明年国内会有若干款超级应用。

王小川表示,百川智能做大模型的理念是“理想上慢一步,落地上快三步”。4月下场之后,百川在两个月时间就完成了第一个70亿参数的模型的发布,行业一般需要半年,比预期时间节省了三倍。

他直言,在大模型领域,确实得承认跟美国存在差距。他预计今年年底之前国内会有几家公司能达到GPT 3.5的水平,到明年也有信心能够达到GPT4.0的水平,但是达到之后,可能很难去超越他们。

他在发言中还谈到在美国与OpenAI交流时了解到的情况。

“他们在正在设计一个把1000万颗GPU连在一起做模型的技术。咱们做GPT3.5的时候用了4000颗GPU,做GPT4的时候是25000颗,英伟达一年生产能力才100万颗,而OpenAI在设计把1000万个GPU连接起来,这样一种想法像登月一样。“

“我对他们充满了敬畏。我更自豪的地方是,我们在做应用方面可能比美国走得更快。”王小川表示。

王小川认为,在做应用方面,中国企业会走得很快。基于现在已有的技术,相信中国明年有若干款超级应用。

公开资料显示,百川智能成立于2023年4月10日,由前搜狗公司CEO王小川创立。其核心团队来自搜狗、Google、腾讯、百度、华为、微软、字节等知名科技公司,目前团队规模170余人,研发人员占比超80%。

成立半年,百川智能便接连发布baichuan-7B/13B,Baichuan2-7B/13B四款开源可免费商用大模型及Baichuan-53B、Baichuan2-53B两款闭源大模型,平均每28天就会发布一款新的大模型。

10月30日,百川智能发布Baichuan2-192K大模型,其上下文窗口长度达192K,是目前全球最长的上下文窗口,能够处理约35万个汉字,是目前支持长上下文窗口最优秀大模型Claude2(支持100K上下文窗口,实测约8万字)的 4.4倍,更是 GPT-4(支持32K上下文窗口,实测约 2.5万字)的14倍。

据悉,Baichuan2-192K现已正式开启内测,以API(应用程序接口)调用的方式开放给核心合作方,目前已经与财经类媒体及律师事务所等机构达成了合作,将全球领先的长上下文能力应用到了传媒、金融、法律等具体场景当中,不久后将全面开放。

上一篇:349元 米家迷你筋膜枪2开售:18kg强推力

下一篇:比高端GPU更强!清华开发超高性能计算芯片:能效提升400万倍

相关推荐

《胜利女神》的姐妹版?韩国二次元新作《守护女神》公开

手游巴士(www.shouyoubus.com)2023年11月01日讯:日前,韩国Dragon Fly把旗下的收集类RPG新作《Prject N》定名为《Adore : Goddess of Guardian》(暂译:守护女神),开始挑战二次元类

《传奇》开发商将在韩国游戏展上提供《尤弥尔传奇》的试玩

手游巴士(www.shouyoubus.com)2023年11月01日讯:娱美德将参展韩国游戏展G-STAR 2023。此次娱美德的主题为“Life is Game:Omnichain Gaming”。娱美德此次作为G-ST

《方舟:生存飞升》优化更新,MOD工具ARK Devkit发布

手游巴士(www.shouyoubus.com)2023年11月01日讯:《方舟:生存进化》次世代版本《方舟:生存飞升》现已登陆Steam PC,游戏采用虚幻引擎 5 重新设计,并融入了下一代电子游戏技术,带来

魔兽世界巨大变革,将取消升级机制,旧版内容周期轮换回归

手游巴士(www.shouyoubus.com)2023年11月01日讯: 《魔兽世界》11.0版本即将揭晓,现在的剧透很多,但暴雪具体会给玩家一个什么惊喜,还有待嘉年华的确认。但就如Ion所说,魔兽开发团

新职业资料片“伞舞天下”惊喜发布!《刀剑online》首个全能职业来了!

手游巴士(www.shouyoubus.com)2023年11月01日讯: 秋意渐浓,但《刀剑online》依旧火热不减,无数玩家热情期待的新职业资料片“伞舞天下”,将于11月17日火热上线!在新版本

查看更多