文|林炜鑫
编辑|邓咏仪
ChatGPT 打了一个共鸣的响指,大洋两岸的 AI 行业都为之震颤。短短几个月,许多知名人士宣布投身大模型创业,即便有人离 AI 很远,对大模型一知半解,也愿意拿出令人惊叹的热情和金钱,小步快跑挤进这条赛道。
(资料图片仅供参考)
" 仿佛回到了 10 年前深度学习刚出来那会," 张家兴告诉 36 氪," 全社会各行各业积极拥抱新的技术。"
近期,36 氪专访了这位科学家创业者,他坦言现在是自己职业生涯最兴奋的阶段," 我完整经历过深度学习从学术界诞生到产业界落地的技术周期,现在我感觉在经历第二个技术周期。"
张家兴是粤港澳大湾区数字经济研究院(IDEA 研究院)认知计算与自然语言研究中心讲席科学家与负责人。加入 IDEA 研究院前,他先后就职于百度、阿里巴巴、360 等大厂,带领团队进行 AI 相关的项目研究和技术落地。
两年前,张家兴加入 IDEA 研究院,开始带领团队做大模型的深入研究,是国内最早一批专注于预训练大模型的团队之一。他带领团队开源了第一个以中文为主的 AI 绘画模型 " 太乙 ",还创建了名为 " 封神榜 " 的大模型开源计划,截止目前共开源超过 100 个模型。
作为行业专家,张家兴第一时间关注到 ChatGPT 的发布。他承认最初低估了 GPT-3.5 所带来的技术突破,直到团队上手体验,他的内心 " 受到很大的冲击 "。
在他看来,颠覆性的变化在于,从过去强调模型结构创新,走向了强调训练方法创新。OpenAI 为国内外同行指出一条明路:把通用大模型当作产品,引入更先进的训练方法,一遍遍打磨和调试。因此,训练方法将是大模型生产商的核心竞争优势。
对张家兴来说,大模型创业最难的环节不是资金和算力,而是人才。这不是单纯靠钱能解决的要素。在国内,AI 学界和工业界存在一定程度的脱钩,学界诞生的前沿成果往往很难快速应用到工业界。" 在青年研究者跟工程师之间,以前大家忽视了一层,是用工程能力做模型的人。"
在未来,各行各业都需要大模型——这已是显著的发展趋势。目前,很多公司还在调用通用大模型的 API,但不是每家公司都有能力和资源去从零开始建大模型模型。" 只有当每个公司拥有自己的大模型时,模型 - 场景的闭环才有可能得以成立,商业化实践才有可能获得成功,我想在中国将这层能力补齐,并打出影响力。" 张家兴表示。
如今,张家兴的团队也在这条道路上进行实践——专注于生产垂直领域的大模型,并与各个行业的企业客户合作,帮助客户量身定制合适的模型,落地到具体应用场景中。
谈及 AI 发展的未来,张家兴是坚定的乐观派,他相信 AI 能帮助提高人类的数字生产力。接下来的十年,是属于生成式 AI 和通用式 AI 的。对普通人来说,学会利用 AI 工具,其实不是一件难事。
张家兴以下是 36 氪和张家兴的对话,经 36 氪编辑整理:
OpenAI 证实了大模型的价值
36 氪:2014 年,其实你在深度学习领域已经发表了相当前沿的研究成果,当时想象过会出现 ChatGPT 这样的产品吗?
张家兴:2014 年有一个技术叫 LSTM(长短期记忆网络),在学术界出现了一些让人惊艳的成果。当时我印象很深刻的例子是,它可以直接生成一个网页代码,格式完全正确,网页也能展示。因此今天我们看到的生成式人工智能,其实在 2014 年已经看到了萌芽,但是在工业界迟迟无法落地。一个很重要的原因是,当年的模型规模太小,跟今天没法比。今天技术 ready 了,有更多更好的数据和算力,曾经我们寄予厚望的生成式模型终于实现了。
36 氪:两年前,你就已经开始在 IDEA 研究院对大模型做深入研究了,当时,你对大模型的判断是怎么样的,学界对大模型的研究大概是什么状态?
张家兴:我对 AI 发展一直很乐观。两年前,随着 GPT3 的问世,我们已经认识到未来认知智能必须基于基础设施——预训练模型,做任何自然语言任务,都是要从预训练模型开始,不可能一切都是从零开始。
当时我组建认知计算与自然语言研究中心,就是生产预训练模型。跟现在不同的是,当时模型结构并没有像今天这样收敛到 GPT 这样的结构,当时还是百花齐放的状态。
36 氪:那会你们做的预训练模型是什么样的?
张家兴:那个时候我们团队就在推出 " 封神榜 " 体系," 体系 " 这个词也意味着要做很多基础的训练模型,当时我们就是中文最大的开源体系。我们希望下游可以拿着我们的模型再进一步微调,实现他们具体场景中的应用。这件事情做了两年,开源了接近 100 个预训练模型,直到 ChatGPT 的出现,打破了传统模型的效果。
36 氪:技术层面,ChatGPT 具体最让你感到惊讶或震撼的是什么?
张家兴:令我很惊讶的还是在基于一定知识之下,它可以进行复杂的推理,得出正确的结论。
此前我们有两大很难解决的问题。一个是知识的结构化,为此耗费了巨大人力,也难以保障准确率,维护成本也很高。现在只要对包含知识的文本做预训练,就能让大模型真的去理解、记住这些知识。
另一个是推理,之前我们认为推理需要通过符号系统再加上结构化的知识才能实现,而今天我们看到,ChatGPT 可以完全通过自然语言的训练,并未显示出现符号和知识就具备这个能力,颠覆了我们对这个问题的认知。
36 氪:具体来说,OpenAI 推动的最重要的技术变化是什么?
张家兴:终于从过于强调模型结构创新走向了强调训练方法创新。训练方法变得更重要起来了。
ChatGPT4 模型跟两年前的 GPT3 模型结构是一模一样的,但是为什么效果就提升了这么大?因为这里面引入了很多更先进的训练方法,比如说指定微调,让机器更懂得人类的指令;比如人类反馈学习,能够调整模型的偏好,全都是训练方法上的创新。
我们团队目前也将这些创新性训练方法应用于模型训练过程,实际应用证明,这些方法确实能够显著提升模型的表现。因此,我们深刻认识到,训练方法的创新在实现更强大的 AI 系统中起到了关键性作用。即使把模型结构开源了,但训练方法是你藏起来的核心竞争力,这也使得在这个时代做通用模型训练这件事情有商业价值。
同时,OpenAI 也让大家认识到,不要追求用一次性的训练就能得到一个效果很好的模型。模型效果提升是靠一遍又一遍的打磨,不断的迭代升级。
36 氪:这是不是意味着把模型当成产品?
张家兴:对,当我的模型进行一次训练迭代,我会看到模型的优点跟缺点,针对缺点,我找补救的方法,再继续进行训练,当所有的缺陷都补齐,优点都加强之后,模型就变成今天大家看到的样子。我们团队当下在做的姜子牙大模型就在持续地作为产品打磨,接下来也会不停地进行版本升级。
36 氪:OpenAI 刚起步时,因为技术路线比较小众,创始人 Sam Altman 回忆说他们遭受到很多白眼。你刚开始做 IDEA 的时候,当时国内行业氛围是怎么样的?
张家兴:当时,这个领域(预训练大模型)没有那么受重视,因为大家传统的思路都是 AI 的价值一定要跟某个行业结合,一定要有直接在具体场景中的产业落地。我们只生产预训练模型,可能别人不理解,觉得通用的东西又有什么用呢?
但是 ChatGPT 的出现,让大家知道一个做通用模型的公司,在整个产业生态中具有非常重要的价值。AI 产业需要有上下游这样的生态体系,而不是每一家都自己去垂直造烟筒——从预训练模型到产业落地,恨不得把一整个系统都做出来。
OpenAI 证实了大模型的价值,我们做这个事情的价值也终于得到证实。
36 氪:现阶段去追赶 OpenAI,做出一个跟 ChatGPT 差不多的东西,还有没有意义?
张家兴:还是有意义的。OpenAI 这样提供一个超级大模型,一个通用 API,指望大家来调用,这不是产业落地的唯一方式。很多商业公司有需求针对自己场景的定制化模型,但又没办法从头去做这件事情,代价太大,就需要生产通用大模型的公司来帮助他们。
36 氪:这也就是你们团队要做的事情?
张家兴:我们具备了生产通用大模型的能力,还能给用户提供一些工具,帮助用户基于我们的模型继续生产他们垂直应用场景里的模型,再通过这种方式就能够让用户的模型跟场景形成迭代。我认为这是这是接下来大模型能够商业化成功的关键。
让模型落地到场景中,是商业化的关键
36 氪:相信你最近的工作状态特别忙碌,能跟我们说说你的一天怎么过的吗?
张家兴:我的一天,一方面是跟团队研究探讨最前沿的技术问题,另一方面现在会见大量的客户,主要也听听大家想拿大模型做什么,这样好让我们的通用模型去提供大家所需要的能力。
比如,我们接下来会开源各个不同侧重能力的模型,也是因为发现每个客户对于大模型的需求不同。通过这些开源模型,我们希望能推动中国 AGI 的应用层迸发。
36 氪:两年间," 封神榜 " 开源体系已经推出了近百个开源模型。你的团队最近刚刚开源了 130 亿参数的通用模型 " 姜子牙 ",这个大模型具体是怎么样的?
张家兴:" 姜子牙 " 是我们针对通用大模型推出的新开源系列,而第一个开源的 " 姜子牙 " 通用大模型 v1 也是我们封神榜开源系列的第 99 个开源模型。
在最新的 SuperCLUE 测评榜单中,我们的姜子牙 v-1 的测评结果也是开源模型里的第一。接下来,我们还会侧重各种能力开源不同的模型,比如多模态模型就会在本周推出。
36 氪:目前企业对于大模型的需求,都有哪些?
张家兴:我接触的这些企业几乎横跨了所有领域。比较典型的是这几件事情:第一是生成文章和代码。第二是对文本做完全开放式、预先不设定具体任务、精准的理解。第三就是推理类的,比如说我要做一道题,能不能提示这个问题怎么解决。
36 氪:大模型比较理想的商业模式,应该是怎么样的?
张家兴:根据以往经验,很多商业成功需要一个商业实体(如公司、团队和机构等),在技术产品的基础上建立应用场景,形成迭代的闭环。在这一闭环的生态里,更好的产品技术会吸引更多的用户和数据,产品和技术得以迭代更新、变得更好。
但在 AI 产业,目前很多公司还在调用通用大模型的 API,无法建立闭环,大模型的商业化进程缓步不前。只有当每个公司拥有自己的大模型时,模型 - 场景的闭环才有可能得以成立,商业化实践才有可能获得成功。
我们团队的目标就是,用通用大模型去帮助每个企业甚至每个个人,让他们能够拥有并不断优化自己的大模型,和应用场景形成闭环,在商业化道路上走得更好。
36 氪:商业化这个事情,会如何改变整个 AI 产业?
张家兴:未来的 AI 产业一定是巨大生态体系,既有处于下游的各个企业在各自场景中引用大模型技术,又有处于上游的模型生产商为整个生态提供预训练模型。云厂家和解决方案公司也在整个生态系统中扮演重要的角色。
36 氪:你之前在大厂也有过多年的技术转化业务落地的经验,现在在 IDEA 研究院进行科研转化的实践。从科研到转化落地中,你有哪些想分享的体会?
张家兴:如果作为科学家,更多的精力会放在前沿技术的思考和解决问题的创新上,会比较少去关注具体这个技术如何能给市场和社会带来价值,以及能带来多大的价值。
而作为科学家创业者,则更需要去关注市场的需求。从技术的前沿创新研究到最后的落地市场商业化,有很多鸿沟需要跨越,包括了解市场,了解客户,了解实现落地的每一步。我相信每一位科学家都有一个自己的梦想,而如何将这个梦想实现出来,是创业家需要去完成,也是现在特别让我兴奋的一个角色。
36 氪:做大模型的几个核心要素:算力、人才、数据等等,从难到易,你会怎么排序?
张家兴:我认为最困难的是人才,目前在国内做大模型的团队还是稀缺资源。算力实际上只要有资本的认可、有钱,就会有。数据虽然需要长时间积累,但它是线性增长,有多少投入就有多少数据。人才不是单纯用钱可以解决的,并且还需要很长时间的积累。我们团队也是基于通过生产近百个大模型,才逐渐磨合出来的。
36 氪:当下,AI 人才的竞争是否已经到了一个白热化的程度?
张家兴:可能会有这样的趋势。但从另一个方面来说,大模型团队的建设不仅仅是把人聚在一起,还需要一个好的方式把大家组织好做好模型。
AI 离成为普通人的工具就差一步
36 氪:现阶段的 AI 研究进度会使你感到害怕吗?
张家兴:我对 AI 对社会的影响一直比较乐观。AI 发展减少一些工作机会的同时也创造出更多工作机会,甚至它创造的工作机会正好适合于那些可能丢了工作的人。
以我们算法工程师为例,曾经我们每个人都是垂直造烟筒,什么都做。现在 AI 产业有上下游的健全的生态体系,那么算法工程师必然会分层,有些在做上游的预训练模型,有些拿着预训练模型,基于上游提供的工具,在做下游的更广泛的落地。下游对算法工程师的需求量会更大,所以说 AI 创造了更多的就业机会。
从宏观来说,AI 为社会创造更多数字生产力。现在世界的人口可能走向稳定,甚至人口会减少,但是美好生活需要有更多生产力,我们就靠通用人工智能增加更多数字生产力。
36 氪:今年三月你公开表示,将来 10 年是属于生成式 AI 和通用式 AI。对我们普通人来说,将来 10 年应该做好什么准备?
张家兴:对于普通人来说,就是要学会怎么利用 AI 的工具,这是对每个人都有用的。另外一点,作为具体在每个场景中的人要努力去想,在我的场景中,我该如何积极拥抱 AI 的技术,然后对我的场景进行 AI 升级。
36 氪:一个不懂 AI 的人,是否有可能被淘汰?
张家兴:未来只要会用 AI 工具的人,就不会被淘汰,使用 AI 工具其实并不是一件难的事情。 所以我希望大家都要积极拥抱 AI,把它作为提升自己生产力的工具。
36 氪:你觉得现在我们已经进入 AGI 时代了吗?学术界可能还有一些争论。
张家兴:我认为这个叫做 AGI 时代 1.0。其实是如何理解 " 通用 " 这个词,现在终于有一个模型可以具备所有的能力,这已经是一种通用。
36 氪:你认为,下一次 AGI 的突破会是什么?
张家兴:AGI 当下表现出来的是特征,是用自然语言来交互,但还欠缺的能力是自然语言学习。如果未来 AGI 模型都跟人一样,通过自然语言就能教会它各种知识技能,那么它就会真的变成普通人的 AI 工具。在更远的未来,或许 AGI 可以像人一样融入社会,跟人类一起交流、学习、成长。
欢迎交流
标签:
什么是工作记忆 什么是工作年限
安庆太湖徐家湾(关于安庆太湖徐家湾简述)
上海女排挑大梁 国家队跑龙套 落差巨大 让仲慧心理崩溃
原神新兵的徽记哪里刷怎么获取
《和平精英》人脸识别分享给别人方法
《和平精英》人脸识别异地处理方法
《王者荣耀》人脸识别频繁解决方法
《寻路者》配置要求高吗 Wayfinder配置要求推荐
极品飞车在线移动版官网在哪下载 最新官方下载安装地址
《暗黑4》《FF16》引领美国6月销量榜 PS5硬件第一
张艺谋《坚如磐石》公布预告:限制级场面挑战感官
射洪风顺机动车检测有限公司(关于射洪风顺机动车检测有限公司介绍)
Uber加紧开发AI聊天机器人
【主题教育】切实推动主题教育专项整治项目,本市首批四个街镇实现住宅小区地下车库信号...
键盘锁住了怎么解锁 键盘锁住了打不了字怎么解锁
苍漠獠鹰《决战!平安京》山风全新赏金特典皮肤正式登场
《以闪亮之名》预约破千万,掀起全网女玩家的狂欢
《王者荣耀》2023兔年新春限定皮肤技能特效展示
《蔚蓝档案》抽卡概率详解
天道创造新手战力提升攻略
博德之门3观察者打法指南
LSP大社死!《街霸6》比赛中主办方用了全裸MOD被直播曝光……
“违背祖宗”的决定?暴雪8月搞事,离职员工MMO新作上架
Xbox科隆展计划公开 现场可游玩《装甲核心6》《潜行者2》
常温超导有望复现,iPhone算力能超过量子计算机?
雪域高原上的青春之歌
原创 王者荣耀:8月官方终于完成一个大饼,13款荣耀典藏升级
QQ飞车端游2022a车排名最新是什么样的 QQ飞车黑夜传说
逆水寒手游逆天开局,7月流水仅次于王者,网友:又一个国民手游
纸嫁衣5半斤八两具体解谜顺序解析
伊苏9最后的魂魄都是谁
《蔚蓝档案》换看板娘方法
《支付宝》1月14日蚂蚁庄园答案(2)
暗黑3巫医加点巫医技能点分配建议
暗黑3宠物流巫医技能搭配
卡普空:《街霸6》销量符合预期 《原始袭变》存在挑战
喜讯|“江西风景独好”获评上半年江西省政府系统优秀微信公众号
几款茶饮 消暑祛湿助安神
从放牛娃到“牛司令”,阳新养牛大户见证乡村巨变
元气骑士无尽旅行试炼之地怎么开启 元气骑士试炼之地
原创 海月旗袍新皮肤曝光,开放提前获取渠道,典藏皮肤新增待机互动动作
2023无畏契约全球冠军赛即将打响!收看赛事直播掉落限定游戏道具
潜水员戴夫达夫的粉色快递任务攻略
《原神》闪耀的群星微信红包封面领取攻略
IG老板有小孩了?电竞公司澄清:自家老板的孩子,认了他当干亲
海月新皮肤测评:S+级模型,旗袍中式风格,有望评选年度TOP5!
暗黑3奶牛关怎么进,暗黑奶牛关怎么进不了
消息人士:任天堂将于本月底的科隆游戏展公布新主机
《塞尔达传说王国之泪》怎么获得潜行套
《崩坏星穹铁道》怎么完成龙图三变
《塞尔达传说王国之泪》怎么获得雪地靴与沙地靴
win10运行速度慢_win10运行速度提高90
肯德基实践心得
天府融媒看大运|赛程过半极速盘点,翔子提问蓉宝回答!
武汉放宽租房提取住房公积金政策!今起施行
美媒:美国下周或宣布更多对乌克兰军事支持
卡拉彼丘心夏玩法介绍
艺画开天游戏《凡应》公布 计划登录PC端、主机端、移动端等多个平台
博德之门3邪术师技能怎么加点
口袋妖怪究极绿宝石5.5世界锦标赛怎么刷PP提升剂
《你不按套路啊》种了个果通关攻略
虎娘日报:联盟官宣S13世界赛赛程 LNG首次闯进夏季总决赛
《黑魂》《只狼》作曲家北村友香现已从FromSoftware离职
国外玩家很羡慕国内《黑神话》试玩 期待科隆展
魔域sf手游人气排行榜前五名,2023五大魔域sf手游盘点
《暗黑破坏神4》S1赛季旋风斩野蛮人BD分享 第一赛季野蛮人百层通关BD推荐
《梅尔沃放置》新扩展包“探索地图集” 将于今年九月推出
泰拉瑞亚优惠卡怎么获得
西林县“土专家”跨省当“教授”
福莱特(601865.SH):拟使用不超20亿元的闲置募集资金进行现金管理
星光集团(00403)8月2日斥资20.48万港元回购100万股
《原神》神里绫华新皮肤花时来信价格一览
《我的世界》2023年1月10日兑换码
蛟龙踏云飞天去 掀雨破雾行风中 新时装带你领略游龙之姿!
《支付宝》蚂蚁新村1月10日答案
清云加速迷失好玩吗 清云加速迷失玩法简介
蔚蓝档案鹤城玩法攻略
蔚蓝档案爱清风华强度怎么
《原神》手游天空之刃属性图鉴
Faker复出首战0-3,使出献祭流打法,每一次阵亡,T1都能赢下团战
塞尔达传说王国之泪奇奇马乌神庙攻略
急急急急急我是急急国王梗意思介绍
哈利波特魔法觉醒蜷翼魔图鉴
《命运方舟》葱蒸蟹怎么获得?葱蒸蟹获得方法
胖东来招经理助理:985学历年薪30万 每天工作6小时
《太空行动》沙漠哨兵救赎者身份是什么 沙漠哨兵救赎者身份介绍
《遗迹2》迷宫地图探索指南 迷宫地图装备获取方法
《遗迹2》破裂炮获取攻略 破裂炮怎么获取
《命运方舟》追踪痕迹任务攻略?追踪痕迹任务攻略
《遗迹2》压血减伤流怎么玩? 压血减伤流配装攻略
超稀有“魔戒”万智牌易手 说唱歌手波兹·马龙购入
《银河境界线》维多利亚人物介绍 维多利亚怎么样
泰拉瑞亚稽古衣怎么获得
泰拉瑞亚小雪怪皮毛外套怎么获得
《黑神话:悟空》猴子新图模型细节遭吐槽!玩家:是一种瑕疵的爱!
《塞尔达传说王国之泪》怎么制造飞机
宋柏(关于宋柏介绍)
中信海直驰援河北涿州防汛救援
人民网评:对瞒报谎报一查到底绝不姑息
卓创资讯:三季度产区鸡蛋价格将涨至年内高位 或不及去年同期