李开复再谈大模型,官宣新公司“零一万物”
撰文 | 李信马
题图 | 摄
“百模大战”如火如荼之时,又一大佬加入战局。
7月3日上午11时,创新工场董事长兼CEO李开复博士正式官宣并上线了其筹组的“AI 2.0”新公司——零一万物,并公布了其技术进展和管理层背景。
对于公司定名“零一万物”,李开复博士表示,零一即01,代表的是数字世界,从零到一,乃至宇宙万物,寓意 “零一智能,万物赋能” 的雄心。
作为人工智能领域的先驱者之一,40年来,李开复始终活跃在人工智能科研和产业一线。1998年,李开复创立微软亚洲研究院,已成为中国培养人工智能人才最多、输出人才质量最高的“AI学府”。
此前李开复曾表示,AI大语言模型是中国不能错过的历史机遇,零一万物就是在今年3月下旬,由他亲自带队孵化的新品牌,目前官网(01.AI)也同步上线 。“零一万物欢迎有AI 2.0技术实力和AGI信仰的优秀人才加入,一起打造AI2.0全新平台,加速AGI到来。”李开复说。
据了解,零一万物总部注册于北京,成员由李开复在全球范围内保密状态下定向延揽,目前团队已经有数十名核心成员,集中在大模型技术、人工智能算法、自然语言处理、系统架构、算力架构、数据安全、产品研发等领域。
已加入的联创团队成员中,包含前阿里巴巴副总裁、前百度副总裁、前滴滴/百度首席算法负责人、前谷歌中国高管、前微软/SAP/Cisco/副总裁,算法和产品团队背景均来自国内外大厂,同时零一万物还启动了 2023 DeeCamp AI 人才项目,邀集对大模型领域具有热情和创意的优秀实习生,参与六大前沿热门的大语言模型研发课题。
目前,海外少数几家领先企业引领了全球大模型前沿技术突破,带动从 AI 模型、AI技术设施、AI应用等多层次的新一波创业荣景。
按照 Preqin 数据分析,2020年至2023年6月,美国AI投资额为232.5亿美元,是中国的3.6倍。2023年1月至6月中旬,仅美国的AI赛道投资金额就高达266亿美元,是中国 AI 赛道投资40亿美元的6.6倍。
硅谷知名投资人安德森·霍洛维茨这么评价:“这个市场的潜在规模难以把握——介于所有软件和所有人类的努力之间。”
李开复表示,客观来看,中国现在的研发突破也许会落后几年,但擅长技术迭代且具极其优异的工程能力和执行速度,未来可期。“大模型的技术门槛很高,非常需要整合一个兼具科研能力和开发实力的高效团队,制定贯彻公司的技术和产品战略,从上到下一致执行。”他认为,和大厂相比,技术顶尖、能专注掌握大模型打法的创业公司有着集中资源、策略灵活、能打硬仗、落地执行力强等优点,反而更有机会领跑行业,正如ChatGPT背后的OpenAI公司一样。
在众多的创新梯队中,零一万物选择了最难的自研大模型。因为开源模型和小模型的技术实现,无法达到与海外大厂自研模型的性能。从现阶段实际体验看,许多声称效果类似ChatGPT 的开源模型,都只局限于简单对话,在长文本生成和推理等任务上受到模型本身结构和大小的限制,无法适应稍微泛化或复杂的任务。
从中长期发展看,过度依赖模型意味着只能知道结果,不掌握过程,“知其然不知其所以然”。自身能力天花板和边界被他人定义,很快会碰到实现多种多样任务的能力天花板。海内外国情、文化、用户习惯、法律法规也不尽相同,海外开源技术随时有关停、切换高额收费或限制地区访问等风险。只有充分结合中文语言数据,才能实现AI2.0发展自主可控。
据了解,零一万物正在搭建强劲的实验平台,构建数千卡GPU集群进行训练、调优和推理,提高数据有效参数量,以及使用的高质量数据的密度,以构建连续、可控、科学化的训练能力。大模型平台研发被拆解为七大模块技术路线图,包含定义模型能力天花板的预训练框架(Pre-train)技术、精进模型实现能力的 Post-train技术、支撑模型高效训练的 AI Infra技术、更多元化多介质的多模态模型技术、平台中间件及工具链技术、推理和服务部署技术。目前,零一万物已经实现百亿参数规模的模型内测,正往300亿到700亿参数规模扩大。
未来,零一万物表示将坚持AI-first理念,让国际科学家和中国工程师可以无国界进行科技交叉,建构行业领先的通用大语言模型,之后推出结合图片、视频、3D等能力的多模态模型,并计划推出开源的模型版本,吸引优秀人才共同提升模型,推动开发者生态发展。
在李开复看来,中国大语言模型的演进会经历L1到L3三个阶段。现阶段,中国大多数公司处于L1阶段,下一步需要跨越“涌现”门槛,成为L2级主流大语言模型,最后追赶L3全球一线公司,成为强大的人工智能“基础设施”,实现高质量、高性能的目标。“我们将专注打造AI2.0时代的平台及生产力应用生态,我们的愿景,是把零一万物打造为一家向全球展现我们研发及工程能力的世界级公司,也期待更多怀抱 AGI 想象力的人才加入。”李开复说。