界面新闻记者 |
一周前刚完成大模型处女秀的零一万物，今日被拱上风口浪尖。
11月14日上午，在零一万物预训练大模型Yi-34B的Hugging Face开源主页上，一位名为ehartford的国外开发者质疑称该模型使用了Meta的当家开源大模型LLaMA的架构，只对两个张量（Tensor）名称进行了修改，分别为 input_layernorm 和 post_attention_layernorm。所谓张量，是深度学习概念中的多维数组，其目的是能够创造更高维度的矩阵、向量。
简而言之，这位国外开发者认为， 李开复的Yi-34B其实是对Meta开源大模型LlaMa 的重构，只是改了几个名字。
针对此番开发者指控，零一万物方面对界面新闻作出了回应。零一万物表示，GPT是一个业内公认的成熟架构，Llama在GPT上做了总结。零一万物研发大模型的结构设计基于GPT成熟结构，借鉴了行业顶尖水平的公开成果，由于大模型技术发展还在非常初期，与行业主流保持一致的结构，更有利于整体的适配与未来的迭代。同时基于零一万物团队对模型和训练的理解做了大量工作，也在持续探索模型结构层面本质上的突破。
“模型结构仅是模型训练其中一部分。Yi开源模型在其他方面的精力，比如数据工程、训练方法、baby sitting（训练过程监测）的技巧、hyperparameter设置、评估方法以及对评估指标的本质理解深度、对模型泛化能力的原理的研究深度、行业顶尖的AI infra能力等，投入了大量研发和打底工作，这些工作往往比起基本结构能起到更大的作用跟价值，这些也是零一万物在大模型预训练阶段的核心技术护城河。”零一万物表示。
四个月前，李开复进军大模型创业领域，他于11月6日正式披露了其AI创业公司零一万物成立7个月以来的最新进展。Yi系列两款大模型问世，包含34B和6B两个版本，目前都已开放免费商用申请。据界面新闻的了解，目前零一万物估值已达到独角兽级别。
本次争议性的Yi-34B是一个双语基础大模型，参数量达340亿的Yi-34B，可支持200K超长上下文窗口，可处理约40万汉字超长文本输入，是目前全球最长的上下文窗口，刷新了杨植麟的moon shoot.ai、王小川的Baichuan2-192K的大模型记录。
据悉，34B的大模型是李开复心目中基础模型的黄金尺寸，其刚好达到了涌现的门槛，但又没有过大，既满足了精度的要求，又对训练推理成本友好。
零一万物方面称，在大量训练实验过程中，由于实验执行的需要对代码做了更名，其尊重开源社区的反馈，将代码进行更新，也更好的融入Transformer生态。
普遍而言，开源并不代表没有版权，任何第三方使用都应该遵循其开源许可协议，而在法律层面上，大模型所有者可以通过专利、商标、版权等方式保护自己的大模型知识产权。
7月中下旬，科技巨头Meta开源了Llama 2。Llama2官网挂出的相关使用许可和限制声明显示，“该模型可以用于商业用途，除非你的产品的月活跃用户数超过7亿。需要填写一个表格才能获得访问权限，这个表格也会让你从HuggingFace的网站上下载模型。”不过，李开复Yi-34B模型的开源许可证上并没有提及LlaMa的名字。
