界面新闻记者 |
新技术大规模推广前夜，都会出现市场领袖的主动大幅降价行为。
根据媒体报道，在11月6日的首届开发者大会上，OpenAI计划发布重大更新，为接入ChatGPT大模型的用户提供更优化的运营成本，这批更新的核心锁定在一项名为Stateful API（应用程序编程接口）上，其理论上可将大模型应用的开销削减为原来的二十分之一。
对于开发者来说，OpenAI API带来的最直接帮助是内容生成——自6月起，OpenAI就以tokens数量计费形式向企业开发者出售模型API能力，由微软云服务器提供算力支持。而今，API租赁已经成长为OpenAI的核心业务。根据国泰君安证券李沐华的测算，这份收入占OpenAI总收入80%以上，此外便是ChatGPT带来的订阅收入。
这款11月才面世的更新会压低开发者调用GPT模型API的成本。具体而言，Stateful API是一个能够记住对话历史的应用，开发者只需要传入最新的对话记录，大模型会结合该记录和其维护的历史记录，依据上下文产生新的文内容，会极大缩减token的浪费。截至目前，由于开发者必须将应用中的历史记录通过现有的API传给大模型，以便大模型依据历史上下文进行内容生成，大部分token被浪费在了上下文的传输中，Stateful API的普及就如数据库不能随意扩充副本一般，限制了这种浪费，会导致OpenAI从开发者群体获得的收入显著降低。
那么在OpenAI对销售增长寄予厚望之际，这家一直有意转向高定价、高粘性的2B订阅收费的公司为什么要主动调低API调用费用？
这源自OpenAI首席执行官Sam Altam对API租赁业务的看涨和对插件形态的看衰。Sam Altam在今年5月欧洲之旅中提到，很多人认为OpenAI希望开发者的应用程序位于ChatGPT之内，但OpenAI真正想要的是ChatGPT存在于开发者的应用之中。
更确切地说，他认为未来的应用趋势是将大模型的功能嵌入更多APP应用，而不是在ChatGPT上生长出更多插件，因为现实中大多数插件并没有呈现出产品与市场的匹配度。前者是API租赁业务，后者是插件业务。
现实中，插件也不受开发者青睐。
早在今年5月，OpenAI面向其所有ChatGPT Plus用户开放了插件功能，五个月间插件总数已逼近900，而根据路透社得到的一份数据，截至8月底，ChatGPT上排名前列的流行插件Scholar AI每天仅有7000名用户，而ChatGPT本身吸引了约1.8亿月活跃用户。实际上，ChatGPT上排名靠前的30款插件类别仅在问世时出现了热潮，随后开发者们对其兴趣便急剧下降。
本质上，大模型公司开放插件（Plugin）是觉得模型能力还不够强，要通过调用Plugin可以解决更多问题比如计算、逻辑，但此后会面临核心价值的削弱，小公司积极接入Plugin之后，也会考虑把大公司替代，这也是传统软件和SaaS产品曾面临过的问题，拾象科技投资人曾描述过这种情况，称之为软件的囚徒困境。
向量数据库领域初创公司Zilliz合伙人兼技术总监栾小凡告诉界面新闻，目前Plugin是离落地存在一定距离，这受限于大模型的上下文长度与逻辑问题，他判断Plugin生态并不会消亡，而是需要等待大模型的逐渐成熟迎来下一波爆发性增长。
但API租赁业务与此相反，使用OpenAI的API开发模式会让开发者的GPT模型应用与市场需求标准匹配，位于下游的企业用户更担心的是跟不上大公司的迭代速度，而非如何与大公司竞争。
于是OpenAI坚持降低成本，走笼络开发者路线，没有陷入过度关注营收的粉红泡泡。Stateful API的技术就带着把关键技术落地的意图，“很多关键技术，从好的技术原型到实际落地，都卡在了成本这一关键步骤，典型的是Intel的Optane SSD，各项指标优秀，但成本过高没法在消费级硬件大量落地，导致成本没法进一步下降陷入死循环，”栾小凡认为，技术落地过程中的问题将是OpenAI接下来的主要攻坚方向。
栾小凡也特别指出，关于Stateful API带来的真正效果尚属未知，因为目前不确定其是否采取了主流大模型推理中常规的优化思路，他感觉单纯采用后者的技术，很难做到成本下降20倍的目标，并且还会存在不容忽视的内存开销。
