这篇文章的评论区有很多人at我,我回应一下:
https://zhuanlan.zhihu.com/p/27181462601
DeepSeek出圈前,2025年1月2日我就在微博上说过DeepSeek是中国最好的模型。我对DeepSeek没有任何贬低。
我最开始就是抨击那些倒卖DeepSeek API去赔本赚吆喝的中小云厂商,然后吹嘘自己推理快10倍。现在我被友商引导到跟DeepSeek去对立。我说过,DeepSeek是很好很好的模型。
这篇文章中的数据对计算MaaS成本没有任何太多参考价值。文章中把DeepSeek网页,APP和MaaS API的token数加在一起计算。
我说的MaaS,是ToB的工具,不是ChatGPT类的APP。
春节期间DeepSeek多次掉线,无法像ChatGPT那样正常使用。这是事实。
我春节期间用过几次,问一个问题,然后说繁忙,让我稍后尝试,我等了15分钟或者一小时。
这不是一个合格的MaaS产品。
DeepSeek出圈前,2025年1月2日我就在微博上说过DeepSeek是中国最好的模型。我对DeepSeek没有任何贬低。
但是,春节期间DeepSeek APP和网页的latency性能和使用体验非常差。
DeepSeek这篇文章的数据是建立在大量用户把DeepSeek的APP和网页完全超负荷占满的情况下,不是一个常规的MaaS。
阿里通义千问也很好,Kimi Chat也很好,豆包也很好,我不确定DeepSeek对他们是否有不可逾越的技术壁垒。
我们要想在人们对模型祛魅之后依然让自家的MaaS(不是网页和APP)保持这样供不应求的状态,必须有超额的机器投入。
因为MaaS是ToB的,延迟和稳定性要求极高。要想留住客户,不能有任何疏忽。客户的实时APP能等一小时吗?
要想每日稳定输出1000亿token,需要准备输出5000亿token理论能力的机器。因为,接的APP越多,机器利用率就越不可预测。
时刻掉线或者延迟超过15分钟的MaaS哪个产品敢用?要不然为何各种大小云厂商(请自行搜索公众号:阿里云火山云优刻得并行未来首都在线)全都要推出一体机吗?
因为一体机是独占的,是最稳定的。
如果用MaaS,这是一个大公司MaaS招标的条件:
1. R1单请求总 tokens 数 7000 左右,输入:输出 4:1
2. V3单请求总tokens 数 6000 左右,输入:输出 9:1
3. 首字耗时不大于 2s,单 tokens 处理 时耗为不大于100ms。
人家要服务上亿用户,并且也不考虑你用多少机器。
告诉哪家MaaS厂商能通过?要想通过,你必须要时时刻刻有5倍的机器或者专门为这个客户把机器预约出来。
重复强调一下,我说的MaaS,不是ChatGPT类的APP。DeepSeek的MaaS要想有一个这么高满负荷的状态,必须要时时刻刻让自己的APP始终超负荷运转。注意,是时时刻刻。
我最开始就是抨击那些倒卖DeepSeek API去赔本赚吆喝的中小云厂商,然后吹嘘自己推理快10倍。现在我被友商引导到跟DeepSeek去对立。我说过,DeepSeek是很好很好的模型。
那些吹嘘自己推理快10倍的中小云厂商,你们员工的水平比xAI/TensorRT/SGLang/vLLM/DeepSpeed高10倍吗?微软和英伟达的顶尖工程师跟你们比是傻瓜吗?
MaaS是ToB的,是服务APP,最大的问题是机器利用率的不确定性以及自己没有模型壁垒而承受的低毛利负毛利价格战。