看到好多很沮丧的狗子。这个AI模型才是将来发展的方向:高效、低成本。OpenAI到现在严重亏损。有人说过,目前的AI发展和过去Google、Meta之类的公司的发展模式完全不一样。Google这样的公司在初期投资很大,但后期虽然用户大增,但需要的成本增加不多,利润率会很快增加。但目前的AI公司的运营成本和用户增加的相关性很大。初期投入和后期投入都很高。如果中国公司能将成本打下来,那竞争力就很强了。美国公司有大量的钱和可买到的资源,现在都是不计成本在搞。马斯克一下就装了10万块英伟达的芯片,仅芯片成本就是好几十亿美元。这样是玩不下去的。不仅芯片和设施成本,那个供电都成问题。微软现在想买过去报废的、出过核事故的旧电站,美国的几个提供小型核电站的公司股票大涨都是AI带起来的,从这些就知道目前美国的AI模型的运营成之高。
↓↓↓ 共 2 条评论 ↓↓↓
文里说了技术原理“零一和DeepSeek用的都是MoE(混合专家)模式,相当于是在事先准备的高质量数据集上去做特定训练,不能说在跑分上完全没有水分,但市场并不关心原理,只要质价比够看,就一定会有竞争力。”这里高质量的数据集不出意外是现有的大模型上生产出来的,加上一定量的新数据,这样训练数据会非常“干净”,随便训练一下就有很好的效果,但缺点是应用范围会比原装训练出来的小,所以说有水份。这根本不是什么技术性革命,不过是利用别人的产品,在其基础上改进而已。
看来滞猪确实是外行装内行,居然说电能是瓶颈,你还不如说female researcher的月经是瓶颈更可信一些,
OpenAI成本高是因为25000GPU并行训练很困难,而实际应用的推理没有那么费钱,因为大量的任务可以转换到低精度模型(INT8),比如搜索任务简单文本对话,那些推理并行化是很简单的,因为不要传递gradient,
电能根本不是问题,现在的问题是scaling Law,你知道什么玩意么????不懂装懂的蜘蛛沙雕?