中国刚刚发布的DeepseekV3已经在英语中文数学推理超越了GPT4 Omi。它的学习成本只有美国同类大模型的1/11甚至更少。而且它还是开源的。美国那种靠对显卡的做法是不可持续的，老黄的股票又要跌了。

国内2种大模型使用Mixture of Experts (MoE)，不是什么新东西，把数据分成不同的子类，用不同的子模型训练，最后再综合。这是算力不足的一种折中方法，但种方法有其自身的局限性。高缓存要求， overfitting，还有更复杂的微调，和稳定性差。