改模型参数如果没有理论基础，就是try and error. 这人胆子也够大。连back testing都不做，直接上手修改production参数. 结果就是完全不可预测。这个亏损应该是基于未修改模型的偏差。修改production应该是有非常严格的procedure，能随便改也是醉了。

这是CS传统艺能好嘛，写论文说我的方法能beat已有的某个方法，其实就是在自己建模的时候拿已有方法的表现当baseline。建模的时候往上靠，一般都可以差不多达到类似效果。但是要大幅领先是很难的。于是可以只在某个数据集上调一调，用这个训练集的表现放在结论里，说我的方法优于已有方法。
这个哥们一样，搞了一个原有模型表现差不多的新模型，在过测试的时候，肯定针对测试集调过了，就是对测试集overfitting,泛化表现就不行。过审核的时候给公司看测试集的微调过参数的表现，然后要上线了，改回总体表现还可以但是不突出的参数。
能拿很多奖金，其实应该是看模型表现好才给的，倾向于是背锅了。