回复16楼:其实比较可怕的是ai自己创造需求让人来试用它或者依赖它

来自留园官方客户端

AI确实是一场工业革命，要不了几年就能看到巨变。技术的发展已经完全超出了人类的控制。福兮祸所依。

我倒不担心需求问题，但AI确实能够自我进化，自己修改自己。反馈机制就是给了AI修改自己的权利。model本质就是一堆参数，参数改了，模型也就改了。最但心还是AI的安全问题，也就是它的dark side. 它太强了，它完全不受人类约束，你能够给出完全超出人类伦理道德的答案，你只能从model的输出端去控制它，其实也不是控制。 这就是OpenAI造反的那几个董事关心的问题。走掉的其中一个昨天刚成立了一家公司专门做AI安全。这已经上升到人类生存安全的高度。