4. “简单的程序修补就能解决AI的控制难题。”
正如《机械姬》里所描述的一样，要控制比人类还聪明的人工智能将会十分困难
假设创造出比人类更伟大的AI，我们将面临一个严重的问题，那就是：控制问题。如何在家里安置以及控制ASI？如何确保ASI对人类是友好的？在这些问题上，未来主义者和AI理论家们完全不知所措。最近，佐治亚理工学院的研究人员天真地认为AI可以通过阅读简单的故事来学习人类的价值观和社会习俗。这可能远不是读几个小故事能解决的。
“人们推荐了很多可能解决整个AI控制问题的简单技巧，”阿姆斯特朗说。示例包括为ASI编写取悦人类的程序，或者仅仅使ASI作为人类的工具使用。再或者，我们可以将积极的概念，比如爱或尊敬整合进他的源代码。为了防止ASI对社会只有单一偏激的看法，我们可以给它编写欣赏智力、文化和社会多样性的程序。
但是这些方法要么太过简单，这就好比试图给复杂的人类喜恶确定一个简单肤浅的定义，要么就是把复杂的人类价值观生硬地压缩成一个简单的字词或想法。比如，对“尊敬”这个词，要确定内涵一致又普遍接受的定义是极度困难的。
“并不是说这些简单的技巧是没用的。这些对策里面有很多给研究指明了道路，对解决这个终极难题有所帮助。但是这些只是想法，具体的操作还需要我们做更多的开发研究工作。”阿姆斯特朗说。
