我们经常以生物的智力来比拟人工智能达到的程度,例如“某某人工智的图像识别能力达到猫的水平”、“某某人工智能达到两岁孩子的智力”。但我们并不害怕猫和两岁的孩子,因为他们的现实交互能力很弱,即使犯傻,能造成的伤害也就是在你腿上挠几下,或者把饭甩到你脸上。
现在想象一下,全世界的两岁孩子,忽然拥有了成年人的身体;全世界的猫,忽然拥有了老虎的身体。如果给比较傻的人工智能以强大的现实交互能力,就会是这样糟糕的后果。当然,这种可能性不大,我们不会给小孩玩打火机,而且即使发生了也可以得到弥补和修正。
而对于超过人类智力的人工智能,关系就反过来了——你是那只猫,你是那个两岁的孩子。人工智能可以拥有什么样的现实交互能力不取决于你,而取决于其本身的意愿:一个两岁的孩子看守着一个成年人,如果成年人想从孩子手上骗到钥匙,能有多困难呢?然后还有什么可以阻止他让看守武器库的孩子打开大门?