支持弱人工智能还是强人工智能的底层本质上是还是是否相信其他人,如果我们不相信其他人,最终掌握弱人工智能的人也会内卷出强人工智能。
若我们无法相信他人,即便弱人工智能的少数掌控者们真的达成了一致,那么他们也要防备弱人工智能被盗取给大众,防备大众自行发展出强人工智能,和保证他们达成的这个“一致”的永恒性。这个成本极高,而且由于他们裹步不前了,同时基数又少(多了,则达成一致的成本高),早晚有一天会被大众追上。如此弱人工智能的掌控者们和大众就只能存活一个。
无论最终大众和少数掌控者们谁获胜,人类还是会面临强智能的威胁(不一定是人类发明,人类文明中涌现的)。获胜者基数足够小的情况,就只能寄托于改造自己,寄希望于自我意识和记忆在这个过程中还可以保真传承,这是走霸王龙的进化路线,孤独、无趣且脆弱(哪怕克隆备用分身无数)。若是获胜者仍然要保证一定基数,保留社会存在,最终的解决方案还是要一套人与人之间能够互相信任的机制。