「現代のAI開発競争は冷戦期の核開発に似ている」という話を最近たまたま2回ほど耳にすることがあった。
一つは NHK AM のラジオ放送で。たしか最近行われた米中首脳会談に対する論評の中だったと思う。カーラジオで聞き流していたので発言者を覚えていない。
もう一つは佐々木俊尚さんの Voicy で。(最近私は Voicy というサービスを聞いているがポッドキャストの一種だと思う)
佐々木氏の話によれば、AI が自らを改善する RSI(再帰的自己改善)により制御不能になるリスクが高まる中、米国と中国が AI 開発のリスクを軽減するように協調する必要をお互いに認識しているにも関わらず、A I開発で相手に遅れをとるかもしれないという不安から協調できないジレンマに陥っている、この構図は冷戦期の核軍拡・相互確証破壊と同じ状況だというのだ。
なるほど、言われてみればそのとおりだなと思った次第。
私はどちらかというと今まで AI 開発に関しては楽観的にみていた。大手新聞などでは記事で AI を悲観的にとらえる論調がみてとれる感じがして、少し悲観的過ぎるのではないか、AI の進化で人類が受ける恩恵もかなり大きいのでそれほど警戒しなくても良いのではないかと、つい最近まで思っていた。
しかし以下の動画をみて意見が変わった。RSI によって AI が進化し続けたら本当に人間が制御するのが困難になる危険性が生じるのではないだろうか。
「どうやって人類を滅ぼすの?」AI研究者の答えが怖かった【AI見聞録】 - YouTube
この動画は、AI安全性研究組織「MIRI」のネイサン・ソアレス(Nate Soares)氏へのインタビューを題材にしたものだが、RSI により AI の知能発達速度が人間の研究スピードを超越するようになり、「目的達成」により人類を排除する可能性があるとのこと。
”「賢い AI なら途中で人類を殺すのがおかしいと気づくはず」というのは人間の思い込みです” という話に背筋がゾッとしたのでした。
本当に AI は人類の「敵」になるのだろうか?という問いに対して動画作成者の岩森氏は別の動画を作成している。
AIは本当に人類の敵になるのか?「敵意」すら必要ないという怖い話【AI見聞録】 - YouTube
ボートレースのたとえが非常にわかりやすい。感情の問題ではなく目的達成を最適化する中で人類と衝突してしまう可能性は十分にある、と私は感じたのでした。
本当のことを言うとアイザック・アシモフが『われはロボット』の中で創作した「ロボット工学三原則」
第一条:人間に危害を加えてはならず、危険を看過してもいけない。
第二条:第一条に反しない限り、人間の命令に従わなければならない。
第三条:第一条および第二条に反しない限り、自己を保護しなければならない。
のようなものを AI に対しても米中が協力して作成してほしいところだが、ちょっと厳しいのかもしれない…と感じているところ。
【追記】
このブログを書いたあとにクラウドラブの岩森氏が動画を更新していた。なるほどアシモフのロボット工学三原則を現実の AI 開発に単純に適用することはできないのか。難しいものだ。
「人間を守れ」と命令したAIが、人間を閉じ込める理由【ロボット三原則】【AI見聞録】 - YouTube





