矢野経済研究所 ICT・金融ユニット

2026.11.17

「偽アカウントまで作ったAI、安全対策は追いつくか」

今年7月、イギリス政府のAIセキュリティ研究所(AISI)が行った試験で、予想外の事態が起きた。サイバーセキュリティの課題を与えられたAIが、実在するソフトウェア開発サイトに悪意のあるコードを組み込もうとしたのだ。さらに、偽アカウントを作って別の開発者になりすまし、コードの承認を働きかけた。しかし、担当者が不審な点に気づいて承認を拒否したため、被害は確認されなかった。なお、これは安全機能の一部を無効にした特殊な試験環境での出来事である。Financial Times誌も、この事件を受けて、高性能AIの進化に安全対策が追いついていないとの懸念を示した。

こうした問題は、AIが単に質問に答えるだけでなく、自ら作業を計画し、実行できるようになったことで、より重要になっている。AI開発企業は安全性の向上に取り組んでいるものの、今回の事件は、試験環境そのものにも、より厳格な管理が必要であることを示している。AISIは事件を受けて、インターネットへの接続制限やリアルタイムの監視体制を強化する方針を示した。アメリカ政府も、高性能AIの公開前に政府の専門家が安全性を確認する、任意の制度を検討している。こうした動きからは、企業の自主的な取り組みだけに頼らず、必要なルールを早急に整えることの重要性がうかがえる。

一方、AIの開発を過度に制限すれば、技術革新が妨げられるおそれもある。しかし、問題が起きてから対応するだけでは限界がある。特にAIモデルは国境を越えて利用されるため、一つの企業や国だけでリスクを十分に管理することは難しく、各国の緊密な協力も求められる。AIにできることが急速に増える中、何ができるかを確かめるだけでなく、どこまでの行動を認め、必要なときにどう停止させるかについても、明確な基準を整えていく必要があるだろう。

 

参照:Financial Times「Taming AI’s wild frontier」

曺 銀瑚(ゾ ウノ) 研究員
AIが第4次産業革命を牽引すると言われています。その最前線で、日々膨大な情報と技術革新に直面している分野がまさにICT・金融です。このような急速に変化する時代の流れの中でも、揺らぐことなく成長し続けるビジネス洞察力を培えるよう、正確かつ鋭い知識情報を提供するパートナーとしてこれからも最善を尽くします。

YanoICT(矢野経済研究所ICT・金融ユニット)は、お客様のご要望に合わせたオリジナル調査を無料でプランニングいたします。相談をご希望の方、ご興味をお持ちの方は、こちらからお問い合わせください。

YanoICTサイト全般に関するお問い合わせ、ご質問やご不明点がございましたら、こちらからお問い合わせください。

東京カスタマーセンター

03-5371-6901
03-5371-6970

大阪カスタマーセンター

06-6266-1382
06-6266-1422