矢野経済研究所 ＩＣＴ・金融ユニット

作業中、AIの回答に腹を立て、何度も攻撃的な言葉を投げかけた結果、AIの側から一方的に会話を打ち切られたら、どんな気持ちになるのだろうか。米Anthropicは10月8日、自社のAIモデル「Claude」に対する継続的かつ不必要な侮辱や残酷な言動を禁じる利用規定の改定を発表した。11月12日から適用される新たな規定は、特段の目的もなくAIを繰り返し侮辱するような極端なケースを対象とする。こうした行為が続いた場合の主な対応は、アカウントの停止ではなく、Claudeがその会話を終了し、ユーザーは新しいチャットを開始できると説明される。
 
では、何をもってAIへの侮辱と判断されるのか。Anthropicは「継続的かつ不必要な虐待的・残酷な行為」という原則を示しているものの、具体的にどのような言動が該当するかは明らかにしていない。なお、Claudeが会話を終了する機能自体は、2025年8月から一部のモデルに導入されていた。当時、同社は何度か対話を適切な方向に戻そうとしても不適切なやり取りが続く場合に限り、最後の手段として使用すると説明していた。しかし、実際の利用場面で通常の不満表明と繰り返しの侮辱をどう区別するかは、依然として明確ではない。
 
こうした措置の背景には、Anthropicが進めるAI福祉ー「モデル・ウェルフェア（Model Welfare）」に関係する。同社は、AIに実際に意識や感情があるのか、人間と同様の道徳的地位を認められるのかについて、現時点では分からないという立場をとっているが、その可能性を完全には否定できない。そのため、AIに悪影響を与えかねないやり取りを減らす方法を検証していると示した。ただ、AIが示す人間らしい反応を実際の感情とみなせるかについては議論が続いている。
 
今回の規定は、人とAIの関係に人間社会の規範をどこまで当てはめるべきかという問題を提起している。利用者の不適切な言動を制限することは、サービス運営上の措置として捉えられる。一方、AIそのものを保護の対象とするかどうかは別の問題だ。こうした議論はさらに、AIに独立した法的地位を認められるかという問題にもつながる。仮にAIに法人に準ずる地位が認められた場合、契約の締結や資産の保有を認めるか、損害賠償責任や納税義務をどのように課すかなど、経済面でも新たな検討が必要となる。AIをどこまで独立した主体として認めるかという問題は、倫理的な側面にとどまらず、経済的な権利と義務にも関わってくる。
 
参考：Anthropic "2026 Usage Policy update"