ブラックボックスでは信頼は生まれない
自律化を進めるうえで、楽天シンフォニーが特に重視するのが「説明可能性」です。AIが何かを判断した時、なぜその判断をしたのかが人間に分からなければ、どれほど精度が高くても信頼には結びつきません。シャルマ氏は「自律ネットワークはブラックボックスであってはならない」と明言します。全ての動作に説明可能な根拠が伴い、人間が監督し、必要に応じて介入できる状態を維持すること。AIが自律的に動いたとしても、責任構造まで自律化されるわけではありません。これを「Trust by Design(設計による信頼)」と呼び、従来の「Trust but Verify(信頼しつつ検証する)」という受け身の姿勢から脱却する必要があると語っています。閉じたループの中で完全に自律的に動くシステムが、その判断の根拠を全く開示しないとしたら、それはネットワークの完全性を損なうリスクをはらんでいます。効率と透明性のバランスをどう取るか。それが今、通信業界全体に突きつけられた課題です。