Foundry Labs / コミュニティから
AIエージェント導入で考える責任、セキュリティ、主権
目次
2026年10月29日、慶應義塾大学で開催された第16回国際サイバーセキュリティシンポジウムで、自律型AIの信頼性をテーマとするパネルに登壇しました。議題はセキュリティ、アイデンティティ、制御、主権。AIが企業のシステム内で実際に操作を行うようになると、いずれも日々の業務に直結する課題です。
企業が導入時に決めるべきことは具体的です。どの業務を自動化するのか。どの情報へのアクセスを許可するのか。どこまで判断を任せ、問題が起きたときに誰が責任を持つのか。その決め方が、導入効果と運用負担の両方を左右します。
自動化の前に、業務と責任を整理する
Foundryで取り組んでいるMinaraiでは、まず業務プロセスを記録します。実際にどのような手順で仕事が進み、誰が責任を持ち、適用される要件を満たしているかを確認するためです。その上で、自動化が必要な部分と、技術的に安定して自動化できる部分を判断します。承認のルールが曖昧だったり、部門間で責任の所在が変わったりするなら、その整理も導入作業に含まれます。
例えば請求書処理では、記載内容の抽出や発注書との照合を自動化すると、担当者の負担を減らせます。一方、仕入先の振込口座の変更には、別の確認と承認が必要です。エージェントが両者を区別し、必要なチェックを行い、権限を持つ担当者に判断を引き継げるように設計する必要があります。導入効果を考える際には、処理できた件数に加え、例外対応にどれだけ人の時間が残るかも見るべきです。
権限管理と障害対応を設計に組み込む
業務の整理は、そのままシステム設計につながります。エージェントには担当する作業に必要な情報と操作権限を与え、その範囲を接続先のシステムでも制限します。どのエージェントからの要求かを識別できても、それだけでは操作を許可する根拠にはなりません。誰から委任された作業で、何を実行してよいのかを確認する必要があります。別のエージェントに作業を渡す場合も、権限の範囲は維持しなければなりません。
人による確認にも時間がかかります。すべての操作に承認を求めれば、自動化の監督が新たな業務になってしまいます。人が確認すべき判断を選び、その判断に必要な情報を提示することが重要です。振込口座の変更であれば、変更内容、根拠となる資料、実施済みの確認をまとめて見られる必要があります。
途中で処理が止まった場合も考えておく必要があります。例えば会計システムに取引が登録された後、エージェントが完了通知を受け取れなかったとします。そのまま再試行すれば、二重登録になる可能性があります。再実行する前に処理結果を確認し、誤った登録があれば修正する手順が必要です。ソフトウェアを以前のバージョンに戻しても、業務データに残った二重登録は消えません。
AIを管理し続けられる体制を持つ
ソブリンAIの議論でも、管理できる範囲を具体的に考える必要があります。データはどこに送られるのか。管理者権限を持つのは誰か。サービス提供者が条件を変更したり、モデルの提供を終了したり、サービスが停止したりしたら、業務をどう継続するのか。自社環境でモデルを動かすことで減らせる依存関係はありますが、ハードウェア、ソフトウェア、保守の体制にも依存は残ります。
日本では、インフラへの投資とともに、AIシステムを構築し運用できる人材への投資も必要だと考えています。モデルを評価し、既存システムとの接続を維持し、障害を調べ、必要なら別の選択肢へ移行できるエンジニアが必要です。提供者を変更するときには、移行先でも業務要件を満たせるかを検証しなければなりません。その能力は、導入後も継続して育てる必要があります。
利用を進めるための管理にする
Sarah Sloan氏は、サイバー防御でAIを活用する機会にも言及していました。アラートの調査、証拠の収集、修正案の作成など、取り組める業務はあります。ただし、問題の調査を任せることと、本番システムの変更を許可することでは、必要な管理が異なります。後者には、追加の承認、変更結果の検証、復旧手順が必要です。
これからAIエージェントを導入する企業には、改善する価値のある業務を一つ選ぶことから始めるのを勧めます。担当者や責任者と実際の手順を記録し、要件の不足や曖昧さを解消した上で、効果が見込める部分を自動化する。削減できた時間、発生した誤り、人に残った作業を測れば、次にどこまで導入を広げるかを判断できます。
モデレーターのJames Miller氏、そしてご一緒したSarah Sloan氏、Eddy Almand氏、Michael Karimian氏、Marc Duranton氏に感謝します。
Ilya KulyatinはFoundry LabsのCEOであり、Tokyo AIの創設者です。Foundry Labsは企業のチームとともに、業務に合わせたAIシステムを開発しています。AIエージェントの業務導入については、お問い合わせフォームからご相談ください。
記事一覧