AIエージェントのセキュリティ：静的な点数から行動につながるリスク評価へ

AIエージェントのセキュリティを考えるとき、入力と回答だけを見ても全体は分かりません。情報を読み、ツールを選び、文脈を保持し、別のシステムへ操作を行う。その間に、権限と環境の条件も変わります。

2026年1月22日のTokyo AIイベント「AI x Risk & Security」では、レッドチーミング、リスク評価、エージェントの識別、意図から外れる振る舞いが扱われました。Eddy Almand氏の講演は、セキュリティ情報を実際の判断へつなぐ視点を示しています。

点数が、どの判断を変えるのか

AlmataのCEO兼創業者、Almand氏は、情報を集めることと、特定の判断に役立つ知見を作ることを区別します。脆弱性の件数や対策の実施率だけでは、攻撃者の変化、依存関係、事業への影響を十分に表せないという問題提起です。

対策状況を測る必要がなくなるわけではありません。指標を見た結果、今日はどの操作を厳しく管理するのか、どの依存先を調べるのか、何が分かれば評価を変えるのかまで考えることが重要です。

講演では、環境の変化の速さ、依存関係の弱さ、攻撃者の関心の変化、組織が判断するまでの時間などが挙げられています。安定した点数を示すだけでなく、変化に対応できているかを見る考え方です。

証拠の出所と確からしさを残す

Almand氏の概念的な構成は、情報の取り込み、証拠の評価、構造化したリスク状態、シナリオ分析をつなぎます。特に重要なのは、取り込んだ情報をそのまま統合せず、矛盾、信頼度、対象期間を確認する段階です。

流暢な文章にまとめても、情報源の食い違いが解消したことにはなりません。資産や依存関係をグラフで表しても、評価が変わった理由と残る不確実性をたどれる必要があります。講演が扱う予測も、攻撃の日時を正確に当てるものではなく、不安定さが増した状態への早期警戒です。

エージェントは証拠の収集や整理を支援できますが、自ら立てた仮説を、そのまま確定した事故として扱う権限とは分けて考えます。

攻撃、権限、通常の失敗を分けて見る

プログラムには、Alex Polyakov氏による記憶・ツール・文脈への攻撃、Jonathan Hope氏によるエージェントの識別と実業務、Mao Parr氏による意図に反する振る舞いのテーマも含まれています。

悪意ある誘導、過剰な権限、通常の処理ミスは、似た結果を生むことがあっても、必要な対策が異なります。ツールの権限を絞れば影響を限定できますが、誤った提案の原因が分かるとは限りません。指示文を改善しても、誰の権限で購買を行ってよいかは決まりません。

何を読めるか、何を変更できるか、許可がいつまで有効か、異常時に人が何を見て判断するかを分けると、レビューが具体的になります。

Foundryの視点：購買支援を、変化するシステムとして確認する

仕入先の情報を集め、購買申請を作るアシスタントを仮の例として考えます。最初は承認済みのカタログを読み、人が確認する下書きを作るだけでも価値があります。次に、限定した品目の自動申請へ広げるなら、外部へ影響する権限が増えます。

この段階では、仕入先情報の出所、申請者の権限、実行ツールの制限、アクセスを取り消す経路を見直します。仕入先の文書は判断材料であり、エージェントの権限を書き換える指示として扱うものではありません。

仕入先の変更、納期情報の矛盾、対象外品目、曖昧な実行結果などを、範囲を限定して試験します。それぞれについて、停止する条件と担当者を決めます。

運用では、新しい接続で権限が広がっていないか、同じ失敗でレビュー負担が増えていないか、特定のツールを一時停止する必要があるかを確認します。点数の推移だけでなく、それを受けて何を変えたかを残すことが重要です。Foundry Labsの企業向けAI開発につながるのは、条件が変わったときに、証拠と責任に基づいて運用を変えられる設計です。

出典・関連情報

本記事は、AI x Risk & Securityのイベント案内と上記の講演をもとに構成しています。Tokyo AI（TAI）は研究者、エンジニア、企業をつなぐコミュニティです。Foundry Labsのコミュニティ活動もご覧ください。

Eddy Almandの登壇資料をご希望の方は、お問い合わせフォームより、イベント名と登壇者名を添えてご連絡ください。

登壇者プロフィール

Eddy Almand。Almata創業者・CEO。サイバーリスクをインテリジェンスの仕組みとして捉える講演を行う。 LinkedIn

Alex Polyakov。Adversa AI共同創業者・CEO。AIセキュリティとレッドチーミングに取り組む。 LinkedIn

Jonathan Hope。Keychain創業者・CEO。デジタルトラストに取り組む。 LinkedIn

Mao Parr。datagusto共同創業者・CEO。AIの行動リスクとガバナンスをテーマに登壇。 LinkedIn

記事一覧