( EVENT REPORT )
AIエージェントの評価方法とは?──Amazon Novaが語る信頼性の高め方

AIエージェント[1]の評価(evaluations、略してevals)とは、エージェントがタスクをどれだけうまくこなせるかを測る仕組みです。一度の応答が正確でも、複数の処理を最後まで正しく進められるとは限りません。業務で安心して使うには、何を評価し、失敗をどう改善すればよいのでしょうか。
企業ガバナンスを支援するAIプラットフォームを提供する株式会社プライバシーテックは、2026年8月4日〜6日に米国ラスベガスで開催された「Ai4 2026」に参加いたしました。「米国最大のAIカンファレンス(America's Largest AI Conference)」を掲げる本カンファレンスで弊社が聴講したセッションの内容を、いくつかの記事として皆様の実務に役立つ形でお届けします。
本記事では、Amazon Nova[2]でエージェンティックAI[3]のプロダクト責任者を務めるMichael Giannangeli氏の講演「実務で使えるAIエージェントを作るには(Agents in the Wild: What It Takes to Build Reliable Agentic AI)」を紹介します。
この記事でわかること
・評価のポイント: 正確さだけでなく、問題から立て直せるか、安定して動くか、費用や安全性に問題がないかを確認する。
・改善の進め方:実務で見つかった失敗を評価に反映し、強化学習ジムでの訓練につなげる。
・任せる範囲の決め方: 人間の確認や別のAIによる監視を組み合わせ、信頼性を確かめながら任せる範囲を広げる。
※数字の注釈([1]など)の用語は、記事末尾の「用語解説」で説明しています。
目次
登壇者
Michael Giannangeli(Head of Product, Agentic AI, Amazon Nova)
Amazon NovaでエージェンティックAIのプロダクト責任者を務める。AmazonのAIモデルの部分を担当し、エージェントとしての作業に強いモデルの開発に取り組んでいる。
AIエージェントの評価は、なぜ難しいのか
AIは、チャットで答えるだけでなく、ユーザーの代わりに作業を実行するようになっています。Giannangeli氏は、こうしたエージェントを「モデル+ハーネス」と定義しました。モデルが「脳」にあたる一方、ハーネス[4]はツールやコンテキスト[5]、記憶など、実際に作業を進めるための仕組みを指します。
その性能を測るには、公開のベンチマーク[6]だけでは不十分です。自社の業務で何ができれば「良い」といえるのかを定める必要があります。しかし、評価には次の4つの難しさがあります。

エージェントの評価では、答えの正しさだけでなく、作業の進め方も問われます。同じ条件でも結果が変わることがあり、一度の成功だけでは判断できません。また、タスクによっては、そもそも正解を一つに決められない場合もあります。
特に重要なのが、処理を重ねたときの信頼性です。同氏は、各回の正確さが90%でも、5回続けると全体では約59%になる例を挙げました。これは各回の成否が独立し、すべて成功する必要があると仮定した計算です。一つひとつの処理の精度が高くても、業務全体を最後までやり遂げられるかは、別に確かめる必要があります。
評価で見るべき5つのポイント
Giannangeli氏は、AIエージェントを評価する際、タスクの完了度、立て直す力、再現性、効率、安全性の5つに注目しているといいます。

まず確認するのは、依頼された作業をどこまで完了できたかです。成功か失敗かの二択だけでなく、途中まで進められた場合には、その達成度も見ます。また、問題が起きた際に修正できるかも重要です。同じ失敗を繰り返すエージェントは、作業が進まないままトークン[7]を消費し、コストを膨らませてしまいます。
一度うまくいったとしても、それだけでは十分ではありません。同じ条件で繰り返したときに安定した結果が得られるか、許容できる費用とレイテンシ[8](待ち時間)で処理できるかも評価する必要があります。さらに、結果を得るために、決められたガードレール[9](安全策)を破っていないかという確認も欠かせません。
こうした評価に用いる方法は、タスクによって異なります。同氏は、正誤を機械的に判定できる場合には、テストによる検証が最も確実だと説明しました。それが難しい場合には、別のAIに採点させる「LLM as a judge[10]」という方法もあります。ただし、広告動画の良し悪しのように、何をもって「良い」とするかをAIだけでは判断しにくい用途では、人間による評価が引き続き重要になります。
評価を改善につなげる「強化学習ジム」
評価は、点数をつけて終わりではありません。同氏は、実際の利用で見つかった失敗を評価項目に加え、訓練につなげる循環が重要だと述べました。
その訓練の場が「強化学習ジム(RL gym)[11]」です。エージェントが環境の中でタスクに挑戦し、結果に応じた報酬[12]、つまり行動の良し悪しを示すスコアをもとに学習します。評価が現在の能力を「測る」ものなら、ジムは能力を「伸ばす」ものです。

ただし、報酬の与え方を誤ると、望ましくない行動まで強化してしまいます。同氏は、自身の息子が食べ物を投げたときに笑ってしまい、その後も投げるようになった経験を紹介しました。AIでも同様に、人間が意図した行動と、実際に高く評価している行動がずれることがあります。そのため、何にどれだけの報酬を与えるかを決める報酬関数[13]の設計が重要になります。
良い訓練環境を作るために、同氏が挙げたのは次の5点です。
・現実に近い環境: 実務で使うツールやデータベースとのやり取りを再現する。
・適切な難易度: 簡単すぎず、難しすぎない課題を用意し、能力に合わせて更新する。
・多様なタスク: 条件やツールを変え、一つのパターンだけに慣れさせない。
・実行過程の検証: 最終結果だけでなく、ツールの使用手順なども確認する。
・抜け道の防止: 答えの不正取得など、本来の目的を達成せずにスコアを稼ぐ行動を防ぐ。
抜け道の検証には、あえて不正な方法を試すよう指示する「レッドチームテスト[14]」も役立ちます。指示すれば突破できる弱点があれば、通常の訓練中にも利用されるおそれがあるためです。
AIエージェントに、どこまで任せるか
評価と訓練を重ねても、失敗したときの損失が大きい業務を、すぐにすべて任せられるわけではありません。同氏は、リスクを抑える方法として二つを挙げました。
一つは、人間を確認や判断のプロセスに残す「human-in-the-loop[15]」です。エージェントに作業を任せつつ、重要な箇所は人間が確認します。実務での信頼性を確かめながら、任せる範囲を広げていきます。
もう一つは、別のAIモデルを「見張り役」にすることです。Amazon Novaでも、軽量なモデルを並行して動かし、安全策への違反がないか確認しているといいます。
ただし、見張り役も万能ではありません。確認を増やせばコストや待ち時間も増えるため、失敗の影響に応じて、どこまで確認するかを決めることが重要です。
弊社の考察:一度の正答より、最後までやり遂げられるか
今回の講演で特に重要だと感じたのは、一度の応答の正確さと、業務全体の信頼性を分けて考える必要があるという点です。ユーザーからは一度の依頼に見えても、エージェントの内部では、情報の取得や判断が何度も繰り返されます。そのため、最終的な回答だけでなく、一連の処理を安定して完了できるかを確かめなければなりません。
自社の業務に即した評価を定め、実際の失敗を改善につなげ、リスクに応じて人間の確認を残す。この積み重ねが、AIエージェントに安心して仕事を任せるための土台になると考えます。
用語解説
※以下は、弊社でまとめた一般的な説明です。
[1] AIエージェント: 与えられた目標に向けてAIが自ら手順を判断し、ツールを使いながらタスクを進める仕組み。
[2] Amazon Nova: Amazonが提供するAIの基盤モデル群と関連サービスのブランド名。
[3] エージェンティックAI: チャットで応答するだけでなく、ユーザーの代わりにタスクを実際に実行するAIの総称。
[4] ハーネス: AIモデルが作業を進めるための周辺の仕組み。ツールとの接続、情報の受け渡し、記憶の管理などを含む。
[5] コンテキスト: AIが回答や行動を決める際に参照する情報。指示、やり取りの履歴、資料など。
[6] ベンチマーク: AIモデルの性能を比べるための、共通の試験問題や評価基準。
[7] トークン: AIが処理するテキストの単位。処理量や利用料金の目安になる。
[8] レイテンシ: 処理を依頼してから結果が返ってくるまでの待ち時間。
[9] ガードレール: AIが危険な行動や不適切な出力をしないように設ける制限や安全策。
[10] LLM as a judge: 大規模言語モデル(LLM)を審査役として使い、AIの出力を採点・判定させる方法。
[11] 強化学習ジム(RL gym): AIがタスクに挑戦し、結果に応じた報酬をもとに学習するための訓練環境。
[12] 報酬: 強化学習で、AIの行動や結果がどれだけ良かったかを数値で示すもの。
[13] 報酬関数: AIの行動や結果に対して、どれだけの報酬を与えるかを決める仕組み。
[14] レッドチームテスト: 攻撃者の立場であえて弱点を突き、制限や安全策を突破できないかを確かめるテスト。
[15] human-in-the-loop: 人間が確認や判断のプロセスに関与する仕組み。
以上
Ai4公式サイト:https://ai4.com/
#Ai4 #AIエージェント #AIエージェント評価 #Evals #信頼性 #強化学習 #報酬設計 #AmazonNova #AI安全性 #HumanInTheLoop
お問い合わせ・資料ダウンロード
ガバナンスを人とAIで強くする会社
プライバシーテックは、人手不足のガバナンス業務をAIで自動化します。最新のデータ利活用時におけるプライバシー保護技術に関して、資料ダウンロードも可能です。是非ご覧ください。
過去の支援実績












支援実績
最新資料

PrivacyTech GRoW-VA
散在する情報を、複利を育むIntelligenceに変え、AI・データガバナンスの実行を支援・自動化。AIとデータガバナンス領域の専門性を深いレベルで統合し、顧客ごとにカスタマイズされた出力をスピーディーに実現できるプラットフォームです。

PlayBook開発支援サービス
AI・データ活用の原理原則・ルールをまとめた、PlayBook(プレイブック)は急速に進化する技術を乗りこなしていくため、現場の従業員が課題を発見し、対策を導くための手順・戦略・ノウハウをまとめた指南書です。

PIAとはなにか? (策定と運用)
Privacy Impact Assessment (Data Protection Impact Assessment)プライバシー影響評価(データ保護影響評価)に関する概要説明、及びプライバシーへの配慮を前提とした開発モデル「プライバシー・バイ・デザイン(PbD)」について記載しております。

プライバシーポリシー改定の進め方
AIや3rdParty、Cookieレスへの対応など、従来の個人情報管理だけではない、利用者への説明責任や選択機会の提供の対応が求められています。そういった環境変化に対応するための戦略的プライバシーポリシー改定の方法を記載しております。

プライバシーセンター新規開設の進め方
Webサイトやアプリのアクセス時に突如出現する「同意取得バナー」や、難解で大量の文字で埋め尽くされた規約で、生活者(ユーザー)から同意取得をすればよいという対応は、既に形骸化しており、もはや時代にそぐわないものになっています。生活者との信頼の醸成に繋がるプライバシーの同意取得の方法・考え方を記載しております。

改正電気通信事業法 外部送信規律の対応事例
2023年6月16日から改正電気通信事業法が施行されることになり、「外部送信規律」が新たに追加されました。これは、インターネットでビジネスを展開する際、利用者に対して、透明性を高めることを義務化する法律です。この対応を怠ると、行政指導や業務改善命令、従わない場合は200万円以下の罰金が課されるため、他社事例を元にこの規律を学んでいただける資料を作成しております。






















