( EVENT REPORT )
AIエージェントのコストを削減するには?──TrueFoundryが語る実践策

企業ガバナンスを支援するAIプラットフォームを提供する株式会社プライバシーテックは、2026年8月4日〜6日に米国ラスベガスで開催された「Ai4 2026」に参加いたしました。「米国最大のAIカンファレンス(America's Largest AI Conference)」を掲げる本カンファレンスで弊社が聴講したセッションの内容を、いくつかの記事として皆様の実務に役立つ形でお届けしています。
本記事では、AIプラットフォームを提供するTrueFoundryの共同創業者兼CEO、Nikunj Bajaj氏による講演「企業のトークン・モデル費用を1億ドル削減──その実践ノウハウを公開([We Saved an Enterprise $100M in Token and Model Costs. Steal Our Playbook](https://app.swapcard.com/event/ai4-2026/planning/UGxhbm5pbmdfNDQ6OTA2OA==))」[1]を紹介します。
今回の講演で示されたAIエージェント[2]のコスト削減策の一つは、すべての処理を最先端の高性能モデルに送らないことです。AIの利用料金は、トークンに応じてかかります。TrueFoundryのNikunj Bajaj氏は、「AIのコストを一番確実に下げる方法は、そもそもAIモデルに処理させる量を減らすこと」と語ります。
米国の大手ヘルスケア企業が電話の自動応答をAIエージェントで刷新した事例をもとに、AIのコストと応答の遅さをどう抑えたのか、そして「小さく始めるな」という逆説的な提言の意味が語られました。
この記事でわかること
・見積もり比95%のコスト減:3億ドル超と見積もられた電話のAI自動応答の刷新を、約1,500万ドルで稼働させたヘルスケア企業の事例がある。
・「小さく始めるな」:小さな試験導入をたくさん並べるのではなく、大きな効果が見込めるAI活用で、AIを動かすための共通の仕組みを作ることが勧められた。事例企業では、その仕組みの上で約1年のうちに15件以上のAI活用が本番稼働した。
・高価なモデルを使うのは約9%のみ:あるAI導入事例では決まったルールでの処理、過去の回答の再利用、小型モデルへの振り分けにより、最先端モデルまで届く処理は全体の約9%に抑えられた。
※数字の注釈([1]など)の用語は、記事末尾の「用語解説」で説明しています。
目次
登壇者
Nikunj Bajaj(Co-founder & CEO, TrueFoundry)
企業のコントロールプレーン[3](AI利用を一元管理する基盤)を提供するTrueFoundryの共同創業者兼CEOを務める。同社の創業前はMetaに在籍していた。
はじめに:AIのコストと、成果の出ない試験導入
Bajaj氏は、AIの総コストは業界全体の問題であると言います。MITの調査では生成AIの試験導入の95%がまったくリターンを生んでいないとされ、調査会社Gartner[4]は、進行中のエージェント型AIプロジェクトの40%超が中止される可能性が高いと予測しています。
事例:電話の自動応答をAIエージェントで刷新
導入の課題:3億ドル超の構築費用見積もりと、90秒以上の応答時間
同氏が紹介したのは、TrueFoundryの顧客である米国の大手ヘルスケア企業の事例です。社名は明かされませんでしたが、米国の売上高上位50社(Fortune 50[5])に入る企業だといいます。
この企業は、全米9,000店舗につながる電話回線で年間およそ5億件の電話を受けており、「〇〇の方は1を」と案内する昔ながらの自動音声応答を使っていました。2023年に入り、AIエージェントを作ろうという動きが広がるなか、同社はこれを丸ごと刷新しようと、AIモデルの提供会社に相談しました。このシステムを1年かけて構築するための見積もりは3億ドル超でした。
そこで同社は、フロンティアモデル[6](最先端の高性能モデル)を使って自らシステムを作る道を選びます。ところが最初の試作品では、問い合わせへの応答に90秒以上かかりました。目標は2秒未満です。コストだけでなく、速さも大きな課題でした。
導入の成果:2秒以内の応答と、当初見積もりから95%の構築費用削減
TrueFoundryがこの顧客と仕事を始めてから約6か月後、昔ながらの自動応答は、AIエージェントによる応答に置き換わりました。
たとえば90歳の女性から、「以前処方された心臓の薬をもう一度受け取りたい」とだけ伝える電話がありました。AIエージェントは、どの薬のことか、いつ処方されたか、処方の残回数を確認して受け取りの手続きを完了し、2秒以内に応答したといいます。システムは約1年半のうちに、全米9,000店舗すべてで稼働するまでになりました。
そして費用は、見積もりの3億ドルに対して実際には1,500万ドル。現在の運用費も年間1,500万ドルです。見積もりに比べて95%低いコストで稼働を始めたことになります。
「小さく始めるな」:大きな用途で共通の基盤を作る
同氏は、AI活用でよく言われる「小さく始める」という考え方に、あえて異を唱えました。
各チームがそれぞれ小さな試験導入を始めると、企業内には200件もの試験導入が並ぶことになります。しかし、どれも単独では、AIを本番で動かすための共通の基盤への投資を正当化できるほどの効果を生みません。
そこで同氏が勧めるのが、大きなビジネス価値を持つ「アンカー用途[7]」を5つほど見つけ、そのうちの一つで基盤全体を作ることです。基盤ができれば、残りの用途は一から作り直さずにその上で動かせます。どの規模の効果があれば基盤づくりを正当化できるかは、自社の事業規模に応じて決めます。TrueFoundryの顧客の場合、通常は1億ドル以上の効果が目安になるといいます。
同氏はこれを発電所にたとえました。
「携帯電話を充電するために発電所を建てるわけではありません。発電所は工場を動かすために建てるもので、その結果、建物中の携帯電話もついでに(追加の設備投資なしで)充電できるようになるのです。」
実際、この事例で作った基盤の上では、約1年のうちに15件以上の生成AIの用途が本番稼働し、それぞれが1,000万ドルを超える効果を生んでいたといいます。試験導入から本番までの期間も、数か月や数年ではなく、数日から数週間に縮まりました。

AIのコストを下げる仕組み:「自分が胴元になる」
では、コストはどうやって下げたのか。Bajaj氏は「ラスベガスでは胴元が必ず勝つ(The House Always Wins)」という言葉を引き合いに出し、AIの世界ではモデルの提供会社が胴元にあたると指摘しました。一つの提供会社に依存しないために、自分自身が胴元になることが答えだといいます。同氏が挙げた主な方法は次のとおりです。
・オープンソースモデル[8]を使う:利用が大規模になったら、処理の一部を、処理の一部を自社環境で運用できるオープンソースモデルに切り替える。
・難しさに応じて振り分ける:複雑な問い合わせは最先端モデルへ、簡単で繰り返しの多い問い合わせは安いモデルへ、自動で振り分ける(ルーティング[9])。
・同じ質問を繰り返さない:一度回答した質問は結果を保存して再利用し(キャッシュ[10])、モデルに再び送らない。
・予算に上限を設ける:ただし、この事例では予算上限による削減はごく一部だったという。
同氏によれば、これらはすべて一つの管理基盤を作ることで実現できます。ある顧客では、決まったルールでの処理、キャッシュ、小型モデルへの振り分けにより、最先端モデルまで届いた処理は全体のおよそ9%だけでした。
また同氏は、TrueFoundryの経験では、人為的なミスを避けるだけで、コスト削減の20〜50%を占めることが多いとも述べました。

AIエージェント運用の3つの学び
1. 誰がどれだけ使ったかを見える化する
同氏はMetaに在籍していた頃、AIの学習を始める前に「この実行には4,500ドルかかります」と表示される社内の仕組みを使っていました。その表示を見るたびに、まずは少ないデータで試せないか、パラメータ[11]の数を減らせないかと自問し、それだけでコストが抑えられたといいます。生成AIでも同じで、トークンをチームごとに記録してランキングで見えるようにすると、各チームは自分たちの名前が載るのを見て、コストを下げられると気づき、行動が変わるといいます。
2. すべてのエージェントに「緊急停止」の仕組みを
同氏は、すべてのAIエージェントにキルスイッチ[12](予算オーバーの防止や異常停止を行う仕組み)を設けるべきだと強調しました。エージェントが暴走したらすぐに止め、問い合わせはルールに基づく代わりの仕組みに回します。
「組織内のすべてのエージェントに、キルスイッチが必要です」と語りました。
3. 安全策は、用途を決めてから作る
AIが不適切な動きをしないためのガードレール[13](安全策)についても、作る順番が大切だといいます。
「最初にガードレールから始める組織は、たいてい何もリリースできません」
先に安全策から作ろうとすると、起こりうる失敗が300通りも見えてきて、そのすべてに対応しようとしてしまうからです。まず用途を決め、その用途に最も関係する安全策から作り、さらに別の安全策へ広げられる基盤を作るのが正しい順番だと同氏は述べました。
弊社の考察:特定AIに依存しない「全社共通の土台」から始める
今回の事例で語られた「特定のAIに頼りすぎない共通の土台を作る」という考え方は、事業の規模こそ違いますが、弊社が提供するガバナンス特化のAIプラットフォーム「GRoW-VA」の設計思想とも重なる部分が多くあります。実際にGRoW-VAでも、特定のAI会社の技術だけに依存しない柔軟な作り込みを進めています。
また、講演の中で印象的だった「小さく始めるな」という提言は、私たちがお客様へご提案する際の大切な視点でもあります。現場では、部署ごとに小さな「お試し導入(PoC)」ばかりが増えてしまい、結局どれも本格活用につながらないケースが少なくありません。そうしたお悩みを持つお客様には、単発の小さなテストを繰り返すのではなく、最も効果の大きい業務を軸にして全社で使い回せる土台から一緒に作る進め方を、これからもご提案していきたいと考えています。
用語解説
※以下は、弊社でまとめた一般的な説明です。
[1] 講演「企業のトークン・モデル費用を1億ドル削減──その実践ノウハウを公開」:Ai4 2026におけるTrueFoundry CEO Nikunj Bajaj氏のセッション。
[2] AIエージェント:与えられた目標に向けてAIが自ら手順を判断し、ツールを使いながらタスクを進める仕組み。
[3] コントロールプレーン:複数のAIモデルやエージェントの利用、コスト、ルールなどを一元的に管理する層。
[4] Gartner:米国に本社を置く世界有数のIT分野のリサーチ&アドバイザリー企業。
[5] Fortune 50:米Fortune誌が毎年発表する米国企業の売上高ランキング(Fortune 500)の上位50社。
[6] フロンティアモデル:主要なAI開発企業が提供する、最先端・最高性能クラスの大規模AIモデル。高性能な分、利用料金も高い傾向がある。
[7] アンカー用途:共通の管理基盤構築を正当化できるほどの大きなビジネス価値をもたらす、中心的な生成AI活用領域。
[8] オープンソースモデル:モデルの構造や重みが公開され、自社のインフラや環境で自由に運用可能なAIモデル。
[9] ルーティング:要求の内容や難易度に応じて、処理させる適切なAIモデルやルールへ振り分けること。
[10] キャッシュ:一度得た応答結果を保存しておき、同じ要求が来た際に再利用することでコストや時間を削減する仕組み。
[11] パラメータ:AIモデルが学習によって調整する内部の設定値。数値が大きいほど複雑な処理が可能になるが計算コストも増える。
[12] キルスイッチ:異常や予算オーバーが起きた際に、対象となるAIエージェントの処理を即座に安全に停止させる機能。
[13] ガードレール:AIが不適切な出力や意図しない動作をしないように制限する安全策やガイドライン。
Ai4公式サイト:https://ai4.com/
#Ai4 #AIエージェント #AIコスト削減 #LLMコスト #トークンコスト #モデルルーティング #キルスイッチ #ガードレール #TrueFoundry #生成AI活用 #AI導入
お問い合わせ・資料ダウンロード
ガバナンスを人とAIで強くする会社
プライバシーテックは、人手不足のガバナンス業務をAIで自動化します。最新のデータ利活用時におけるプライバシー保護技術に関して、資料ダウンロードも可能です。是非ご覧ください。
過去の支援実績












支援実績
最新資料

PrivacyTech GRoW-VA
散在する情報を、複利を育むIntelligenceに変え、AI・データガバナンスの実行を支援・自動化。AIとデータガバナンス領域の専門性を深いレベルで統合し、顧客ごとにカスタマイズされた出力をスピーディーに実現できるプラットフォームです。

PlayBook開発支援サービス
AI・データ活用の原理原則・ルールをまとめた、PlayBook(プレイブック)は急速に進化する技術を乗りこなしていくため、現場の従業員が課題を発見し、対策を導くための手順・戦略・ノウハウをまとめた指南書です。

PIAとはなにか? (策定と運用)
Privacy Impact Assessment (Data Protection Impact Assessment)プライバシー影響評価(データ保護影響評価)に関する概要説明、及びプライバシーへの配慮を前提とした開発モデル「プライバシー・バイ・デザイン(PbD)」について記載しております。

プライバシーポリシー改定の進め方
AIや3rdParty、Cookieレスへの対応など、従来の個人情報管理だけではない、利用者への説明責任や選択機会の提供の対応が求められています。そういった環境変化に対応するための戦略的プライバシーポリシー改定の方法を記載しております。

プライバシーセンター新規開設の進め方
Webサイトやアプリのアクセス時に突如出現する「同意取得バナー」や、難解で大量の文字で埋め尽くされた規約で、生活者(ユーザー)から同意取得をすればよいという対応は、既に形骸化しており、もはや時代にそぐわないものになっています。生活者との信頼の醸成に繋がるプライバシーの同意取得の方法・考え方を記載しております。

改正電気通信事業法 外部送信規律の対応事例
2023年6月16日から改正電気通信事業法が施行されることになり、「外部送信規律」が新たに追加されました。これは、インターネットでビジネスを展開する際、利用者に対して、透明性を高めることを義務化する法律です。この対応を怠ると、行政指導や業務改善命令、従わない場合は200万円以下の罰金が課されるため、他社事例を元にこの規律を学んでいただける資料を作成しております。






















