金融サービス企業(従業員300名)｜ 2024年6月〜2024年8月（2ヶ月）
AIエージェントの品質安定化とエラー率60%削減を実現
OpenTelemetryベースのオブザーバビリティ基盤を構築し、AIエージェントの品質・コスト・セキュリティを統合管理
エラー率
60%
削減
平均応答時間
45%
改善
インシデント検知
5分
以内
月間コスト
20%
削減
プロジェクト開始前の課題
チャットボットの品質が安定しない
社内で導入した顧客対応チャットボット（1本番稼働、2件PoC中）の出力品質にばらつきがあり、週に数回「明らかに間違った回答」が発生。しかし、いつ・なぜ品質が劣化するのかを把握する手段がなかった。
トークンコストの不透明さ
月間のAPI利用料が当初見込みの45万円を超過する月が続いていたが、どの処理がコストを押し上げているのか分析できていなかった。
障害対応の遅延
AIエージェントの障害はユーザーからの報告で初めて認知する状態。平均検知時間は2時間以上で、金融サービスとしては許容できないレベルだった。
CIALTEのアプローチ
オブザーバビリティ基盤構築
OpenTelemetryとCloud Traceを組み合わせ、AIエージェントの全リクエストをトレーシング。プロンプト→LLM応答→後処理の各段階でレイテンシ・トークン数・エラー率を計測する基盤を構築。
Why this approach
既存のAPMツールではLLMの内部動作を可視化できない。OpenTelemetryのカスタムスパンを活用し、AIエージェント特有のメトリクス（トークン消費、プロンプトバージョン、応答品質スコア）を計測可能にした。
異常検知・自動アラート実装
品質スコアの閾値監視、トークン消費の異常検知、エラー率のスパイク検知を実装。Slackへの自動アラートと、重大インシデント時のフォールバック処理（安全な定型応答への切り替え）を組み込んだ。
Why this approach
金融サービスでは「間違った回答を返す」ことが最大のリスク。品質劣化を検知した瞬間に安全な応答に切り替えるフォールバック機構により、ユーザーへの影響を最小化。
Technology Stack
プロジェクトの成果
| Metric | Before | After |
|---|---|---|
| エラー率 | 5.2% | 2.1% |
| 平均応答時間 | 3.2秒 | 1.8秒 |
| 障害検知時間 | 2時間以上 | 5分以内 |
| 月間APIコスト | 45万円 | 36万円 |
「AIの中身が見えるようになった」と情シス部門から高評価
障害対応が事後対応からプロアクティブな予防保守に転換
コスト可視化により、経営層へのAI投資の説明責任を果たせるように
"AIを導入したものの、ブラックボックス状態で不安でした。CIALTEのAI運用監視基盤を入れてから、AIの動作が完全に可視化され、問題が起きる前に対処できるようになりました。金融業界では「説明できないAI」は使えない。CIALTEはそれを理解してくれていた。"
情報システム部 マネージャー
金融サービス企業