Cloud Cost Sense
Vertex AI Gemini API 費用:公開前にトークンを見積もる
入力トークン、出力トークン、キャッシュ済みコンテキスト、grounding、リトライ、バックエンド利用量を分けて Vertex AI の Gemini API 費用を計画します。
リクエスト数より先にトークンをモデル化する
月間ユーザー数ではなく、プロダクト内の動作から分けます。チャット、要約、検索、AI アシスタントごとに、平均入力トークン、想定出力トークン、添付メディア、セッションごとの呼び出し数、ユーザーごとのセッション数、月間アクティブユーザー数を見積もります。
長いプロンプト、会話履歴、システム指示、取得したドキュメントも見積もりに含めます。ユーザー数が少なくても、毎回大きなコンテキストを送り、長い回答を生成すると費用は大きくなります。
キャッシュ済みコンテキストと grounding を分ける
繰り返し使う指示、プロダクト文書、例、ポリシーテキストは、毎回フル価格の入力として送るよりキャッシュできる場合があります。キャッシュ済み入力を別項目にすると、プロンプト再利用が本当に効いているか確認しやすくなります。
Grounding、検索、Maps、その他のツール呼び出しは、基本のモデル token 以外の費用を追加することがあります。外部事実確認がどれくらい必要か、1 つのユーザー操作が何回の grounded query を起こすか、すべてのフローで grounding が必要かを別に見積もります。
公開前にバックエンドのガードレールを置く
AI 費用は単独では動かないことが多いです。Cloud Run の実行時間、キューワーカー、Firestore または Cloud SQL の read/write、Storage アップロード、ログ、リトライを同じシナリオに入れます。失敗リトライやストリーミング再接続は、転換に貢献せずモデル呼び出しだけを増やすことがあります。
公開前に、ユーザーごとの上限、最大出力トークン、リクエストタイムアウト、不正利用検知、請求アラートを設定します。そのうえで通常月とスパイク時を計算機で比較し、モデル利用量、DB トラフィック、計算リソースのガードレールを一緒に確認してください。