From 5bc7fe574e798a53c1677f9e5119ceed61f26f3d Mon Sep 17 00:00:00 2001 From: milan Date: Wed, 19 Aug 2026 03:02:30 +0000 Subject: [PATCH] fix(model_prices): set prompt_cache_min_tokens=4096 for gemini 3.5/3.6/3.7 flash and 3.1 pro preview Co-Authored-By: Devin AI <158243242+devin-ai-integration[bot]@users.noreply.github.com> --- litellm/model_prices_and_context_window_backup.json | 12 ++++++++++++ model_prices_and_context_window.json | 12 ++++++++++++ 2 files changed, 24 insertions(+) diff --git a/litellm/model_prices_and_context_window_backup.json b/litellm/model_prices_and_context_window_backup.json index e6c6cab0631..ab07fc1fa77 100644 --- a/litellm/model_prices_and_context_window_backup.json +++ b/litellm/model_prices_and_context_window_backup.json @@ -19163,6 +19163,7 @@ }, "gemini-3.1-pro-preview": { "cache_read_input_token_cost": 2e-07, + "prompt_cache_min_tokens": 4096, "cache_read_input_token_cost_above_200k_tokens": 4e-07, "cache_creation_input_token_cost_above_200k_tokens": 2.5e-07, "input_cost_per_token": 2e-06, @@ -19374,6 +19375,7 @@ }, "vertex_ai/gemini-3.5-flash": { "cache_read_input_token_cost": 1.5e-07, + "prompt_cache_min_tokens": 4096, "input_cost_per_token": 1.5e-06, "input_cost_per_audio_token": 1e-06, "litellm_provider": "vertex_ai", @@ -19425,6 +19427,7 @@ }, "vertex_ai/gemini-3.6-flash": { "cache_read_input_token_cost": 1.5e-07, + "prompt_cache_min_tokens": 4096, "cache_read_input_token_cost_flex": 7.5e-08, "input_cost_per_token": 1.5e-06, "input_cost_per_token_batches": 7.5e-07, @@ -19479,6 +19482,7 @@ }, "vertex_ai/gemini-3.7-flash": { "cache_read_input_token_cost": 7.5e-08, + "prompt_cache_min_tokens": 4096, "cache_read_input_token_cost_flex": 3.75e-08, "input_cost_per_token": 7.5e-07, "input_cost_per_token_batches": 3.75e-07, @@ -19533,6 +19537,7 @@ }, "vertex_ai/gemini-3.1-pro-preview": { "cache_read_input_token_cost": 2e-07, + "prompt_cache_min_tokens": 4096, "cache_read_input_token_cost_above_200k_tokens": 4e-07, "cache_creation_input_token_cost_above_200k_tokens": 2.5e-07, "input_cost_per_token": 2e-06, @@ -21097,6 +21102,7 @@ }, "gemini/gemini-3.5-flash": { "cache_read_input_token_cost": 1.5e-07, + "prompt_cache_min_tokens": 4096, "input_cost_per_audio_token": 1e-06, "input_cost_per_token": 1.5e-06, "litellm_provider": "gemini", @@ -21151,6 +21157,7 @@ }, "gemini/gemini-3.6-flash": { "cache_read_input_token_cost": 1.5e-07, + "prompt_cache_min_tokens": 4096, "cache_read_input_token_cost_flex": 7.5e-08, "input_cost_per_token": 1.5e-06, "input_cost_per_token_batches": 7.5e-07, @@ -21208,6 +21215,7 @@ }, "gemini/gemini-3.7-flash": { "cache_read_input_token_cost": 7.5e-08, + "prompt_cache_min_tokens": 4096, "cache_read_input_token_cost_flex": 3.75e-08, "input_cost_per_token": 7.5e-07, "input_cost_per_token_batches": 3.75e-07, @@ -21298,6 +21306,7 @@ }, "gemini/gemini-3.1-pro-preview": { "cache_read_input_token_cost": 2e-07, + "prompt_cache_min_tokens": 4096, "cache_read_input_token_cost_above_200k_tokens": 4e-07, "input_cost_per_token": 2e-06, "input_cost_per_token_above_200k_tokens": 4e-06, @@ -21493,6 +21502,7 @@ }, "gemini-3.5-flash": { "cache_read_input_token_cost": 1.5e-07, + "prompt_cache_min_tokens": 4096, "input_cost_per_audio_token": 1e-06, "input_cost_per_token": 1.5e-06, "litellm_provider": "vertex_ai-language-models", @@ -21545,6 +21555,7 @@ }, "gemini-3.6-flash": { "cache_read_input_token_cost": 1.5e-07, + "prompt_cache_min_tokens": 4096, "cache_read_input_token_cost_flex": 7.5e-08, "input_cost_per_token": 1.5e-06, "input_cost_per_token_batches": 7.5e-07, @@ -21600,6 +21611,7 @@ }, "gemini-3.7-flash": { "cache_read_input_token_cost": 7.5e-08, + "prompt_cache_min_tokens": 4096, "cache_read_input_token_cost_flex": 3.75e-08, "input_cost_per_token": 7.5e-07, "input_cost_per_token_batches": 3.75e-07, diff --git a/model_prices_and_context_window.json b/model_prices_and_context_window.json index e6c6cab0631..ab07fc1fa77 100644 --- a/model_prices_and_context_window.json +++ b/model_prices_and_context_window.json @@ -19163,6 +19163,7 @@ }, "gemini-3.1-pro-preview": { "cache_read_input_token_cost": 2e-07, + "prompt_cache_min_tokens": 4096, "cache_read_input_token_cost_above_200k_tokens": 4e-07, "cache_creation_input_token_cost_above_200k_tokens": 2.5e-07, "input_cost_per_token": 2e-06, @@ -19374,6 +19375,7 @@ }, "vertex_ai/gemini-3.5-flash": { "cache_read_input_token_cost": 1.5e-07, + "prompt_cache_min_tokens": 4096, "input_cost_per_token": 1.5e-06, "input_cost_per_audio_token": 1e-06, "litellm_provider": "vertex_ai", @@ -19425,6 +19427,7 @@ }, "vertex_ai/gemini-3.6-flash": { "cache_read_input_token_cost": 1.5e-07, + "prompt_cache_min_tokens": 4096, "cache_read_input_token_cost_flex": 7.5e-08, "input_cost_per_token": 1.5e-06, "input_cost_per_token_batches": 7.5e-07, @@ -19479,6 +19482,7 @@ }, "vertex_ai/gemini-3.7-flash": { "cache_read_input_token_cost": 7.5e-08, + "prompt_cache_min_tokens": 4096, "cache_read_input_token_cost_flex": 3.75e-08, "input_cost_per_token": 7.5e-07, "input_cost_per_token_batches": 3.75e-07, @@ -19533,6 +19537,7 @@ }, "vertex_ai/gemini-3.1-pro-preview": { "cache_read_input_token_cost": 2e-07, + "prompt_cache_min_tokens": 4096, "cache_read_input_token_cost_above_200k_tokens": 4e-07, "cache_creation_input_token_cost_above_200k_tokens": 2.5e-07, "input_cost_per_token": 2e-06, @@ -21097,6 +21102,7 @@ }, "gemini/gemini-3.5-flash": { "cache_read_input_token_cost": 1.5e-07, + "prompt_cache_min_tokens": 4096, "input_cost_per_audio_token": 1e-06, "input_cost_per_token": 1.5e-06, "litellm_provider": "gemini", @@ -21151,6 +21157,7 @@ }, "gemini/gemini-3.6-flash": { "cache_read_input_token_cost": 1.5e-07, + "prompt_cache_min_tokens": 4096, "cache_read_input_token_cost_flex": 7.5e-08, "input_cost_per_token": 1.5e-06, "input_cost_per_token_batches": 7.5e-07, @@ -21208,6 +21215,7 @@ }, "gemini/gemini-3.7-flash": { "cache_read_input_token_cost": 7.5e-08, + "prompt_cache_min_tokens": 4096, "cache_read_input_token_cost_flex": 3.75e-08, "input_cost_per_token": 7.5e-07, "input_cost_per_token_batches": 3.75e-07, @@ -21298,6 +21306,7 @@ }, "gemini/gemini-3.1-pro-preview": { "cache_read_input_token_cost": 2e-07, + "prompt_cache_min_tokens": 4096, "cache_read_input_token_cost_above_200k_tokens": 4e-07, "input_cost_per_token": 2e-06, "input_cost_per_token_above_200k_tokens": 4e-06, @@ -21493,6 +21502,7 @@ }, "gemini-3.5-flash": { "cache_read_input_token_cost": 1.5e-07, + "prompt_cache_min_tokens": 4096, "input_cost_per_audio_token": 1e-06, "input_cost_per_token": 1.5e-06, "litellm_provider": "vertex_ai-language-models", @@ -21545,6 +21555,7 @@ }, "gemini-3.6-flash": { "cache_read_input_token_cost": 1.5e-07, + "prompt_cache_min_tokens": 4096, "cache_read_input_token_cost_flex": 7.5e-08, "input_cost_per_token": 1.5e-06, "input_cost_per_token_batches": 7.5e-07, @@ -21600,6 +21611,7 @@ }, "gemini-3.7-flash": { "cache_read_input_token_cost": 7.5e-08, + "prompt_cache_min_tokens": 4096, "cache_read_input_token_cost_flex": 3.75e-08, "input_cost_per_token": 7.5e-07, "input_cost_per_token_batches": 3.75e-07,