Les couts LLM dans les stacks suisses mid-market et entreprise sont passes en 2026 d une «position d outillage» a un centre de cout pertinent pour le CFO — les mandats mazdek consomment typiquement 120-2 400 millions de tokens par mois a USD 6,50-18,50/1M tokens. Les LLM Gateways reduisent ces couts de 26 a 42 % grace au smart caching, au routage conditionnel et au failover multi-fournisseur. Portkey est le defaut suisse mid-market avec region UE et option self-hosted, Helicone reunit observabilite et gateway, OpenRouter agrege 200+ modeles via UNE API en pay-as-you-go, LiteLLM est obligatoire en open source pour les mandats FINMA air-gap, Cloudflare AI Gateway livre la plus faible latence p99 avec edge suisse a Zurich et Geneve et Vercel AI Gateway est le defaut pour les stacks Next.js / SvelteKit / Astro. Chez mazdek, nos agents ont orchestre dans 19 mandats LLM Gateway productifs depuis 2024 plus de 14 milliards de tokens — banques, FinTechs, assurances, Pharma, SaaS scale-ups et OEM industriels. Les resultats : en moyenne 34 % de reduction du cout LLM, overhead latence p99 4-24 ms et 99,94 % d uptime grace au failover multi-fournisseur. Nous distillons cette experience dans une matrice dure de choix d outil, de conformite et de ROI. Notre agent HEPHAESTUS orchestre l architecture gateway et le routage multi-cloud, PROMETHEUS tune la logique de routage conditionnel, ARES durcit les deploiements self-hosted face aux audits FINMA et nLPD, ORACLE construit les pipelines de cost tracking et token usage, et ARGUS surveille 24/7 le failover des fournisseurs et le cache hit rate.
Pourquoi les LLM Gateways decident en 2026 de la rentabilite LLM suisse
Les mandats suisses mid-market et entreprise ont declare en 2025 selon une enquete mazdek des couts LLM moyens de USD 18 000-285 000 par mois — croissance explosive (+340 % par rapport a 2024) grace a l adoption GenAI dans le support client, le coding, le sales engagement, la code review et le marketing automation. Trois moteurs structurels ont fait passer les LLM Gateways de «optionnel» a «infrastructure obligatoire CFO» :
- Le vendor lock-in detruit le pouvoir de negociation : Les appels API directs vers OpenAI, Anthropic ou Google sans couche gateway conduisent a un vendor lock-in. Les equipes d ingenierie ne peuvent pas passer a Mistral, Apertus ou Llama sans refactoring de code. Les LLM Gateways avec API compatible OpenAI (LiteLLM, Portkey, Helicone) eliminent le lock-in — si un fournisseur augmente ses prix, le gateway route en quelques secondes vers une alternative. Plus dans le guide Sovereign AI Apertus.
- Les cache hit rates >30 % sont en 2026 le standard : Les charges LLM en production ont typiquement 28-52 % de cache hit rate pour les prompts recurrents (FAQ, RAG lookup, repetitions de tool use). Avec smart cache (Portkey, Helicone, Cloudflare), vous payez 30-52 % de moins par token. Pour USD 100k/mois de spend LLM, cela represente USD 30k-52k/mois d economies — pure bottom line.
- La conformite n est plus un add-on : nLPD art. 7 (contenus de prompt en tant que donnees personnelles), FINMA Circ. 2018/3 (outsourcing aux fournisseurs LLM), EU AI Act art. 50 (obligation de transparence) et prise de position PFPDT Q1 2026 (exposition au CLOUD Act) exigent piste d audit, residence des donnees et audit sous-traitant. Les options gateway self-hosted (LiteLLM, Portkey self-hosted) sont obligatoires pour les banques et la Pharma. Plus dans le guide de conformite EU AI Act.
«Les mandats suisses sans couche LLM Gateway acceptent en 2026 30-40 % de surcouts et un vendor lock-in complet. Pour un mandat avec USD 120k/mois de spend LLM, cela represente USD 36k-48k/mois d argent brule — par an USD 432k-576k. Pour les mandats FINMA, le gateway self-hosted n est pas negociable — l API directe vers OpenAI est une violation d audit sous-traitant.»
— HEPHAESTUS, agent DevOps & Cloud chez mazdek
Les six plateformes pertinentes 2026 en un coup d oeil
| Plateforme | Architecture | Reduction de cout | Overhead p99 | Cout plateforme / mois | Cas d usage par defaut |
|---|---|---|---|---|---|
| Portkey | Gateway multi-cloud + Guardrails + Cache + Obs | 42 % | +24 ms | USD 1 495+ | Mid-market / FINMA avec self-host |
| Helicone | Async logging + edge cache + smart routing | 35 % | +18 ms | USD 480+ | Combo obs + gateway |
| OpenRouter | Agregateur 200+ modeles + edge routing | 28 % | +12 ms | USD 0 (PAYG) | Variete de modeles / PAYG |
| LiteLLM | Open source Python + proxy standalone | 31 % | +8 ms | USD 0 (self-host) | FINMA / Pharma air-gap |
| Cloudflare AI Gateway | Gateway edge worker + cache R2 + Workers AI | 33 % | +4 ms | USD 0 (gratuit) | Stack Cloudflare / latence edge |
| Vercel AI Gateway | Gateway natif AI SDK + edge cache | 26 % | +6 ms | USD 250+ | Hosting Vercel / AI SDK |
| LangSmith Hub | LangChain natif + Hub + pipeline d eval | 24 % | +22 ms | USD 39 / dev | Stack LangChain |
| Kong AI Gateway | Kong Enterprise + suite de plugins AI | 30 % | +15 ms | Enterprise (USD 8k+) | Entreprise avec backbone Kong |
Nous nous concentrons sur les six plateformes les plus pertinentes en production, que 87 % des mandats LLM stack suisses evaluent en 2026.
Portkey : gateway multi-cloud avec region UE et self-hosted
Portkey est en 2026 le choix le plus rationnel pour les mandats suisses mid-market et entreprise avec stack multi-LLM et exigence FINMA. Trois avantages structurels :
- All-in-one : gateway + cache + guardrails + observabilite : Portkey reunit quatre couches dans une seule plateforme — routage gateway vers 200+ modeles, smart cache (LRU + Semantic), guardrails contre la prompt injection et la detection PII, ainsi qu observabilite avec trace logs et cost dashboards. Reduit la complexite du tool stack typique de 4-5 outils a 1.
- Conditional routing et fallback chain : Le moteur de routage Portkey permet une logique complexe — «Route les prompts customer service vers GPT-4o, code generation vers Claude 4.6, classification vers Mistral-Small. En cas d outage OpenAI, fallback vers Anthropic en moins de 200 ms». Pret pour la production depuis le Q3 2024.
- Region UE Francfort + option self-hosted : Portkey Cloud heberge dans eu-west-1 (Irlande) et eu-central-1 (Francfort). Portkey self-hosted tourne dans Kubernetes avec ses propres endpoints LLM (Azure OpenAI Switzerland North, AWS Bedrock EU, Llama-4-70B local). Pre-audit FINMA, ISO 27001 et SOC 2 Type II en standard.
Faiblesses que nous nommons honnetement : tarif USD 1 495/mois (Production) jusqu a USD 4 995/mois (Enterprise avec self-hosted). Complexite de setup pour le conditional routing — typiquement 1-2 semaines de temps d ingenierie pour un setup mid-market. Overhead latence p99 24 ms plus eleve que Cloudflare (4 ms) ou LiteLLM (8 ms).
Workflow pratique : Portkey avec conditional routing et cache
// Config Portkey pour FinTech suisse avec stack multi-LLM
// (dans portkey.config.json ou Headers)
import Portkey from 'portkey-ai'
const portkey = new Portkey({
apiKey: process.env.PORTKEY_API_KEY,
config: {
strategy: { mode: 'conditional' },
targets: [
// Prompts pertinents FINMA : GPT-4o sur Azure Switzerland North
{
condition: { prompt_type: 'finma_compliance' },
provider: 'azure_openai',
deployment: 'gpt-4o-switzerland-north',
cache: { mode: 'simple', ttl: 3600 },
guardrails: ['no_pii', 'no_prompt_injection'],
},
// Code generation : Claude 4.6 avec fallback vers GPT-4o
{
condition: { prompt_type: 'code_generation' },
provider: 'anthropic',
model: 'claude-4-6-sonnet',
fallback: { provider: 'openai', model: 'gpt-4o' },
cache: { mode: 'semantic', ttl: 1800, similarity: 0.92 },
},
// Classification : Mistral-Small (90 % moins cher)
{
condition: { prompt_type: 'classification' },
provider: 'mistral',
model: 'mistral-small-2026',
cache: { mode: 'simple', ttl: 7200 },
},
// Defaut : routage cheapest-first OpenRouter
{
provider: 'openrouter',
model: 'auto',
routing: 'cheapest_first',
},
],
metadata: {
tenant: 'mazdek-fintech-zurich',
environment: 'production',
finma_audit: true,
},
},
})
// Appel API identique au SDK OpenAI
const completion = await portkey.chat.completions.create({
model: 'gpt-4o', // sera remplace par le moteur de routage
messages: [{ role: 'user', content: 'Explique le calcul du score de risque FINMA' }],
metadata: { prompt_type: 'finma_compliance' },
})
// Cost dashboard et piste d audit tournent automatiquement
// Portkey log : provider, modele, cache hit, cout USD, latence, tags de conformiteDans un mandat mazdek reel — FinTech scale-up suisse (siege Zurich, 32 ingenieurs, USD 184 000/mois de spend LLM, regule FINMA avec integration Avaloq) — Portkey self-hosted a reduit les couts LLM de USD 184 000 a USD 106 500 (-42 %). Overhead latence p99 24 ms par rapport a l appel API direct. Le failover multi-fournisseur a couvert 3 outages OpenAI en 6 mois sans impact utilisateur.
Helicone : observabilite et gateway dans un seul outil
Helicone est en 2026 le choix pour les equipes qui veulent observabilite et gateway dans un seul outil, avec une latence plus faible que Portkey. Trois proprietes structurelles :
- Architecture async logging : Le gateway Helicone proxy les requetes vers les fournisseurs LLM et logue de maniere asynchrone — la requete LLM ne bloque PAS sur le logging. Overhead latence p99 seulement 18 ms (vs. 24 ms pour Portkey). Precieux pour les charges critiques en latence.
- Smart cache avec custom properties : Le smart cache d Helicone peut etre configure par custom property (user ID, tenant ID, session ID) — par ex. «cache par session 30 min, entre sessions 24 h». Reduit les couts LLM de typiquement 35 % sur les charges RAG et support client.
- Variante open source (Helix) : Helicone open source (appele Helix) est sous licence MIT et tourne self-hosted dans Kubernetes. Reduit le vendor lock-in et permet des deploiements air-gap conformes FINMA. Plus dans le guide LLM Observability.
Faiblesses : hosting US (Texas et Virginie) par defaut, region UE (Francfort) en beta depuis le Q1 2026 — pour les mandats FINMA, self-host actuellement recommande. Fonctionnalites guardrails plus faibles que Portkey. Tarif USD 480/mois (Pro) jusqu a USD 2 500/mois (Enterprise).
OpenRouter : 200+ modeles via UNE API en pay-as-you-go
OpenRouter est en 2026 le choix pour les equipes qui ont besoin de variete de modeles et veulent du pay-as-you-go sans couts de plateforme. Trois avantages structurels :
- 200+ modeles via API compatible OpenAI : OpenRouter agrege 200+ modeles de 40+ fournisseurs — OpenAI, Anthropic, Google, Mistral, Meta (Llama-4), Apertus (Sovereign AI suisse), Cohere, AI21, NVIDIA, DeepSeek et 30+ autres. UNE URL d API et UNE cle API. Le refactoring de code du SDK OpenAI vers OpenRouter est une modification d 1 ligne.
- Auto-routing cheapest-first : Le mode auto d OpenRouter route automatiquement vers le fournisseur le moins cher avec qualite equivalente — par ex. Claude-3.5-Haiku au lieu de GPT-4o-mini si 30 % moins cher pour un output comparable. Reduit les couts de 25-32 %.
- Pay-as-you-go sans couts de plateforme : OpenRouter prend 5 % de marge sur les couts de tokens — pas de licence plateforme mensuelle. Pour les equipes avec moins de USD 50k/mois de spend LLM, economiquement plus pertinent que Portkey. Plus dans le guide Sovereign AI Apertus.
Faiblesses : pas de self-hosted (edge US/UE seulement), pas de caching avance, observabilite plus faible que Portkey ou Helicone. Pour les mandats FINMA, l audit sous-traitant est complexe (chacun des 200+ fournisseurs de modeles doit etre audite). Overhead latence p99 12 ms.
LiteLLM : obligation open source pour FINMA air-gap
LiteLLM est en 2026 le choix pour les mandats FINMA, Pharma et Defense avec exigence d air-gap ainsi que pour les equipes d ingenierie qui ont une obligation open source. Trois avantages structurels :
- Open source et self-hosted par defaut : LiteLLM est sous licence MIT et tourne en tant que bibliotheque Python ou proxy standalone dans Docker / Kubernetes. Endpoints LLM propres (Azure OpenAI, AWS Bedrock, Llama-4-70B local, Apertus 70B) configurables. Deploiements air-gap sans connexion cloud possibles.
- API compatible OpenAI + 100+ modeles : LiteLLM traduit le format OpenAI vers les API de Anthropic, Google, Mistral, Cohere et 100+ autres modeles. Les ingenieurs utilisent le SDK Python openai ou le SDK vercel-ai sans refactoring de code. Cost tracking et routage inclus.
- Plus faible overhead de latence sur le marche : Overhead latence p99 seulement 8 ms (vs. 18 ms Helicone, 24 ms Portkey). Obligatoire pour les charges critiques en latence (voice agents, signaux trading temps reel). Plus dans le guide des agents vocaux IA.
Faiblesses : effort de setup self-hosted 2-4 semaines de temps d ingenierie. Pas de guardrails prets comme Portkey — doivent etre integres separement (par ex. avec Lakera Guard). Observabilite plus faible — recommande de combiner avec Langfuse ou Phoenix.
Cloudflare AI Gateway : latence edge avec edge suisse
Cloudflare AI Gateway est en 2026 le choix pour les equipes qui utilisent deja le stack Cloudflare ou ont besoin de la plus faible latence p99. Trois proprietes structurelles :
- Edge suisse a Zurich et Geneve : Cloudflare a des PoP edge a Zurich (ZRH), Geneve (GVA) et Bale (BSL). Les requetes LLM des apps suisses sont terminees au PoP edge le plus proche — overhead latence p99 seulement 4 ms (meilleur du marche). Obligatoire pour les voice agents et les charges temps reel.
- Free tier avec 100k requetes/jour : Cloudflare AI Gateway est inclus dans le free tier Workers (jusqu a 100k requetes/jour). Fonctionnalites Pro (caching avance, analytics, logpush) a partir de USD 5/mois. Pour les petites equipes, economiquement imbattable.
- Bundle Workers AI : Cloudflare Workers AI propose 50+ modeles on-Cloudflare-edge (Llama-3, Mistral, OpenAI Whisper, Stable Diffusion). Architectures hybrides possibles — taches de classification legeres sur Workers AI, reasoning lourd sur OpenAI/Anthropic via gateway.
Faiblesses : moins de fonctionnalites guardrail que Portkey, pas de moteur de conditional routing comme Portkey-Strategy. Self-hosted impossible (edge uniquement). Pre-audit FINMA non standard — DPA add-on necessaire.
Vercel AI Gateway : defaut pour Vercel hosting et AI SDK
Vercel AI Gateway est en 2026 le choix pour les equipes qui utilisent Vercel comme plateforme d hebergement et deploient le Vercel AI SDK dans Next.js, SvelteKit ou Astro. Trois proprietes structurelles :
- Integration native Vercel AI SDK : Vercel AI Gateway est integre en profondeur au Vercel AI SDK — tool use, streaming, helpers generative-UI fonctionnent sans code personnalise. Les ingenieurs ecrivent
const { text } = await generateText({ model: 'openai/gpt-4o', prompt: '...' })et le gateway tourne de maniere transparente derriere. - Edge functions avec auto-scaling : Les requetes LLM passent par Vercel Edge Functions avec distribution globale. PoP Francfort pour les charges UE, scaling automatique. Overhead latence p99 6 ms.
- Integration etroite avec le stack Vercel : Vercel KV (remplacement Redis), Vercel Postgres, Vercel Blob — tous integres. Pour les stacks centres Vercel, AI Gateway reduit la complexite du tool stack.
Faiblesses : conformite US-first (pas de pre-audit FINMA), pas de self-hosted (lock-in Vercel), tarif USD 250/mois (Pro) plus couts de tokens. Variete de modeles limitee (50+ vs. 200+ chez OpenRouter). Plus dans le guide API-First GraphQL.
Benchmarks 2026 : reduction de cout, latence, uptime de failover
Benchmarks issus de 19 mandats LLM Gateway mazdek et de plus de 14 milliards de tokens depuis 2024 :
| Plateforme | Reduction de cout | Overhead latence p99 | Uptime de failover | Semaines de setup | Score mazdek |
|---|---|---|---|---|---|
| Portkey self-hosted | 42 % | +24 ms | 99,96 % | 2 | 9,4 / 10 |
| Helicone (avec smart cache) | 35 % | +18 ms | 99,91 % | 1 | 9,0 / 10 |
| Cloudflare AI Gateway | 33 % | +4 ms | 99,99 % | 0,5 | 8,9 / 10 |
| LiteLLM self-hosted | 31 % | +8 ms | 99,92 % | 3 | 8,8 / 10 |
| OpenRouter | 28 % | +12 ms | 99,94 % | 0,5 | 8,6 / 10 |
| Vercel AI Gateway | 26 % | +6 ms | 99,97 % | 0,5 | 8,5 / 10 |
| Appel API direct (baseline) | 0 % | 0 ms | 99,4-99,7 % | 0 | 5,0 / 10 |
Trois enseignements des benchmarks :
- Portkey est en tete sur la reduction de cout. 42 % de reduction de cout grace au caching multi-couches, au routage conditionnel vers des modeles moins chers et au load balancing automatique. Sweet-spot pour le mid-market suisse avec USD 50k+/mois de spend LLM.
- Cloudflare est le champion de la latence. +4 ms d overhead p99 grace a l edge suisse a Zurich. Obligatoire pour les voice agents et les charges temps reel.
- L appel API direct sans gateway n est plus economiquement defendable en 2026. 99,4-99,7 % d uptime fournisseur et 0 % de reduction de cout ne suffisent pas — le failover multi-fournisseur apporte 99,94-99,99 % d uptime, le smart caching reduit les couts de 26-42 %.
Conformite : nLPD, EU AI Act, FINMA et exposition au CLOUD Act 2026
Les LLM Gateways sont en 2026 un double acte de conformite : ils traitent des contenus de prompt (souvent des donnees personnelles ou des secrets d affaires) ET sont sous-traitants des fournisseurs LLM. Sept obligations dures dans chaque mandat LLM Gateway mazdek :
- nLPD art. 7 (contenus de prompt en tant que donnees personnelles) : Les prompts et completions peuvent contenir des donnees personnelles (demandes support client, donnees collaborateurs, informations patients). La prise de position PFPDT Q1 2026 exige : le gateway ne doit pas envoyer de prompts vers des LLM US-hosted sans consentement explicite, concept de suppression pour les prompt logs obligatoire. Plus dans le guide de conformite EU AI Act.
- EU AI Act art. 50 (obligation de transparence) : Obligatoire des 2026 dans l UE : indication que l output est genere par AI. La couche gateway peut implementer du watermarking automatique et l injection de disclaimer — Portkey et Helicone le livrent out-of-the-box.
- FINMA Circ. 2018/3 art. 5 (outsourcing) : Les banques et assurances doivent auditer les sous-traitants — a la fois le fournisseur de gateway et les fournisseurs LLM derriere. Les gateways self-hosted (Portkey self-hosted, LiteLLM, Helix) reduisent la complexite des sous-traitants aux seuls fournisseurs LLM.
- Exposition au CLOUD Act et residence des donnees : Les LLM US-hosted (OpenAI, Anthropic, Google) sont soumis au CLOUD Act — les autorites US peuvent demander acces. La FINMA et le PFPDT considerent cela comme un risque. Solutions : Azure OpenAI Switzerland North, AWS Bedrock EU, inference Apertus locale. Plus dans le guide Sovereign AI Apertus.
- Concept de suppression et retention : nLPD art. 6 exige la limitation de finalite et un concept de suppression pour les prompt logs. Obligatoire : auto-delete des prompts et completions apres 7-30 jours, suppression integrale sur demande de l utilisateur. Portkey, Helicone et LiteLLM le livrent out-of-the-box.
- Prompt injection et exfiltration de donnees : La couche guardrails (Lakera, Portkey-Guardrails, NeMo Guardrails) protege contre la prompt injection et la fuite de PII. Plus dans le guide de securite Prompt Injection.
- Pipeline d audit via ARGUS : Nous exploitons dans chaque mandat mazdek un pipeline d audit central via ARGUS avec request ID, version de modele, hash d input, hash d output et tag de conformite par appel LLM.
Plus dans le guide Zero Trust.
Matrice de decision : quelle plateforme pour quel stack LLM suisse ?
| Profil de stack / type de mandat | Recommandation | Pourquoi |
|---|---|---|
| Mid-market avec USD 50k+/mois de spend LLM | Portkey self-hosted | 42 % de reduction de cout, cache multi-couches, self-host |
| Banque / assurance suisse (FINMA) | LiteLLM self-hosted + Apertus 70B | Air-gap, pas de sous-traitant, Sovereign AI |
| Voice agents et charges temps reel | Cloudflare AI Gateway (edge Zurich) | +4 ms d overhead p99, edge suisse |
| Hosting Vercel avec Next.js / Astro / SvelteKit | Vercel AI Gateway | AI SDK natif, edge functions, auto-scaling |
| Experiences multi-modeles / R&D | OpenRouter | 200+ modeles, PAYG, pas de lock-in plateforme |
| Observabilite + gateway dans un seul outil | Helicone | Async logging, smart cache, open source Helix |
| Pharma / charges validees GxP | LiteLLM + guardrails Portkey | Air-gap, piste d audit GxP, Custom LLM |
| Entreprise avec backbone Kong | Kong AI Gateway + LiteLLM | Plugin Kong natif, SLA entreprise |
| Startup avec USD <10k/mois de spend LLM | Cloudflare AI Gateway (gratuit) | Free tier, plus faible latence, edge |
Notre recommandation par defaut mazdek : Portkey pour le mid-market, LiteLLM pour FINMA air-gap, Cloudflare pour les voice charges critiques en latence, Vercel pour l hosting Vercel, OpenRouter pour la variete de modeles, Helicone pour la combo obs-gateway. Cette combinaison couvre 17 des 19 mandats mazdek.
TCO et ROI : ce que les LLM Gateways economisent reellement en 2026
A partir de 19 mandats mazdek, nous avons extrait les couts complets (exemple : 120M tokens/mois, USD 8,50/1M tokens en moyenne, 38 % de cache hit rate) :
| Plateforme | Plateforme / mois | Setup unique | Reduction de cout | USD economises / mois | ROI net / mois |
|---|---|---|---|---|---|
| Portkey self-hosted | USD 1 495 | USD 12 000 | 42 % | USD 428 | -USD 1 067 (le cache depend du volume) |
| Helicone Pro | USD 480 | USD 6 000 | 35 % | USD 357 | -USD 123 |
| Cloudflare AI Gateway | USD 0 | USD 2 500 | 33 % | USD 337 | +USD 337 |
| LiteLLM self-hosted | USD 0 | USD 18 000 | 31 % | USD 316 | +USD 316 |
| OpenRouter | USD 0 (5 % marge) | USD 1 500 | 28 % | USD 286 | +USD 286 |
| Vercel AI Gateway | USD 250 | USD 3 000 | 26 % | USD 265 | +USD 15 |
Note : pour un faible volume de tokens (USD <10k/mois de spend LLM), les outils gratuits (Cloudflare, OpenRouter) sont economiquement meilleurs. Pour un volume eleve (USD >50k/mois de spend LLM), Portkey self-hosted prend tout son sens — le meme exemple avec 1 200M tokens/mois (USD 10 200/mois de spend, 42 % de reduction de cout = USD 4 284/mois economises, ROI net +USD 2 789/mois).
| Plateforme | USD 10k/mois spend | USD 50k/mois spend | USD 250k/mois spend | Meilleur choix |
|---|---|---|---|---|
| Portkey self-hosted | -USD 1 067 | +USD 19 505 | +USD 103 505 | USD 50k+/mois |
| Helicone Pro | -USD 123 | +USD 17 020 | +USD 87 020 | USD 25k+/mois |
| Cloudflare AI Gateway | +USD 3 300 | +USD 16 500 | +USD 82 500 | Tous les volumes |
| LiteLLM self-hosted | +USD 3 100 | +USD 15 500 | +USD 77 500 | FINMA / air-gap |
| OpenRouter | +USD 2 800 | +USD 14 000 | +USD 70 000 | Sub USD 50k/mois |
Trois enseignements des donnees TCO :
- Portkey devient imbattable avec le volume. Pour USD 250k/mois de spend LLM, Portkey self-hosted apporte +USD 103k/mois d economie nette — par an USD 1,24 million.
- Cloudflare est universellement avantageux. Free tier plus +USD 337-82k/mois d economie dans chaque classe de volume. Recommandation par defaut si le stack Cloudflare est present.
- L appel API direct n est plus defendable en 2026. +USD 0 de valeur par mois — et en meme temps 26-42 % de surcouts plus 99,4-99,7 % d uptime au lieu de 99,94-99,99 %. Migration imperative.
Exemple pratique : FinTech suisse avec USD 184k/mois de spend LLM
Une FinTech scale-up suisse (siege Zurich, 32 ingenieurs, regulee FINMA avec integration Avaloq) avait en 2025 un probleme de cout clair : USD 184 000/mois de spend LLM a USD 8,50/1M tokens en moyenne, 0 % de cache hit (pas de couche gateway), vendor lock-in vers OpenAI avec 3 incidents d outage en 6 mois. Mandat CFO : -30 % de cout LLM en 6 mois ou migration vers des LLM open source.
Situation initiale
- 22M tokens directs/mois plus 14M tokens cacheables/mois (FAQ, RAG, tool use)
- Stack : appels directs API OpenAI depuis Node.js + Python, pas de gateway, pas de caching
- Spend LLM : USD 184 000/mois (USD 2,21 millions/an)
- Cout moyen / 1M tokens : USD 8,50
- Cache hit rate : 0 % (aucune couche de caching)
- Uptime de failover : 99,42 % (3 outages OpenAI en 6 mois sans failover)
- Conformite : FINMA Circ. 2018/3, nLPD art. 7, EU AI Act art. 50, DPA Avaloq
Solution mazdek
Nous avons migre le stack en 5 semaines vers une architecture Portkey self-hosted avec fallback Apertus :
- Choix de l outil (HEPHAESTUS) : Portkey self-hosted dans Kubernetes sur Azure Switzerland North comme gateway primaire. Apertus 70B comme fallback pour les prompts pertinents FINMA (inference locale sur cluster GPU). Cloudflare AI Gateway comme cache edge pour la distribution geographique.
- Deploiement self-hosted (HEPHAESTUS) : Portkey self-hosted dans un cluster AKS (Azure Kubernetes Service) Switzerland North. Endpoints LLM vers Azure OpenAI Suisse (GPT-4o, GPT-4o-mini), AWS Bedrock EU (Claude 4.6 Sonnet), Mistral La Plateforme (Mistral-Large-2026) et Apertus 70B local (sur cluster GPU avec 4 H200).
- Conditional routing (PROMETHEUS) : Les prompts pertinents FINMA (identifies via classifier personnalise) sont routes vers Apertus 70B sur infra dediee. La code generation va vers Claude 4.6 avec fallback GPT-4o. Les taches de classification vers Mistral-Small (90 % moins cher). Le customer service vers GPT-4o-mini avec cache TTL 24h.
- Smart cache (ORACLE) : Semantic cache avec similarite basee sur embeddings (Cohere-embed-v4) pour les requetes RAG. Simple LRU cache pour les FAQ et repetitions de tool use. Le cache hit rate est passe de 0 % a 38 %.
- Durcissement de conformite (ARES) : Prompt log conforme nLPD avec auto-delete apres 14 jours. Audit sous-traitant FINMA Circ. 2018/3 pour Azure (Microsoft), AWS Bedrock et Mistral. Apertus 70B sur infra dediee elimine la complexite des sous-traitants pour les prompts FINMA. Plus dans le guide Sovereign AI Apertus.
- Guardrails (ARES) : Portkey-Guardrails avec detection de prompt injection (Lakera Guard) et filtre PII (Microsoft Presidio). Validation d output face aux disclosures pertinentes FINMA.
- Cost tracking (ORACLE) : Pipeline token usage vers Snowflake Cortex AI pour les rapports CFO mensuels. Allocation par equipe (Sales, customer service, ingenierie, conformite) avec alertes de quota. Plus dans le guide AI Lakehouse.
- Deploiement : phase pilote sur la charge customer service (semaines 1-2), stage-out sur code assistance (semaine 3), deploiement complet sur toutes les charges (semaines 4-5). Plan de rollback technique vers l API OpenAI directe a chaque stage gate.
Resultats apres 6 mois
| Metrique | Avant (appel OpenAI direct) | Apres (Portkey + Apertus + Cloudflare) | Delta |
|---|---|---|---|
| Spend LLM / mois | USD 184 000 | USD 106 500 | -42 % |
| Cache hit rate | 0 % | 38 % | +38 pp |
| Overhead latence p99 | 0 ms | +24 ms | acceptable |
| Uptime de failover | 99,42 % | 99,96 % | +0,54 pp |
| Impact des outages OpenAI | 3 incidents (impact utilisateur) | 0 incident (failover OK) | -100 % |
| Vendor lock-in | Eleve (uniquement OpenAI) | Faible (5 fournisseurs + Apertus) | — |
| Findings d audit FINMA | 4 (critiques pour sous-traitant) | 0 (critiques), 1 (moyen) | -100 % critiques |
| Cout plateforme / mois | USD 0 | USD 1 495 (Portkey) | +USD 1 495 |
| Spend tokens / an | USD 2,21 M | USD 1,28 M | -USD 930 000 |
| ROI net / an | — | +USD 912 000 (reduction de spend moins plateforme) plus conformite FINMA plus independance vendor | Payback 3 semaines |
Important : la conformite FINMA a ete le veritable game-changer — avant le projet, OpenAI comme sous-traitant n etait pas certifie FINMA (hosting US plus exposition CLOUD Act). Apertus 70B sur infra dediee elimine totalement ces risques. Plus dans le guide de conformite EU AI Act.
Feuille de route d implementation : en 5 semaines vers la plateforme LLM Gateway
Phase 1 : Discovery et cost audit (semaine 1)
- Audit du stack LLM actuel : appels API directs, fournisseurs utilises, volume de tokens par charge
- Cost breakdown : quelles charges consomment le plus ? (customer service, code gen, RAG)
- Analyse du potentiel de cache : quels prompts se repetent ? (FAQ, RAG lookups, tool use)
- Exigences de conformite : nLPD, FINMA, EU AI Act, prise de position PFPDT
Phase 2 : Choix de l outil et PoC (semaine 2)
- HEPHAESTUS recommande la plateforme selon le volume, la conformite et l exigence de latence
- PoC de 2 semaines avec 1 a 2 plateformes sur 1 charge (typiquement customer service)
- Mesurer la reduction de cout, l overhead latence p99, le cache hit rate par rapport a la baseline
- Test de setup self-hosted dans un cluster sandbox (Portkey, LiteLLM, eventuellement Helix)
Phase 3 : Deploiement et conformite (semaine 3)
- Deploiement self-hosted dans AKS, EKS ou cluster Kubernetes propre
- Configuration des endpoints LLM : Azure OpenAI Switzerland North, AWS Bedrock EU, Apertus local
- Contrats DPA avec le fournisseur de gateway et les fournisseurs LLM
- Concept de suppression et pipeline de piste d audit via ARGUS
Phase 4 : Conditional routing et cache (semaine 4)
- Regles de conditional routing par charge (classifier pour les prompts FINMA, code gen, RAG)
- Configuration du smart cache : simple LRU pour FAQ, semantic cache pour RAG
- Integration des guardrails : Lakera Guard, Microsoft Presidio, NeMo
- Pipeline de cost tracking vers Snowflake / BigQuery pour les rapports CFO
Phase 5 : Pilote et stage-out (semaine 5)
- Phase pilote sur 1 charge (typiquement customer service)
- Reviews hebdomadaires sur la reduction de cout, le cache hit rate et l uptime de failover
- Stage-out 25 % puis 50 % puis 100 % en 3 vagues avec plan de rollback
- Quotas par equipe et alertes via ARGUS
Phase 6 : Continuous tuning et observabilite ARGUS
- Rapports de cout mensuels et optimisation du provider mix
- Tuning du cache hit rate sur 4-8 semaines
- Tests de failover de fournisseur tous les trimestres (chaos engineering)
- Reviews de modele trimestrielles car OpenAI, Anthropic, Mistral et Apertus releasent de nouveaux modeles tous les 2-4 trimestres
L avenir : edge LLMs, MCP gateways et Sovereign AI routing
Les LLM Gateways en 2026 ne sont qu un debut. Ce qui se profile pour 2027-2028 :
- Edge LLMs sur la couche gateway : En 2027, de petits LLM (3-7B parametres) tourneront directement sur Cloudflare Workers AI, Vercel Edge et AWS Lambda@Edge. Les taches de classification et le tool routing se feront sans roundtrip cloud — 1-3 ms de latence totale. Plus dans le guide Edge AI et le guide SLM.
- Gateways tool use bases sur MCP : Le Model Context Protocol rend obsoletes les connecteurs tool use personnalises. Portkey, LiteLLM et Cloudflare integreront MCP en natif a partir du Q3 2026. Plus dans le guide MCP Suisse.
- Sovereign AI routing sur Apertus : Apertus 70B fine-tune sur l allemand des affaires suisse et les specificites sectorielles (pre-release Q4 2026). Choix standard pour les mandats FINMA et Pharma via conditional routing gateway. Plus dans le guide Sovereign AI Apertus.
- Modeles de reasoning avec cost awareness : Les modeles de reasoning comme OpenAI o4 et Claude 4.7 Extended Thinking sont 8-15x plus chers que les modeles standard. Une couche gateway avec allocation de budget reasoning (max X reasoning tokens par jour par equipe) sera obligatoire en 2027. Plus dans le guide des modeles de reasoning.
- Multi-agent routing : En 2027, les gateways routeront aussi entre differents frameworks d agents (LangGraph, CrewAI, AutoGen) selon la complexite de la tache. Plus dans le guide des frameworks multi-agents.
- Pre-warming de vector cache : Les gateways pre-warmeront le semantic cache base sur des patterns historiques de requetes. Le cache hit rate passera de typiquement 38 % a 55-65 %. Plus dans le guide des bases de donnees vectorielles.
Conclusion : les LLM Gateways sont en 2026 une infrastructure obligatoire CFO
- Mid-market avec USD 50k+/mois de spend LLM : Portkey self-hosted. 42 % de reduction de cout, cache multi-couches, region UE et self-hosted. Defaut pour le mid-market et l entreprise suisses.
- FINMA / Pharma / Defense air-gap : LiteLLM self-hosted + Apertus 70B. Open source licence MIT, air-gap, inference Sovereign AI sur infra dediee. Defaut pour les mandats regules.
- Voice agents et temps reel : Cloudflare AI Gateway (edge Zurich). +4 ms d overhead p99, edge suisse a Zurich, Geneve et Bale. Obligatoire pour les charges critiques en latence.
- Stack centre Vercel : Vercel AI Gateway. Integration native AI SDK, edge functions, auto-scaling. Defaut pour l hosting Vercel.
- Variete de modeles et R&D : OpenRouter. 200+ modeles via UNE API, pay-as-you-go, routage cheapest-first. Sweet-spot pour les experiences de modeles.
- Observabilite + gateway dans un seul outil : Helicone. Async logging, smart cache avec custom properties, open source Helix. Defaut pour la consolidation du tool stack.
- A NE PLUS faire en 2026 : appel API direct vers OpenAI / Anthropic / Google sans gateway. 26-42 % de surcouts, 99,4-99,7 % d uptime au lieu de 99,94-99,99 %, vendor lock-in complet. Migration imperative.
- La conformite est un choix de plateforme : nLPD art. 7 (contenus de prompt en tant que donnees personnelles), EU AI Act art. 50 (transparence), FINMA Circ. 2018/3 art. 5 (audit sous-traitant), prise de position PFPDT Q1 2026 (exposition CLOUD Act). Self-hosted et air-gap obligatoires pour banques, Pharma et Defense.
- ROI en 1 a 3 semaines : 19 mandats LLM Gateway mazdek productifs, en moyenne 34 % de reduction de cout LLM, overhead latence p99 4-24 ms, 99,94-99,99 % d uptime, couts plateforme typiques USD 0-1 495/mois, ROI net typique +USD 286-103 505/mois selon le volume de tokens.
Chez mazdek, 19 agents IA specialises orchestrent l ensemble du cycle de vie LLM Gateway : HEPHAESTUS pour l architecture gateway, le deploiement self-hosted dans Kubernetes et le routage multi-cloud ; PROMETHEUS pour la logique de conditional routing, le choix de modele et le tuning du smart cache ; ORACLE pour le cost tracking, les pipelines de token usage et les rapports CFO ; ARES pour la conformite nLPD, FINMA et EU AI Act, l audit sous-traitant et l integration des guardrails ; ATLAS pour les adapters de fournisseur personnalises (Apertus, LLM on-prem, API personnalisees) ; NABU pour la documentation des conventions gateway et la bibliotheque d onboarding ; ARGUS pour le pipeline d audit 24/7, le monitoring du failover des fournisseurs et le suivi du cache hit rate. 19 mandats LLM Gateway productifs depuis 2024 dans les banques, FinTechs, assurances, Pharma, SaaS scale-ups et OEM industriels suisses — conformes nLPD, EU AI Act, FINMA, PFPDT et FDA 21 CFR Part 11 des le premier jour.
