Vlastní LLM, nebo API: kdy se vyplatí provozovat model ve vlastním cloudu

Tři varianty, ne dvě

Otázka „vlastní model, nebo API“ je položená příliš úzce. V praxi existují tři možnosti a liší se hlavně tím, kdo vidí data a kdo nese provoz.

Rozhodnutí se navíc nedělá jednou pro celou firmu, ale pro každý workload zvlášť. Interní chatbot nad dokumentací, extrakce dat ze smluv a coding asistent mají jiný objem, jinou citlivost dat i jiné nároky na kvalitu modelu.

Co dnes umí open-weight modely

Nabídka modelů s otevřenými vahami je v říjnu 2026 široká a licenčně použitelná i komerčně. Několik příkladů ověřených v primárních zdrojích:

• gpt-oss od OpenAI – vydáno 5. srpna 2025 pod licencí Apache 2.0; větší varianta gpt-oss-120b podle OpenAI běží na jedné GPU s 80 GB paměti, menší gpt-oss-20b vystačí s 16 GB.
• DeepSeek V4-Flash – podle karty modelu na Hugging Face licence MIT, 284 miliard parametrů (13 miliard aktivních) a kontext jeden milion tokenů.
• Mistral – přehled modelů uvádí mezi open-weight modely Mistral Small 4 a Mistral Large 3 pod Apache 2.0. Mistral Large 4 je podle zprávy z 6. října 2026 ve veřejném preview přes API a otevřené váhy výrobce slíbil do konce října 2026.

Dvě věci je potřeba říct otevřeně. Zaprvé, velikost modelu určuje hardware: model, který se vejde na jednu 48GB nebo 80GB kartu, je jiná liga nákladů než model se stovkami miliard parametrů, který potřebuje celý uzel s osmi GPU. Zadruhé, veřejné žebříčky neříkají, jak si model povede na vašich úlohách a v češtině. Než začnete počítat peníze, sestavte si vlastní testovací sadu z reálných vstupů a porovnejte na ní kandidáta s modelem, který používáte přes API.

Break-even: metodika místo zázračného čísla

API se platí za spotřebu, vlastní GPU za čas. Bod zvratu proto závisí na jediné věci: kolik tokenů měsíčně skutečně protlačíte hardwarem, který platíte nepřetržitě.

měsíční cena GPU      = hodinová cena uzlu × 720 h
smíšená cena API      = (podíl vstupu × cena vstupu) + (podíl výstupu × cena výstupu)   [USD / 1M tokenů]
break-even objem      = měsíční cena GPU / smíšená cena API                              [M tokenů / měsíc]
potřebná propustnost  = break-even objem / (720 × 3600 s × využití)                      [tokeny / s]

Ukázkový výpočet s veřejnými ceníky

Vstupy jsou z veřejných ceníků AWS ve stavu k 6. říjnu 2026; vše ostatní je předpoklad a je tak označeno.

• GPU: instance p5.48xlarge (8× H100) stála v rámci EC2 Capacity Blocks ve Stockholmu do 6. října 2026 37,76 USD za hodinu (4,72 USD za akcelerátor). Od 7. října 2026 AWS na téže stránce ohlašuje pro řadu P5 jednotnou sazbu 5,97 USD za akcelerátor ve všech regionech, tedy 8 × 5,97 = 47,76 USD za hodinu; výpočet níže používá tuto novou sazbu. Jde o cenu rezervovaných časových bloků, která se pravidelně mění, on-demand cena se liší.
• API: open-weight model DeepSeek v3.2 stojí na Amazon Bedrock ve stejném regionu 0,74 USD za milion vstupních a 2,22 USD za milion výstupních tokenů.
• Předpoklad: poměr vstupních a výstupních tokenů 3 : 1 (typické pro RAG a agenty s dlouhým kontextem; u vás může být jiný).

Výpočet záměrně neobsahuje žádné „typické“ číslo o výkonu GPU. Propustnost závisí na modelu, kvantizaci, délce kontextu a míře souběhu, a jediná důvěryhodná hodnota je ta, kterou naměříte vlastním zátěžovým testem. Otázka pak zní jednoduše: dokáže váš model na tomto uzlu dlouhodobě dodat potřebnou propustnost a máte vůbec tolik provozu?

Střední cesta: modely v EU regionech hyperscalerů

Pro většinu firem je nejrozumnější začít u modelů provozovaných cloudovým poskytovatelem, u kterého už mají smlouvu, identity a síť. Rozhodují ale detaily nasazení.

Azure AI Foundry

Typ deploymentu určuje, kde se data zpracují. Podle dokumentace Microsoftu mohou být u typu Global data zpracována v kterémkoli regionu Azure, u typu Data Zone jen v rámci dané zóny (US, EU nebo APAC) a u regionálního typu v zákazníkem zvolené geografii. EU Data Zone se řídí hranicí EU Data Boundary, která může zahrnovat i země ESVO, například Norsko a Švýcarsko. Data uložená v klidu zůstávají ve zvolené geografii.

K retenci: prompty a odpovědi podle stránky o ochraně dat nejsou dostupné OpenAI ani jiným poskytovatelům modelů a neslouží k trénování základních modelů. Součástí služby je však monitoring zneužití, při kterém se prompty a odpovědi mohou ukládat pro lidskou kontrolu. Tento krok odpadá jen zákazníkům se schváleným režimem „modified abuse monitoring“, o který se žádá.

Amazon Bedrock

U Bedrocku hlídejte typ inference profilu. Podle dokumentace ke cross-region inference zpracuje geografický profil (například EU) požadavek v některém regionu dané geografie, kdežto globální profil může zvolit kterýkoli podporovaný komerční region na světě. Pro účty s citlivými daty je proto vhodné globální profily zakázat politikou.

Retenci Bedrock řídí parametrem data_retention_mode. Hodnota none podle dokumentace znamená, že AWS nezapisuje požadavky ani odpovědi na trvalé úložiště a nesdílí je s poskytovatelem modelu.

Kdy vlastní provoz dává smysl i bez finančního break-evenu

Cena za token je jen jedno z kritérií. Vlastní provoz bývá oprávněný v těchto situacích:

• Data nesmějí opustit vaše prostředí. Smluvní závazky vůči zákazníkům, utajované nebo zvlášť citlivé informace, případně interní politika, která nepřipouští ani dočasné uložení u třetí strany. Vlastní model ve vašem VPC či VNetu je jediná varianta, kde retenci řídíte celou sami.
• Potřebujete stabilní verzi modelu. U API výrobce verzi neovlivníte a starší modely se vypínají. Váhy, které máte uložené, se nezmění, dokud to neuděláte sami – to je důležité pro validované procesy a auditní stopu.
• Jde o úzkou úlohu s velkým objemem. Klasifikace, extrakce, sumarizace nebo embeddingy často zvládne malý model na jedné kartě a výpočet break-evenu vychází úplně jinak než u velkého modelu.
• Potřebujete fine-tuning nebo vlastní adaptéry a plnou kontrolu nad tím, co se s nimi děje.
• Řídíte latenci. Vyhrazená kapacita blízko aplikace odstraňuje sdílené limity a kolísání odezvy. Platí to ovšem jen tehdy, když máte kapacitu dimenzovanou na špičku.

Kdy to naopak nedělat

• Provoz je nárazový nebo malý – GPU by většinu času stála nevyužitá.
• Úloha vyžaduje špičkový model (složité agentní workflow, náročné uvažování nad kódem) a open-weight kandidát na vaší testovací sadě nestačí.
• Tým nemá zkušenost s GPU na Kubernetes a nemá kapacitu držet pohotovost pro další kritickou službu.
• Skutečným problémem není model, ale neuspořádaná infrastruktura a data – k tomu více v článku o chaosu v infrastruktuře před nasazením AI.

Čím model obsluhovat

Volba inference serveru se během posledního roku zjednodušila.

Prakticky důležité je, že vLLM i KServe nabízejí rozhraní kompatibilní s OpenAI API. Pokud aplikace volá model přes interní gateway s tímto rozhraním, můžete mezi API a vlastním provozem přepínat po jednotlivých workloadech a rozhodnutí není nevratné.

# Minimální start vLLM s OpenAI-kompatibilním API (model jen jako příklad)
vllm serve openai/gpt-oss-20b \
  --host 0.0.0.0 --port 8000 \
  --max-model-len 32768 \
  --api-key "$VLLM_API_KEY"

# Aplikace mění jen base URL:
# OPENAI_BASE_URL=http://llm-gateway.internal:8000/v1

Provozní náklady, na které se zapomíná

Hodinová cena GPU je viditelná položka. Ty méně viditelné rozhodují o tom, zda projekt po půl roce někdo nezruší.

• Dostupnost kapacity. GPU instance nejsou vždy k dispozici ve zvoleném regionu. Kvóty, rezervace a záložní region řešte před podpisem interního SLA, ne po prvním výpadku.
• Studený start. Váhy velkých modelů mají desítky až stovky gigabajtů. Stažení a načtení do paměti určuje, jak rychle umíte škálovat a jak dlouho trvá obnova po pádu uzlu. Scale-to-zero je u velkých modelů spíše teorie.
• Upgrady. Ovladače GPU, device plugin, inference server a nové verze modelů tvoří další řetězec závislostí vedle běžných upgradů clusteru. Nasazení nové verze modelu si zaslouží stejnou disciplínu jako deployment bez výpadku u aplikací.
• Evaluace. Každá změna modelu, kvantizace nebo promptu potřebuje regresní test kvality. Bez něj nepoznáte, že se výstupy zhoršily.
• Bezpečnost a audit. Vlastní model znamená vlastní logy promptů. Musíte rozhodnout, co se loguje, kdo k tomu má přístup a jak dlouho se to uchovává – tedy přesně to, co jste u API vyčítali dodavateli. Navazuje na to bezpečnostní monitoring a logování.
• Původ vah. Váhy a kontejnerové image stahujte z ověřených zdrojů, držte je ve vlastním registru a odchozí provoz inferenčních podů omezte síťovou politikou.
• Lidé. Kombinace znalosti Kubernetes, GPU a LLM je vzácná. Počítejte s časem na zaučení a s tím, že služba potřebuje zastupitelnost.

Co udělat v pondělí

Klíčové poznatky

• Break-even je otázka využití, ne ceny GPU. Uzel s 8× H100 za 47,76 USD/h se proti API ceně 1,11 USD za milion tokenů zaplatí až kolem 31 miliard tokenů měsíčně – a to bez redundance a práce lidí.
• Výkon měřte, nepřebírejte. Propustnost závisí na modelu, kvantizaci a souběhu; do výpočtu patří jen vlastní naměřená hodnota.
• Střední cesta vyžaduje správné nastavení. Data Zone EU nebo regionální deployment v Azure, geografický inference profil v Bedrocku; globální varianty mohou data zpracovat mimo EU.
• Retenci ověřujte pro každý model. U nejnovějších modelů se objevuje povinná až 30denní retence pro účely kontroly zneužití.
• Vlastní provoz obhájí hlavně data a stabilita verzí. Finanční argument funguje u malých modelů s velkým a stálým objemem.
• TGI už pro nové projekty nevolte. Standardem pro produkční obsluhu je vLLM, na Kubernetes případně s KServe.
• OpenAI-kompatibilní gateway drží dveře otevřené. Umožní přesouvat workloady mezi API a vlastním provozem podle toho, jak se změní ceny a podmínky.