Az inferencia költségek csökkentésének trendjei
Az év eleji tokenmaxxing után az új sláger az inferencia – az LLM futtatás és válaszgenerálás költségeinek leszorítása lett. A szokványos megközelítések között van a helyi modell futtatása dedikált infrastruktúrán, de az érdekes megoldások már más irányba mutatnak.
Lokális infrastruktúra vagy bérlés?
A hagyományos út a saját hardware vásárlása: DGX Spark szuperszámítógépek vagy az október végétől elérhető Mac Studio M5 512GB RAM-mel. Az alternatíva a felhőből bérelni dedikált GPU gépeket – ide tartozik az újabban erősödő Hetzner is, bár az indulási költségek borsosak, ám egyéb rugalmasabb szolgáltatók is érdekes opciókat kínálnak.
Az innovatív megoldások
Az igazán érdekes irányok közé tartozik az inferencia broker modell: szolgáltatók megvásárolják a cégek által lekötött, de ki nem használt API kapacitásokat (például Amazon Bedrock). Az értékesítő így nem veszít el semmit, a közvetítő jutalékot szed, mi pedig lényegesen olcsóbban kapjuk meg az erőforrást. A nagy gyári modelleknél az átlagos megtakarítás alacsonyabb, de a GPT5.6-Sol éppen 50% kedvezménnyel elérhető, míg open source modelleknél nem ritkák a 60–70% körüli kedvezmények.
A másik innovatív ötlet az Apple Silicon kapacitások közösségi értékesítése. Ha van egy AI inference-re képes Apple Silicon gépünk – például a fentebb említett Mac Studio –, rátelepíthetünk egy háttérprogramot, amely a kihasználatlan számítási kapacitást a szolgáltatóhoz delegálja, amely cserébe fizet érte. Elméletben így évek alatt ki is fizethetjük a gépet, de a gyakorlatban nyolc év nonstop 100%-os kihasználtság kellene ehhez. A megközelítés a régi SETI@home projekthez vagy a Bitcoin bányászathoz hasonlít. Itt elsősorban open source modellek érhetők el, és inkább batch feldolgozásra alkalmasak, mint valós idejű interakcióra, bár a szolgáltató teljesítménybeli összevetésben versenyképesnek állítja.
Ajánlatkérés
Növeld a vállalkozásod hatékonyságát és a bevételedet olyan egyedi szoftveres megoldásokkal, amelyek tényleg a céged igényeire készülnek.
Írd le az elképzeléseidet és a céljaidat, mi pedig rövid időn belül jelentkezünk, hogy megnézzük, hogyan tudunk segíteni.