Misi cikkei

Misi Teszt

Az év eleji rövid tokenmaxxing utáni delírium után az új hot topic az inferencia - LLM futtatás, válasz generálás - költségek leszorítása lett. Az boring irány a lokális modell futtatás akár lokális infrán. Vehetünk DGX Spark-okat vagy Mac Studio M5-öt október végétől már 512GB rammal. Vagy vehetünk bérelt dedikált GPU-s gépek a cloudból, itt a (bánatunkra) mindenki kedvenc új szolgáltatójává előlépett Hetzner is ad bérbe gépeket, igaz borsos setup fee-ért, de vannak rugalmasabb szogláltatók is akiket tesztelünk (DM-ben elárulom kik :)). Az izgalmasabb irányokra két példát láttam amit érdemes megnézni: Inferencia brokerek: szolgáltatók megvásárolják a cégek által lekötött, de ki nem használt API kapacitásokat (pl Amazon Bedrock) és azokat vehetjük meg és használhatjuk olcsóbban. Aki eladja annak jobb, mintha elveszne, mi olcsóbban kapjuk, a szolgáltató jutalékot szed. A nagy gyári modelleknél jellemzően alacsonyabb megtakarítás érhető el, bár ebben a pillanatban a GPT5.6-Sol 50% kedvezménnyel vásárolható meg, open weight modelleknél nem ritkák a 60-70% körüli megtakarítási lehetőségek. Kihasználatlan Apple számítási kapacitások értékesítése: ha van egy AI inference-re képes Apple Silicon alapú géped - pl. a fentebb említett Mac Studio, arra feltelepítesz egy háttérben futó programot, a szolgáltató pedig folyamatosan - elvileg titkosított - feladatokat delegál a kihasználatlan számítási kapacitásra, amelyet ki is fizet. Elvileg így akár ki is fizethetjük magunknak a szóban forgó Mac-et, igaz 8 év éjjel-nappali 100%-os futtatással, szóval annyira azért nem jó deal. Ez kicsit mint a régi SETI@home kutatás vagy éppen a Bitcoin bányászó botnetek. Itt értelemszerűen open weight modellek érhetőek el és inkább batch feladatok elvégzésére valóak mint élő interakciókra, bár a szolgáltató szerint "comparable" a teljesítmény.