Szerző
AI Development Team Leader
Szakértőink nagy tapasztalattal rendelkeznek a fejlett AI-technológiák és gépi tanulási megoldások terén. Legyen szó adatelemzésről, előrejelzések készítéséről, tradicionális AI fejlesztésről, személyre szabott megoldásaink az üzleti igényeidhez igazodnak.
Cikkei
Misi Teszt
Az év eleji rövid tokenmaxxing utáni delírium után az új hot topic az inferencia - LLM futtatás, válasz generálás - költségek leszorítása lett. Az boring irány a lokális modell futtatás akár lokális infrán. Vehetünk DGX Spark-okat vagy Mac Studio M5-öt október végétől már 512GB rammal. Vagy vehetünk bérelt dedikált GPU-s gépek a cloudból, itt a (bánatunkra) mindenki kedvenc új szolgáltatójává előlépett Hetzner is ad bérbe gépeket, igaz borsos setup fee-ért, de vannak rugalmasabb szogláltatók is akiket tesztelünk (DM-ben elárulom kik :)). Az izgalmasabb irányokra két példát láttam amit érdemes megnézni: Inferencia brokerek: szolgáltatók megvásárolják a cégek által lekötött, de ki nem használt API kapacitásokat (pl Amazon Bedrock) és azokat vehetjük meg és használhatjuk olcsóbban. Aki eladja annak jobb, mintha elveszne, mi olcsóbban kapjuk, a szolgáltató jutalékot szed. A nagy gyári modelleknél jellemzően alacsonyabb megtakarítás érhető el, bár ebben a pillanatban a GPT5.6-Sol 50% kedvezménnyel vásárolható meg, open weight modelleknél nem ritkák a 60-70% körüli megtakarítási lehetőségek. Kihasználatlan Apple számítási kapacitások értékesítése: ha van egy AI inference-re képes Apple Silicon alapú géped - pl. a fentebb említett Mac Studio, arra feltelepítesz egy háttérben futó programot, a szolgáltató pedig folyamatosan - elvileg titkosított - feladatokat delegál a kihasználatlan számítási kapacitásra, amelyet ki is fizet. Elvileg így akár ki is fizethetjük magunknak a szóban forgó Mac-et, igaz 8 év éjjel-nappali 100%-os futtatással, szóval annyira azért nem jó deal. Ez kicsit mint a régi SETI@home kutatás vagy éppen a Bitcoin bányászó botnetek. Itt értelemszerűen open weight modellek érhetőek el és inkább batch feladatok elvégzésére valóak mint élő interakciókra, bár a szolgáltató szerint "comparable" a teljesítmény.
Részletek →
Mesterséges intelligencia 2025-ben: technológiai innovációk és kihívások
Milyen szerepet játszik 2025-ben a mesterséges intelligencia? Összeállításunkból megtudhatod, melyek azok a fő trendek, amelyek kihatnak a szoftverpiacra.
Részletek →
Az AI precíziója a keresleti előrejelzésben: egy POC projekt tanulságai
A legújabb AI technológiák alkalmazásával átütő eredményeket lehet elérni a keresleti előrejelzés területén. Ismerd meg Proof of Concept projektünket!
Részletek →