Mit jelent egy AI-fejlesztést végigvinni a hype mögött? Hol bukhat el a projekt, és mi kell ahhoz, hogy valódi üzleti hasznot hozzon? Egy fejlesztői csapat tapasztalatai első kézből.
Az eseményről
Idén október 9-én és 10-én rendezték meg a Service Design Day-t Budapesten, a CEU épületében. A hazai service design szakma ismét összegyűlt, hogy megismerje a legújabb trendeket és tapasztalatokat. Az inspiráló előadások a service design sokrétű alkalmazási területeit járták körül, például többek között a branding, a customer experience és az employee experience témáit. A programban nagyvállalati döntéshozók és cégvezetők is előadtak, akik a vállalati kultúráról, az innovációról és a service design projektek bevezetési lehetőségeiről osztották meg tapasztalataikat. A résztvevők 11 különböző workshop közül is választhattak, ahol vezető hazai szakemberekkel dolgozhattak együtt aktuális és gyakorlati szakmai kérdéseken. A FrontEndART Szoftver Kft.-t idén Dr. Bakota Tibor, a cégünk ügyvezető igazgatója képviselte előadóként. Előadásában valós AI-projektek példáin keresztül beszélt a sikerekről, kihívásokról és a tanulságokról, amelyek a mesterséges intelligencia integrálásából származnak.
Valós AI-fejlesztések - a csillogás mögött
Az AI-projektek kívülről látványosak és lenyűgözőek, de a gyakorlatban sok akadállyal találkozhatunk. A demókon tíz sor kódot látszik, a háttérben viszont tízezer commit, adatelőkészítés, integráció, finomhangolás és karbantartás tartja életben a rendszert. Az AI valójában csak a jéghegy csúcsa: a legtöbb munka és költség az adat- és mérnöki folyamatokban rejlik. A varázslat nem a modellben, hanem az infrastruktúrában történik.
Az adat az AI gyengepontja?
A legnagyobb kihívás sokszor az adatokban van. A PDF nem adatforrás, hanem adattemető. Mivel minden dokumentum más struktúrájú, így a normalizálás komoly erőfeszítést igényel. Ha az input zajos, az AI sem tud csodát tenni. A RAG (retrieval-augmented generation) sem mindenható, ugyan egyszerűnek tűnik, de a gyakorlatban a darabolás, az embedding minősége és a prompt hosszának kezelése mind befolyásolja az eredményt. Sokszor fejlettebb megoldásokra van szükség, mint a GraphRAG vagy az ontológia-alapú rendszerek - ez segít leküzdeni egy valós akadályt, az AI rendszerek hallucinációját.
Agent-hype és a valós költségek
A mesterséges intelligencia körüli hype egyik új hulláma az AI agent, de a valóságban egy jól felépített workflow sokszor stabilabb és olcsóbb. Az autonóm rendszerek bonyolult állapotkezelést és memóriát igényelnek, amit fenntartani költséges. Ráadásul az igazi nehézségek nem a modellekben, hanem az integrációban rejlenek: régi rendszerek, inkompatibilis API-k, eltérő adatbázisok és skálázási problémák: és a legtöbb projekt itt vérzik el. A költségek is gyorsan elszállhatnak. Ami proof-of-concept (PoC) szinten olcsón működik, az éles környezetben akár nagyságrendekkel drágább lehet. A token-alapú díjazás „horror” költséggé válhat éles rendszerben, mert a fejlesztési fázisban és a valódi, folyamatosan működő környezetben drasztikusan eltér a terhelés, a hívások száma és a tokenhasználat mennyisége. Így a kezdetben aprónak tűnő ár (pl. 0,01 USD / 1 M token) a valós forgalom mellett könnyen több ezer dolláros havi költséggé nőhet - főként, ha nincs cache-elés, batching, vagy költségtudatos RAG-stratégia. Az AI nemcsak GPU-t, hanem költségvetést is fogyaszt és még ha jól is működik, az emberek sokszor bizonyosságot várnak tőle, miközben az AI valószínűségekkel dolgozik. Ezért a legjobb megoldás az emberi review-val és visszacsatolással kiegészített co-pilot megközelítés.
Az AI-fejlesztés nem egyszeri projekt
A mesterséges intelligencia folyamatos figyelmet igényel. Modellfrissítések, API-változások, adatdrift és az úgynevezett prompt-evolúció miatt az MLOps szemlélet elengedhetetlen. Aki nem gondozza az AI-ját, gyorsan lemarad. Tibor rávilágított arra, hogy az adat és ezek kézben tartása mindennek az alapja, a RAG önmagában kevés, nem mindenre kell agent, az integráció a legdrágább, és az AI karbantartása hosszútávú feladat. Az AI-fejlesztés nem habostorta - de aki tudatosan épít, tanul a hibákból, az valódi üzleti értéket teremt vele.