LLM/ML енгізу кейстері және неден бастау керек

2022 жылы ChatGPT пайда болғаннан бастап жасанды интеллект туралы жиі сөз бола бастады. Бұрын кәсіби ортала талқыға салынған технология кең ауқымды аудиторияға қол жетімді болды.  Енді жасанды интеллектпен қарым-қатынасқа түсіп, сұрақ қойып, жауап алуға болатын болды.

Осының салдарынан АІ - әмбебап құрал секілді сезіле бастады. Егер ол мәтінмен жұмыс істей алса, оны кез келген өнімге салып, бірден нәтиже алуға болатын секілді. Алайда, іс жүзінде олай емес.

AI, ML, LLM айырмашылықтары қандай және олар қайда қолданылады

AI немесе ЖИ (жасанды интеллект) — Data Science бөлімі, ол компьютерлік жүйелердің адамның когнитивті қызметтеріне (көру/тыңдау/басқару/сөйлеу) еліктеу қабілеттерін зерттейді.

ML (машиналық оқыту) — бұл AI/ЖИ бөлімі. АІ жасауға болатын алгоритмдердің нақты жиыны. 

LLM (үлкен тілдік модельдер) — ML мәтінмен жұмыс істейтін түрі: оқиды, жазады, сұрақтарға жауап береді. ChatGPT — осындай мысалдардың бірі.

 McKinsey & Company 2025 жылғы зерттеулерінің деректеріне сәйкес, әлемдегі компаниялардың 88% ЖИ  өзінің бизнес-қызметтерінің кем дегенде біреуінде пайдаланады екен.  Hostiger деректеріне сәйкес, әлемдегі ұйымдардың 67 % LLM генеративті AI жұмыс істеу үшін қолданады.

Сіздің шешіміңізге AI қажеттігін қалай түсінуге болады

Kolesa Group кез келген шешім компанияның миссиясынан, пайдаланушының нақты мүмкіндіктері мен жетуі тиісті мақсаттарынан туындайды.

Сол себепті, шешімді анықтаудың алдында мәселенің өзі бар ма екенін анықтап алу керек.

Егер мәселе бар болса, команда оның негізін және оның шешімін табудың маңыздылығын негіздейді.

Бұдан әрі осы мәселені қалай шешу керек екені қарастырылады.

Осы кезеңде команда бірнеше нұсқаларды бағалайды: процестердегі өзгерістер, азық-түліктік толықтырулар, ережелер, автоматтандыру, классикалық алгоритмдер, машиналық оқыту.

Тек осыдан кейін ғана команда келесі сауалды қояды: осы мәселенің шешімін АІ көмегімен табу шынымен маңызды ма.

Осы логикаға сәйкес АІ - мақсат емес, артық тәуекел тудырмайтын және елеулі пайда алып келетін жағдайда ғана пайдаланылатын ондаған құралдардың бірі ғана.

AI енгізгенге дейін нені түсіну керек

Әзірлеуге дейін команда бірнеше практикалық сұрақтарға жауап беруі керек:

• енгізудің құны қанша — ақшамен, инфрақұрылыммен және адам-сағатпен;
• шешімнің тиімділігін қандай өлшемдер бойынша түсінеміз;
• модель қателессе не болады.

Қателік болмай тұрмайды, сол себепті, қорғау механизмдері алдын ала ойластырылады:

•  модельдің автоматты әсеріне шектеулер;
• нәтижені адамның тексеруі;
• жылдам қайтару және шешімді үйлестіру мүмкіндігі;
• модель қате жауап берсе немесе пайдаланушыға қате ақпарат бергенде салдарын түзетуге мүмкіндік беретін процесстер.

LLM қай жерде жақсы жұмыс істейді

Жақсы мысал —  колл-орталық операторларының жұмыс сапасын бағалау.

Осындай бағалауға қойылатын талаптар үнемі өзгеріп отырады. Бүгін сыпайылығын тексеру маңызды болса, ертең - наразылықтармен жұмысы, арғы күні — бас тартуға дұрыс жауап қайтаруы. Мәнмәтіні өзгермейді, тек фокусты ауыстырып отыру керек.

Осындай сценарийлерде LLM икемділігі есебінен тиімді: сұранысты өзгерткен жағдайда, модель қайта оқымастан басқасын іздей бастайды.

Дәл осы сценарийлерде LLM өте үздік жұмыс атқарады:

• талаптар уақыт өте келе өзгеруі мүмкін;
• мәнмәтін шамамен сол қалпында қалады;
• соңғы нәтижені жүйе емес, адам оқиды;
• жауап жылдамдығы миллисекундқа дейін сыни емес.

LLM қай жерде лайық емес

Біріншіден, жауап жылдамдығы аса маңызды сценарийлер. Егер жүйе іс жүзінде лезде жауап қайтаруы қажет болса, модельдің сұранысқа кідірістері түйткілге айналады.

Екіншіден, деректердің үлкен көлемі. Мысалы, бір секундта мыңдаған оқиғалармен генерацияланатын ұсыныс жүйелері немесе логтар. LLM мәнмәтіні шектеулі және ол мұндай тапсырмаларды нашар орындайды.

Үшіншіден, сезімтал деректер. Пайдаланушылар жеке хабарламаларда құжаттар немесе дербес ақпарат беруі мүмкін және осындай контентті сыртқы провайдерге беру өз алдына тәуекел болады.

Қандай технологияны таңдау қажеттігін қалай түсінеді

Төменде Kolesa Group үш кейсі ұсынылған. Оларда қандай жағдайда LLM жақсырақ жұмыс істейтіні, ал қандай жағдайда классикалық ML-модельдер тұрақты нәтиже беретіні көрсетілген.

Кейс: хабарламалардағы спам 

Kolesa Group сервистерінде пайдаланушылар бір-біріне жазады, уақыт өте келе спам пайда болады. Бастапқы идея қарапайым болды: хабарламаны LLM көрсету және оның спам екенін анықтау. Іске асыру біршама қиын болды, ал нәтижесі - сапасы өнімде пайдалану үшін жеткіліксіз болды. 

Себептері:

• жауап баяу берілді;
• дербес деректермен байланысты тәуекелдер туындады;
• модель жиі қателесіп, әдеттегі хабарламаларды бұғаттады.

Нәтижесінде, классикалық ML-модель іске асырылды. Ол үшін қолмен шамамен 112 мың хабарлама енгізілді. Процесс ұзақ болды, дегенмен, нәтижесі - тұрақты болды. Мысалы, 2025 жылы ML-модель көмегімен  Kolesa.kz шамамен 1 млн-дай спам-хабарламалар бұғатталды, ал күн сайын жүйе 91 %  спамды аулап отырады.

Қорытынды: тәсілдерді салыстыруды және құнын есептеуді алдын ала жүргізу керек. LLM көп жағдайда бұлт арқылы жұмыс істейді, ал төлемі мәтін көлеміне -  модельдің қанша есептеп, қанша генерациялағанына тәуелді болады. Пайдаланушылар неғұрлым көбірек болса, құны да жоғары, сол себепті, енгізуге дейін шығынын ойластыру керек. Модельді жергілікті қолдануға болады. Бұл деректер тұрғысынан  қауіпсіз, алайда, қолдау қиын және қымбатырақ.

Кейс: чат-бот қолдаулары

Мұндай сценарийлерге LLM оңтайлы болады.

Пайдаланушы сұрағын қояды және сұхбат тарихы мен мәнмәтінді ескеріп, түсінікті мәтінік жауап күтеді. LLM мәтінді жақсы генерациялайды, ал оның жұмысының нәтижесін адам оқиды. 

Бұл жағдайда, деректердің қайда сақталатынын анықтау маңызды. Бұлттық шешімдер және self-hosted-инфрақұрылым болуы мүмкін. Әр нұсқаның өз шектеулері мен артықшылықтары болады.

Кейс: колл-орталық

Сөздің талдау тапсырмаларында Kolesa Group бастапқыда классикалық тәсілді - өз модельдерін оқытуды қолданған. Тәжірибеде оның масштабталуы қиын болды. 

Сұхбаттарды белгілеу жоғары сараптауды талап етті. Оны тек шектеулі уақыты бар супервайзерлер дұрыс орындай алады. Орта есеппен бір адам күніне 50 аспайтын сұхбаттарды белгілей алады. Деректер жетіспеді, талаптар жиі өзгеріп отырды, ал жаңа тілді қосу үшін барлық жұмысты қайталау қажет болды.

Нәтижесінде команда LLM-тәсілге ауысты. Ол модельдерді тұрақты қайта оқытусыз және еңбекті көп қажет ететін белгілеусіз түрлі сценарийлермен және тілдермен жұмыс істеуге мүмкіндік берді. Нәтижесінде, деректерді талдауды жинау екі күннен 40 минутқа дейін қысқарды, ал аналитиктердің ішкі бағасы бойынша қоңыраулар сапасы 5 пайыздық тармаққа артты.

Қорытындылар

AI әмбебап шешім емес. Ол тапсырмаға, шектеулерге және күтілетін нәтижеге сәйкес болғанда ғана тиімді жұмыс істейді.

Қысқасы:

• LLM адамға бағдарланған икемді мәтінлік нәтиже қажет болған жағдайға лайықты;
• классикалық ML-модельдер жылдамдық, масштабталу және болжамжылық маңызды болғанда тиімдірек;  
• технологияны таңдау құралдан емес, тапсырманы түсінуден басталады.