Осы үлгіні қазақ тіліне аударма мен контент жасаудан бастап, көлемді мәтіндерді өңдеуге дейін қолдануға болады. «ISSAI KAZ-LLM» моделі қазақ, орыс және ағылшын тілдеріне арналып жасалған. Сондай-ақ түрік тілін қосымша қолдайды. Бір жағынан, бұл тілдік алшақтықты жойып, шектеулі ресурстарға ие тілдердегі генеративті жасанды интеллектінің дамуына мүмкіндік береді. Бұған біраз күш жұмсалды. «ISSAI» командасы аталған модельдің жақсы жұмыс істеуін қамтамасыз ету үшін 150 млрд-тан астам сөзді жинап, өңдеп, синтездеп, аударған. «ISSAI KAZ-LLM»-нің оқыту деңгейі өте жоғары. Былайша айтқанда, бұл модель жасанды интеллект саласындағы әлемдік көшбасшылармен бәсекеге еркін түсе алады.
Сонымен қатар «ISSAI KAZ-LLM» талантты адамдарға тәжірибе жинауға мүмкіндік беріп, еліміздегі жасанды интеллектіні дамыту аясын кеңейтеді. Бұл жоба озық жасанды интеллект құралын жасауға ғана емес, сондай-ақ осы салада отандық мамандар санын көбейтуге де ықпал етеді. Оны әзірлеуге отандық зерттеушілер қатысты. Әсіресе еліміздегі жетекші институттармен ықпалдастық лингвистердің және машиналық аударманың озық әдістерінің көмегімен қазақ тіліне бейімделген салыстырмалы талдау құралдары мен деректер жиынтығын жасауға мүмкіндік берді.
Nazarbayev University мен NIS қаржыландырған жоба биыл сәуір айында басталды. Барлық дерек қазақ тіліндегі веб-сайттардағы жаңалықтар мен мақалаларды, онлайн-кітапханаларды қоса алғанда, жалпыға қолжетімді көздерден жиналды. Сондай-ақ оған әртүрлі ұйым ұсынған мәліметтер де қолданылды.
«Бұл модель еліміздің инновацияға, дербестікке және технологиялық экожүйесінің өсуіне деген ұмтылысын көрсетеді. Біздің командамыз «Meta-ның Llama» архитектурасына сүйене отырып, жоғары өнімді жүйелер мен ресурстары шектеулі орталарға оңтайландырылған 8 миллиард және 70 миллиард параметрлі «ISSAI KAZ-LLM»-нің екі нұсқасын дайындады. «CC-NC-BY» лицензиясымен шығарылған модельдер коммерциялық емес мақсатта «Hugging Face» платформасында қолжетімді болады. Сонымен бірге жаһандық академиялық және зерттеу ынтымақтастығына ықпал етеді. Осылайша, әзірлеушілер біздің моделімізді күрделі серверлерге де, ноутбуктерге де жүктеп алып, іске қоса алады», дейді NU жанындағы «ISSAI» негізін қалаушы және директоры профессор Хусейн Атакан Варол.
Енді Ақылды жүйелер мен жасанды интеллект институтының зерттеушілері жасанды интеллект жүйелерін, оның ішінде тілді тану модельдерін дамытуды және осы үлгілерді қосымша түркі және аймақтық тілдерді қолдау үшін кеңейтуді қарастырмақ. Бұл аймақтық байланыстарды нығайтып, тіл интеграциясын жеңілдетеді. Сонымен қатар елімізде және басқа жерлерде елеулі экономикалық және технологиялық әсерді ынталандыруға мүмкіндік береді.
Айта кетейік, аталған институт ғалымдары жасаған «KAZ-LLM» жобасы «NU» және «NIS» даму қорының, сондай-ақ «Astana Hub» және «QazCode» (Beeline) қолдауының арқасында іске асты. Жобаны әзірлеу мемлекеттің қаражатынсыз жүргізілді.
