Рақамли технологиялар вазирлиги томонидан ўзбек тилидаги 6 миллиардга яқин сўзни ўз ичига олган йирик очиқ матнли маълумотлар корпуси ишлаб чиқилди. Корпус сунъий интеллект дастурларининг ўзбек тилини яхшироқ тушуниши ва қайта ишлашини таъминлаш мақсадида Hugging Face платформасига жойлаштирилди. Бу ҳақда вазирлик матбуот хизмати хабар берди.
Маълум қилинишича, корпус жами 5,6 миллионта ҳужжатни қамраб олади. Ундаги маълумотлар ўзбек тилининг лотин ва кирилл ёзувларида жамланган.
Маълумотлар базасидан сканерланган китоблар, газета ва архив материаллари, қонунчилик ҳужжатлари, Википедия мақолалари, веб-саҳифалар ҳамда очиқ Телеграм постлари ўрин олган. Матнлар махсус қайта ишланиб, сифати бўйича сараланган ва соҳа ҳамда мавзулар кесимида таснифланган. Шунингдек, шахсий маълумотлар [Phone], [Name] каби махсус белгилар билан алмаштирилган.
Мазкур лойиҳа 2025 йил 21 октябрь куни Президент Шавкат Мирзиёев раислигида ўтказилган видеоселектор йиғилишида берилган “Ўзбек тили корпуси”ни яратиш топшириғи ижроси доирасида амалга оширилган.
Вазирликнинг билдиришича, корпусни етакчи катта тил моделлари ишлаб чиқувчиларига тақдим этиш ишлари давом этмоқда. Хусусан, Qwen модели билан ҳамкорликдаги ишлар бошланган.
Янги маълумотлар базаси сунъий интеллект моделларининг ўзбек тилидаги матнларни тушуниш, қайта ишлаш ва яратиш имкониятларини кенгайтиришга хизмат қилиши кутилмоқда.
Ўзбекистон ва жаҳонда рўй бераётган энг сўнгги воқеа-ҳодисалар, спорт, шоу-бизнес, маданият, информацион технологиялар ва илм-фан янгиликларидан доимо хабардор бўлинг!
Ўзбекистон ва жаҳонда рўй бераётган энг сўнгги воқеа-ҳодисалар, спорт, шоу-бизнес, маданият, информацион технологиялар ва илм-фан янгиликларидан доимо хабардор бўлинг!