В Башкирии оцифровали родной язык: регион стал первым создателем ИИ-датасетов

Республика Башкортостан официально закрепила за собой статус технологического первопроходца. 

В эпоху тотальной цифровизации фрагментарные успехи энтузиастов уступили место централизованной экосистеме. По поручению Правительства республики создана мощная межведомственная рабочая группа под руководством первого вице-премьера Урала Кильсенбаева. В консорциум вошли представители Академии наук РБ, Уфимского федерального исследовательского центра РАН, профильных министерств цифрового развития и образования, а также медиахолдингов, музеев, библиотек (включая специальную библиотеку для слепых) и общественных языковых активистов.

«Мы видим, как ИИ-решения проникают во все сферы экономики и жизни, и отмечаем яркие примеры их применения, – подчеркивает Радий Хабиров. – При этом фрагментарные успехи недостаточны. Необходимо сформировать целостную инфраструктуру, экосистему и, по сути, рынок для IT-компаний и разработчиков ИИ-решений. Ещё одна задача – сформировать доверие общества к искусственному интеллекту и объяснить его практическую пользу. Для этого планируем провести масштабную информационно-разъяснительную кампанию. Особое внимание уделим школам и подготовке педагогов, расширению программ дополнительного образования, связанных с цифровыми технологиями».

Главное достижение проекта на сегодняшний день — публикация открытого корпуса озвученных аудиокниг. На платформе Hugging Face уже доступен набор из 476 фрагментов, записанных по произведениям 14 авторов. В базу вошли жемчужины национального эпоса «Акбузат», труды просветителя Мифтахетдина Акмуллы и другие тексты. Каждый аудиофайл сопровождается выверенным параллельным корпусом на башкирском и русском языках. Все материалы юридически чисты: специалисты провели титаническую работу по согласованию авторских прав с наследниками и оформлению документов на государственные произведения. Это исключает правовые риски для разработчиков и позволяет создавать этичные цифровые продукты без стереотипов.

«Если мы хотим, чтобы башкирский язык жил в XXI веке, он должен идти в ногу со временем, — отмечает директор АНО по сохранению и развитию башкирского языка Гульназ Юсупова. — Сегодня язык должен звучать не только в театре или книгах, но и в коде. Мы создаем фундамент для голосовых помощников, переводчиков и образовательных платформ нового поколения».

Программист Айгиз Кунафин, участвующий в разработке, сравнивает текущее положение дел с переходом от кустарного промысла к индустриальному производству. «Раньше активисты собирали данные буквально по крупицам, используя личные архивы. Сегодня государство дало нам доступ к систематизированным фондам. Мы можем контролировать качество данных, которые попадут в "мозг" искусственного интеллекта. Башкортостан показывает готовый шаблон, который смогут тиражировать Татарстан, Якутия и другие национальные республики», — поясняет разработчик.

Проект будет расширяться: впереди создание массивных визуальных баз с национальными орнаментами, костюмами и предметами быта для генеративных моделей, а также текстовых корпусов. Лицензирование материалов осуществляется по стандарту CDLA-Permissive-2.0, что открывает свободный доступ к данным для всего мирового сообщества разработчиков при приветствуемой атрибуции источника.

Лицензия: датасет распространяется под лицензией CDLA-Permissive-2.0 (полный текст — в файле LICENSE, распространяется вместе с данными согласно п. 2.1). Лицензия не требует указания авторства, но ссылка на источник приветствуется. Атрибуция и происхождение материалов — в файле NOTICE.