В Центре искусственного интеллекта НГУ разработали фреймворк «Каппа» (kappa.nsu.ru) для работы с датасетами — наборами данных, на которых обучают и проверяют нейросети. Система ведёт данные через все этапы: разметку (подписи и пометки к каждому примеру), проверку, хранение версий, публикацию, сравнение моделей и наблюдение за их работой. Разработку представили 5–6 октября на форуме «Открытые данные» в Республике Алтай.
Задача, которую решает «Каппа», знакома всем, кто обучает модели: ошибки в данных переходят в результат. Заведующий лабораторией аналитики потоковых данных и машинного обучения мехмата НГУ Евгений Павловский называет это принципом «мусор на входе — мусор на выходе». Кроме того, заказчик часто не может проверить, на чём обучалась система, и поэтому ей не доверяет.
Поэтому в «Каппе» всегда видно, кто, когда и какую разметку внёс. Найденную ошибку исправляют и закрепляют в новой версии датасета, чтобы она не повторялась при каждом следующем обучении. Проверка идёт на всех этапах. До обучения данные проверяют на смещения (перекосы, из-за которых модель учится неверным закономерностям), а разметку сверяют между несколькими разметчиками. Во время обучения фиксируются версия данных и параметры. После обучения модель проверяют на эталонных наборах. Когда модель уже работает, система собирает статистику её ошибок и сигнализирует, если её пора переобучить.
Самый крупный проект на фреймворке выполнен вместе с Государственной публичной научно-технической библиотекой СО РАН. Библиотека предоставила около 400 тысяч записей — оцифрованные каталожные карточки и их расшифровки. Размечали их около 100 сотрудников, и «Каппа» вела статистику по каждому из них. Результат — обученная модель и контрольный набор, на котором можно проверять и другие алгоритмы.
Ещё на «Каппе» готовили данные для озвучки научных книг, паспортизации фасадов и работы с архивными документами. Первым проектом стали фотографии и описания грибов и птиц, которые школьники собирали в лесу. Сейчас команда готовит датасет для оценки учебных результатов школьников.
Система уже применяется в реальных проектах. Вузы могут бесплатно пользоваться версией на серверах НГУ или установить фреймворк у себя.
