IBM открыла датасет для обучения AI программированию

CodeNet представляет собой коллекцию из 14 млн образцов кода, решающих более 4 тысяч различных задач. Источником кода стали два японских конкурса по программированию — Aizu и AtCoder.

Суммарно набор насчитывает около 500 млн строк кода более чем на 55 языках — от современных, таких как C++, Java, Python и Go, до устаревших вроде COBOL, Pascal и FORTRAN. Более трёх четвертей массива приходится на С++ и Python. Помимо этого, код содержит метаданные и аннотации, уточняющие размер кода, расход памяти, процессорного времени, ошибки и другую информацию.

IBM рассчитывает, что проект поспособствует развитию AI-моделей, умеющих распознавать структуру программ, и станет своего рода аналогом базы ImageNet, которая считается стандартом в распознавании изображений и машинном зрении. Предполагается, что CodeNet будут использовать для создания интеллектуальных инструментов разработки для поиска нужных процедур в приложениях и библиотеках, перевода с одного языка программирования на другой, выбора правильных реализаций и отсева ошибочных, классификации кода и других задач.