Что происходит внутри процесса машинного обучения: графические карты

Британская компания Graphcore использовала имеющиеся мощности искусственного интеллекта и специальное ПО для создания карт, иллюстрирующих процеcсы машинного обучения, сообщает Wired.

Читать далее

Многие из иллюстраций, созданных Graphcore, основаны на ResNet от Microsoft. Это нейронная сеть, которая выиграла соревнование по сортировке изображений ImageNet. Иллюстрация выше показывает граф тренировок архитектуры Microsoft Research RecNet-34. В картинку добавлены цвета, чтобы подчеркнуть интенсивность вычислений —  именно по этой причине центральные части конволюционных слоёв «подсвечены».

Архитектуру ResNet используют для построения глубоких нейронных сетей для компьютерного зрения и распознавания изображений. На иллюстрации показан прямой пропуск сети ResNet 50, использованный для классификации изображений после тренировок с применением библиотеки нейронных сетей Graphcore.

Полный прямой и обратный пропуск архитектуры распознавания изображений AlexNet во время использования набора данных ImageNet для обучения. Poplar от Graphcore превращает фреймворки машинного обучения — TensorFlow, MXNet и другие —  в вычислительные графы с 18,7 млн узлов (точка, в которое пересекается две или более связей) и 115,8 млн связей.

Прямой пропуск архитектуры компьютерного зрения, действующей на IPU (Intelligent Processing Unit — новый тип процессоров, спроектированный для машинного обучения) от Graphcore. Видны слои нейронной сети со связями между ними, отличимыми в центре изображения.

Иллюстрация графа тренировок ResNet-34 выглядит как МРТ мозга и является одним из первых изображений, показывающих полный граф сети. Можно увидеть интенсивные вычислительные вершины со связями, отмеченными синим цветом.

Архитектура обучения классификации изображения AlexNet, сделанная в ноябре 2016 года. Узлы в трёх последних слоях отмечены цветом, в то время как остальная часть графа выполнена в чёрно-белых тонах.

Изображение AlexNet, сделанное месяцем позже. Разные цвета отсылают к типу узла использованному в вычислительном графе. Показаны три полностью связанных слоя в графе — зелёного цвета.

Иллюстрация прямого пропуска ResNet-34 для распознавания изображений. Граф визуализирует параллельную отправку многочисленных изображения в сеть.

Университет Иллинойса использует глубинное обучение, чтобы ускорить анализ астрофизических данных, получаемых из гравитационной волны LIGO.

Иллюстрация работы Microsoft Research ResNet-50 в августе 2016 года. На ней показана часть сети, которая отвечает за предположения при распознавании изображений.