Сооснователь OpenAI и автор термина «вайб-кодинг» Андрей Карпатый представил свой новый опенсорсный проект nanochat — он позволяет создать и обучить языковую модель буквально «с нуля».
Сооснователь OpenAI и автор термина «вайб-кодинг» Андрей Карпатый представил свой новый опенсорсный проект nanochat — он позволяет создать и обучить языковую модель буквально «с нуля».
«Просто запускаете облачный GPU, выполняете один скрипт и уже через 4 часа можете разговаривать с собственной LLM в веб-интерфейсе, как у ChatGPT», — написал Карпатый в X.
Репозиторий nanochat содержит около 8 тысяч строк кода. В отличие от его прошлого проекта nanoGPT, который сосредоточен только на предобучении, новый охватывает весь цикл создания LLM, включая обучение токенизатора на Rust, предобучение модели-трансформера на датасете FineWeb, дообучение на диалогах и задачах с выбором ответа, файнтьюниинг, инференс и сбор метрик. Пользователь может взаимодействовать с моделью через командную строку или веб-интерфейс, а система автоматически создаёт отчёт о производительности.
Стоимость и масштаб можно варьировать: базовая версия, способная вести диалог, потребует $100 и 4 часа тренировки на 8×H100 GPU. После 12 часов тренировки модель превосходит бенчмарк GPT-2 CORE, а за $1000 и 42 часа можно получить версию, которая решает простые задачи по математике и программированию.
Карпатый хочет создать «сильный, минималистичный и максимально читаемый» базовый стек, который можно будет использовать как основу для обучения и исследований. nanochat может вырасти в полноценный исследовательский инструмент или бенчмарк, аналогичный nanoGPT, и стать новой точкой входа в мир LLM для разработчиков и студентов со всего мира.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.