Modded-NanoGPT: Обучение 124-миллионной модели за 90 секунд — сообщественный спидран

llm.c от Karpathy обучал модель за 45 минут на 8 H100. Modded-NanoGPT сокращает это до 90 секунд — ускорение в 30 раз.

Быстрый старт

git clone https://github.com/KellerJordan/modded-nanogpt.git && cd modded-nanogpt
pip install -r requirements.txt
python data/cached_fineweb10B.py 9
./run.sh

Источники

• KellerJordan/modded-nanogpt GitHub