Modded-NanoGPT：1.24億パラメータモデルを90秒で訓練——コミュニティ主導の速度チャレンジ

Karpathy の llm.c は 8 H100 GPU で 45 分かかりました。Modded-NanoGPT はこれを 90 秒 に短縮——30倍の高速化。

クイックスタート

git clone https://github.com/KellerJordan/modded-nanogpt.git && cd modded-nanogpt
pip install -r requirements.txt
python data/cached_fineweb10B.py 9
./run.sh

出典

• KellerJordan/modded-nanogpt GitHub