CPUのみでAIの学習をするnanochat-cppを作ってみました。

 CPUのみでAIの学習をする第4弾。

nanochatのcpp版です。

個人的にはこれが一番すげーと思っているんですが、うまく説明できないので、以下claudeの解説

依存なしの C++・CPU だけで、GPU も PyTorch も要らずに「BPE 学習 → 事前学習 → SFT → ツール使用」のフルパイプラインが数分で一周する

- だから「電卓ツールってどれくらいで学習できる？」みたいな疑問を、思いついたその場で実験して確かめられる。待ち時間が数分なので仮説→検証のループが速い

- しかも見えているのは、実際の production LLM の function calling / tool use と同じ原理（モデルは計算を学ばず、ツールに丸投げする）。それが 0.9M パラメータのおもちゃモデルで、ソースを全部追える形で動く

大きいモデルだと「学習1回で数時間〜数日」なので、こういう「サッと試す」ができない。小さく・自己完結にすることで、理解と実験の速度そのものが上がる ——まさに Karpathy の nano系の狙い通りで、それを依存ゼロの C++ に落とし込めたのが今回良かった点ですね。

https://github.com/yomei-o/nanochat-cpp