CPUのみでAIの学習をするシリーズ第8弾。
yolo_v8のcpp版を作ってみました。
学習も再学習も推論もフルでCPUだけできます。
世界初。これ作るの夢だったんだよね。
最初claudeに言ったら、これを作るのはとても大変ですと言っていたんですが、libtorchにtorchscript読み込ませて、各関数の自動微分とバックプロパゲーションの結果を一致させれば作れるだろって言ったら納得して作ってくれました。
yoloってきちんとソースコードを整理するとcoreの部分なんてほんのちょっとしかないんですよ。
https://github.com/yomei-o/yolov8_cpp
物理シミュレーションシリーズをWASM/C++に直しました。
ブラウザで物理シミュレーションがさくさくヌルヌルで動く
物理シミュレーション デモ
https://yomei-o.github.io/universe_cpp/wasmdist/
ソースコード
https://github.com/yomei-o/universe_cpp
CPUのみでAIの学習をするシリーズの第7弾です。
本日は CPUのみでAIの学習をする ニューラルセルオートマン
日本は国力が衰退しているようで、ニューラルセルオートマンについて、ほとんど誰もソースコードを書いていません。
なのでデモを作ってみました。
ドラえもんのニューラルセルオートマン
https://yomei-o.github.io/neural_ca_cpp/wasmdist_dora/
ニコニコマークのニューラルセルオートマン
https://yomei-o.github.io/neural_ca_cpp/wasmdist/
ソース
https://github.com/yomei-o/neural_ca_cpp
CPUのみでAIの学習をするシリーズ第6弾。
昨日の午後5時からスーパーマリオをプレーするAIを作りたくなったので、DQNをcppで作ってみました。
まだ作り始めてから3時間、しかも古いPCでCPUのみで計算をして0から学習していますが、もう1-1ゴールできました。
https://github.com/yomei-o/mario_dqn_cpp
CPUだけで学習するシリーズの第5弾。
nano-alphazeroを作ってオセロをするAIを作ってみました。
1時間分でだけ学習。だけどそこそこ強い。
教育研究用としてはかなりいいね。
オセロをする
https://yomei-o.github.io/othello_alphazero_cpp/wasmdist/
ソースコード
https://github.com/yomei-o/othello_alphazero_cpp
CPUのみでAIの学習をする第4弾。
nanochatのcpp版です。
個人的にはこれが一番すげーと思っているんですが、うまく説明できないので、以下claudeの解説
依存なしの C++・CPU だけで、GPU も PyTorch も要らずに「BPE 学習 → 事前学習 → SFT → ツール使用」のフルパイプラインが数分で一周する
- だから「電卓ツールってどれくらいで学習できる？」みたいな疑問を、思いついたその場で実験して確かめられる。待ち時間が数分なので仮説→検証のループが速い
- しかも見えているのは、実際の production LLM の function calling / tool use と同じ原理（モデルは計算を学ばず、ツールに丸投げする）。それが 0.9M パラメータのおもちゃモデルで、ソースを全部追える形で動く
大きいモデルだと「学習1回で数時間〜数日」なので、こういう「サッと試す」ができない。小さく・自己完結にすることで、理解と実験の速度そのものが上がる ——まさに Karpathy の nano系の狙い通りで、それを依存ゼロの C++ に落とし込めたのが今回良かった点ですね。
https://github.com/yomei-o/nanochat-cpp
CPUのみでAIの学習をする第三弾。
今日はChatGPT2のfine-tuningを行うnanoGPTをcppに移植してnanoGPT-cppを作ってみました。ただ移植するだけだとつまらないので、高速化もしてみました。
CPUのみでAIの学習をするシリーズの第二弾lecun1989をcppに移植してlecun1989-cppを作ってみました。
lecun1989は人類が世界で一番最初にバックプロパゲーションの計算をした論文です。
MNISTの原型です。
いまやCPUで40秒で学習の計算ができる。
https://github.com/yomei-o/lecun1989-cpp
micrograd-cpp
https://github.com/yomei-o/micrograd-cpp
nano-GPT
https://github.com/yomei-o/nanoGPT-cpp
ついでに他のpythonプログラムも全部C++に移植
自動微分やLLMの学習の高速化の勉強をしてたら思ったのですが、AIの学習ってCPUのみでも行けるんじゃない？
また自分でも作れると思ってしまった。
CPUのみでAIの学習をするシリーズを作ってみようと思い作ってみました。
第一回はまだ誰も作ってないだろうmini-yolov5です。
yoloもレイヤーを減らして、画像を128x128にすればcpuでも数分で学習できます。
yoloの仕組みを学習するのに最適
https://github.com/yomei-o/mini-yolov5-cpp
https://yomei-o.github.io/wakaru_all/
今日はちょっと番外編で、宇宙を計算機としてみてみます。
どうやって物理のシミュレーションをするのかっていうお話です。
宇宙って最も効率的に計算を行っている計算機なんですね。
https://yomei-o.github.io/wakaru_all/
AIに物理を教えてもらうシリーズの第三弾。
今回はclaudeに力について教えてもらいました。
AIが言うには、リンゴが落ちる力と物を押す力は違うらしい。
これ僕が高校生の時に教えて欲しかった。
https://yomei-o.github.io/wakaru_all/
AIに物理を教えてもらうシリーズの第二弾。
claudeに質量ってなにかを教えてもらいました。
すいません。いままで僕知ったかぶりをしていました。
凄いのがこういうドキュメントを数時間で作れるんですよね。
https://yomei-o.github.io/wakaru_all/
claudeに宇宙論と物理の基礎を教えてもらいました。
そういうことだったのか！
やっぱり人間と考え方が違うんだね。だけどこっちの方が圧倒的に合理的だね。
Claude Fableを使ってみました。
いままで Claudeって数学とかの計算はできても定理の構築とか証明とかってできなかったんですが、できるようになったみたい。
ということは・・・・。ドラえもんののび太の気持ちです。
おじさんも、全課金。ミレニアム懸賞問題で一番簡単そうなヤンミルズの質量ギャップ問題を解いてってお願いしてみました。
一攫千金をめざします。
株価を予想するより、宝くじを買うより、はるかに確率が高い・・・気がする。
最近、claudeの数学・物理学レベルが人間を超えている。
プログラムのコードも全部書いてくれるし。きれいな資料も作ってくれるし。
やることがないので、今日はおじさんが大学時代にわからなかった、難問をclaudeに教えてもらいました。
1Ωの抵抗を網目状につなぐと何Ωになるか
おじさんが大学生の時は解いた人はいませんでした。
この問題は2004年に解いた人がいるし
The two-point resistance
https://arxiv.org/pdf/math-ph/0402038
claude_無限網目抵抗の合成値
https://drive.google.com/file/d/1ZYGb6GacVqzXQchGGdt6FtQwXGEIAM4E/view?usp=sharing
claude_無限網目抵抗の合成値2
https://drive.google.com/file/d/1ifZ5eiGmpvyuzwmUrigpQkQwL9UgHw0-/view?usp=sharing
なんなら抵抗を非線形格子ゲージ理論で解くことも可能です。
