BitNet b1.58を勉強する

おじさん、最近忙しくてブログを更新できていませんでした。

なんかLLMの量子化技術がびっくりするくらい進んでいる。

これでたぶんついにCPUでLLMを実行できるんじゃない？

ということで、BitNet b1.58を勉強しています。

BitNet b1.58とは一体何者なのか

https://qiita.com/tech-Mira/items/67dec9c5a5f025d2727a

上記の絵からもわかるように、演算がfloatの掛け算から全部intの足し算になるので、とっても高速かつ軽量にAIの計算ができるのね。

いままでAIの研究って巨大な発電所が必要だったのですが、この電力効率すごいね。

ソースコードが非公開なのでまだ手軽に実験できないんですが、

ggmlとかllama.cppでもすげー検討進んでるし。

https://github.com/ggerganov/llama.cpp/issues/5761

C++のライブラリ整備も進んできてます。

https://github.com/catid/bitnet_cpu

これでBitNetのMNIST作ってみようかなぁ。

AIの実装も実行効率の点でpythonからおじさんの大好きなC++に移りつつあるし。

あと少しで、オープンソースとCPUだけでLLM動きそう。