2024年4月17日水曜日

BitNet b1.58を勉強する

おじさん、最近忙しくてブログを更新できていませんでした。

なんかLLMの量子化技術がびっくりするくらい進んでいる。

これでたぶんついにCPUでLLMを実行できるんじゃない?

ということで、BitNet b1.58を勉強しています。



BitNet b1.58とは一体何者なのか

https://qiita.com/tech-Mira/items/67dec9c5a5f025d2727a



上記の絵からもわかるように、演算がfloatの掛け算から全部intの足し算になるので、とっても高速かつ軽量にAIの計算ができるのね。

いままでAIの研究って巨大な発電所が必要だったのですが、この電力効率すごいね。


ソースコードが非公開なのでまだ手軽に実験できないんですが、

ggmlとかllama.cppでもすげー検討進んでるし。

https://github.com/ggerganov/llama.cpp/issues/5761



C++のライブラリ整備も進んできてます。

https://github.com/catid/bitnet_cpu


これでBitNetのMNIST作ってみようかなぁ。

AIの実装も実行効率の点でpythonからおじさんの大好きなC++に移りつつあるし。

あと少しで、オープンソースとCPUだけでLLM動きそう。



0 件のコメント:

コメントを投稿