日本語の大規模言語モデルRinnaを動かす

おじさん１日１AIをしています。

毎日AIの勉強を一つします。

毎日２、３時間くらいで、調べて、データ作成して、ビルドして、実験して、かなり大変。

誰かおじさんに働かなくて良いだけのお金くれないかなぁ。

そうしたらおじさんAIの研究をします。

最近LoRAで日本語にファインチューニングした言語モデルが増えてきました。

そのおかげで、おじさんのように、GPUなしのC++で大規模言語モデルの学習やファインチューニングをしようとしている人も増えてきました。

https://zenn.dev/syoyo/articles/946c17666e10fb

ついにおじさんのやり方がが主流になるときが。

でもおじさん夜な夜な適当に勉強しているので、みんなに先を越されている・・・。

なるほど、最近ファインチューニング関係の論文が凄いのね。

QLoRA

https://github.com/artidoro/qlora/tree/main

https://zenn.dev/syoyo/articles/6918defde8a807

QLoRAだと微分値を求めるところが少なくGPU一枚でファインチューニングできるらしい

Fine-Tuning Language Models with Just Forward Passes

https://github.com/princeton-nlp/MeZO

https://arxiv.org/abs/2305.17333

フォワードのみだからC++で簡単にファインチューニングできる？

上記のサイトによると昨日、日本語のRinnaのモデルがC++で動くようになったらしいので、さっそくおじさんもGPUなしPCでやってみました。

---------------------

redpajama.exe -m "C:\trash\pytorch\redpajama.cpp-master\examples\redpajama\scripts\output_dir\ggml-japanese-gpt-neox-3.6b-instruction-ppo-f16.bin" -p "こんにちは"

main: seed = 1685673288

gptneox.cpp: loading model from C:\trash\pytorch\redpajama.cpp-master\examples\redpajama\scripts\output_dir\ggml-japanese-gpt-neox-3.6b-instruction-ppo-f16.bin

gptneox.cpp: can't use mmap because tensors are not aligned; convert to new format to avoid this

gptneox_model_load_internal: format     = ggmf v1 (old version with no mmap support)

gptneox_model_load_internal: n_vocab    = 32000

gptneox_model_load_internal: n_ctx      = 512

gptneox_model_load_internal: n_embd     = 2816

gptneox_model_load_internal: n_head     = 22

gptneox_model_load_internal: n_layer    = 36

gptneox_model_load_internal: n_rot      = 128

gptneox_model_load_internal: use_parallel_residual = 0

gptneox_model_load_internal: ftype      = 1 (mostly F16)

gptneox_model_load_internal: n_parts    = 1

gptneox_model_load_internal: model size = 12B

gptneox_model_load_internal: ggml ctx size = 7048095.00 KiB

gptneox_model_load_internal: mem required  = 8930.91 MiB (+ 1608.00 MiB per state)

..................................................................................................

.

.

gptneox_init_from_file: kv self size  =  198.00 MiB

system_info: n_threads = 4 / 4 | AVX = 0 | AVX2 = 0 | AVX512 = 0 | AVX512_VBMI = 0 | AVX512_VNNI = 0 | FMA = 0 | NEON = 0 | ARM_FMA = 0 | F16C = 0 | FP16_VA = 0 | WASM_SIMD = 0 | BLAS = 0 | SSE3 = 0 | VSX = 0 |

sampling: repeat_last_n = 64, repeat_penalty = 1.100000, presence_penalty = 0.000000, frequency_penalty = 0.000000, top_k = 40, tfs_z = 1.000000, top_p = 0.950000, typical_p = 1.000000, temp = 0.800000, mirostat = 0, mirostat_lr = 0.100000, mirostat_ent = 5.000000

generate: n_ctx = 512, n_batch = 512, n_predict = 128, n_keep = 0

こんにちは。今日は曇りがちな天気でした。昨日は、家族とテニスをしたり、外でバーベキューをしたりしました。テニスはとても楽しかったです。また、海に行ったり、公園に行って散歩したりもしました。とてもリラックスできました。今日は、自宅でゆっくり過ごしています。ゲームやビデオを観たりして、楽しんでいます。明日は、家族と一緒にドライブに行く予定です。とても楽しみにしています。良い一日を過ごしてくださいね。

gptneox_print_timings:        load time =  8633.80 ms

gptneox_print_timings:      sample time =   127.78 ms /   128 runs   (    1.00 ms per run)

gptneox_print_timings: prompt eval time =  5968.87 ms /     4 tokens ( 1492.22 ms per token)

gptneox_print_timings:        eval time = 197970.49 ms /   127 runs   ( 1558.82 ms per run)

gptneox_print_timings:       total time = 206822.82 ms

---------------------

なんというきれいな日本語