LongWriter は本当に2万字を生成できるのか

3万字ほどの文書を1-2分で生成すると噂さを耳にしたので動かしてみる。

まずは環境セットアップ。venvで実行。

python3 -m venv longwriter cd $_ source bin/activate

モジュールインストール。

pip install wheel pip install torch transformers gradio peft tiktoken einops flash_attn

プログラムのインストール。

git clone https://github.com/THUDM/LongWriter cd LongWriter

pythonコマンド起動して、以下入力実行。

from huggingface_hub import snapshot_download

local_dir = "THUDM/LongWriter-glm4-9b"
snapshot_download(repo_id="THUDM/LongWriter-glm4-9b", local_dir=local_dir)

Viコマンドで "trans_web_demo.py" ファイルの「share=False」にする。

いざ、LongWriter プログラムを実行…するもエラー。

CUDA_VISIBLE_DEVICES=0 python trans_web_demo.py

モジュール不足エラーだったので追加。

pip install gradio pip install 'accelerate>=0.26.0'

再度実行。

CUDA_VISIBLE_DEVICES=0 python trans_web_demo.py

http://127.0.0.1:8008/ がブラウザで起動したのでアクセス。

起動時

起動時PCパフォーマンス

プロンプトとインプットを入力して実行。

で、しばらく経ったら出力されてきたものの、CPUが100％に張り付いて出力待ち。。

一旦ここまで。

参考

• セットアップ note.com

• 文献 weel.co.jp