日本語に強い
cyberagent さんの
cyberagent/calm2-7b-chat
を Jetson Orin Nano NX 16G にインストールされている ollama で使うために、インポートしてみました。
いろいろな方が既に公開してくださっていますが、なぜか、私の環境では、すごく変な回答をすることが多かったため自分でインポートしてみました。
とりあえず使ってみたい方向け
本記事で作成したモデルを ollama で公開しておりますので、以下のコマンドを実行することで使っていただけます。
$ ollama run microai/calm2-7b-chat
インポートする手順
基本的には、以下のドキュメント通りですが、途中エラーがでたので、多少変更しています。
ollama のソースをダウンロード
$ git clone [email protected]:ollama/ollama.git ollama
$ cd ollama
pythonのバージョンを 3.10 系に
最初、3.12.x で実行したところ、エラーになってしまったので、(個人的に)安定な 3.10.x を使用します。
$ pyenv local 3.10.11
$ python --version
Python 3.10.11
llama.cpp のサブモジュールの取得
$ git submodule init
$ git submodule update llm/llama.cpp
仮想環境作成と必要なライブラリインストール
$ python -m venv llm/llama.cpp/.venv
$ source llm/llama.cpp/.venv/bin/activate
$ pipenv install -r llm/llama.cpp/requirements.txt
量子化用プログラムのビルド
$ make -C llm/llama.cpp quantize
モデルのリポジトリをクローン
$ sudo apt install git-lfs
$ git lfs install
$ git clone https://huggingface.co/cyberagent/calm2-7b-chat model
モデルを変換
$ python llm/llama.cpp/convert.py ./model --outtype f16 --outfile converted.bin --vocab-type bpe --pad-vocab
--vocab-type bpe --pad-vocab
を追加しています。
量子化実行
$ llm/llama.cpp/quantize converted.bin quantized.bin q4_0
モデルファイル作成
FROM quantized.bin
TEMPLATE """
USER: {{ .Prompt }}
ASSISTANT:
"""
PARAMETER stop <|endoftext|>
モデル作成
$ ollama create calm2-7b-chat -f ModelFile
テスト
$ ollama run calm2-7b-chat "日本の芸能についておしえて"
以下の回答をくれました。
日本芸能界は、様々なジャンルとメディアが存在し、それぞれに特色があります。以下に代表的なものを紹介します:
1. 映画 - 邦画(Japanese Film)と洋画(Foreign Film)に大別され、さらにアニメーションやテレビ番組も含まれることがあります。特に日本映画では、戦後の高度経済成長期を反映した作品が多く製作されFilm)に大別され、さらにアニメーションやテレビ番組も含まれることがあります。特に日本映画では、戦後の高度経済成長期を反映した作品が多く製作されました。近年では、多様性に富んだ作品が制作されています。
2. TVドラマ - 連続テレビ小説や時代劇、現代劇などがあります。また、スポーツ中継やバラエティ番組などもあります。
3. 舞台芸術 - ミュージカルや演劇、歌舞伎、能楽、文楽などが含まれます。日本の演劇は、その演技スタイルが独特であり、特に「見得」を切るパフォーマンスが特徴的です。
4. ファッション - 日本のファッションデザイナーは世界的に有名で、日本の伝統的な技法を取り入れた作品も多く制作されています。また、アニメやマンガ、ゲームなどのサブカルチャーから影響を受けた若者向けのファッションも人気日本のファッションデザイナーは世界的に有名で、日本の伝統的な技法を取り入れた作品も多く制作されています。また、アニメやマンガ、ゲームなどのサブカルチャーから影響を受けた若者向けのファッションも人気です。
5. アイドル文化 - 1970年代から80年代にかけて誕生した「おニャン子クラブ」に端を発し、その後「AKB48」などの大人気アイドルグループが生まれました。日本のアイドル文化は独特で、ファンとの距離の近さや、応援スタ1970年代から80年代にかけて誕生した「おニャン子クラブ」に端を発し、その後「AKB48」などの大人気アイドルグループが生まれました。日本のアイドル文化は独特で、ファンとの距離の近さや、応援スタイルが特色です。また、K-POPや韓流アイドルの人気も急上昇しています。
6. ゲーム - 日本のゲーム業界は世界的に有名で、特にRPG(ロールプレイングゲーム)やアクションゲームなどが有名です。また、マンガやアニメの世界観をそのまま再現したゲームなども開発されています。
以上が代表的な日本芸能界のジャンルとメディアです。
試しに、llama3
にも聞いてみます。
Japan's traditional arts and entertainment! 😊 Here are some fascinating facts and tidbits:
**Traditional Performing Arts**
1. **Noh** (): A classical form of Japanese theater that originated in the 14th century. It features masks,
music, and highly stylized movements.
2. **Kabuki** (): Another traditional form of Japanese theater known for its dramatic performances, elaborate
makeup, and striking costumes.
3. **Bunraku** (): A style of puppetry that dates back to the 17th century, featuring intricate puppets and a strong emphasis
on storytelling.
**Music and Instruments**
1. **Shakuhachi** (): A traditional Japanese flute often used in Zen meditation and traditional music.
2. **Koto** (): A 13-stringed harp-like instrument with a rich history dating back to the Heian period (794-1185 CE).
3. **Semiya** (): A type of shamisen, a three-stringed lute that is often used in traditional Japanese music.
**Dance**
1. **Min'yō** (): A style of folk dance that has been passed down through generations, featuring simple yet elegant
movements.
2. **Nagauta** (): A traditional form of dance that originated in the Edo period (1603-1868 CE), often performed
to traditional music.
**Other Forms of Entertainment**
1. **Ukiyo-e** (): Woodblock prints that were popular in Japan during the Edo period, featuring beautiful landscapes and
scenes from everyday life.
2. **Manzai** (): A style of comedy that involves storytelling and improvisation, with origins dating back to the 17th
century.
These are just a few examples of Japan's rich cultural heritage in the realm of arts and entertainment. Each has its unique
history, characteristics, and significance in Japanese society. 🎨🕺️💃
思いっきり英語で回答してくれました。
作成したモデルを ollama で公開する
$ cat ~/.ollama/id_ed25519.pub
モデルを自分の名前空間にコピー
$ ollama cp calm2-7b-chat microai/calm2-7b-chat
ollama に push
$ ollama push microai/calm2-7b-chat
で公開しております。
最後に
素晴らしいLLMを公開してくださっているサイバーエージェントさんに感謝🙇♂