microAI Blog

前回「Kubernetes に Dify をインストールして、Cloudflare Tunnel でインターネット経由で見られるようにしたときの備忘録」で Dify をインストールしましたが、この手順では、ベクトルDBの Milvus がインストールされていませんので、インデックス方法で「高品質」を選択するとエラーになります。

Dify が話題でしたので、インストールして使ってみました。結論、「やばい」です。世界を変えるレベルですね。これがオープン・ソースで提供されているのが本当に驚きです。今後も色々と使ってみたいと思いますが、まずは、Kubernetes にデプロイしたときのメモを残しておきます。

chatGPT など、LLM (大規模言語モデル) に出す指示 (プロンプト) をより良くするためのテクニックをまとめてみたいと思います。

Hugging Face では日々、日本語にチューニングされたモデルが公開されていますが、それらを ollama で使用するまでの流れを忘れがちなのでメモとして残しておきます。

Jetson Orin Nano NX 16G が2台手元にありますので、VRAMに収まらないモデルを分散推論させることで動かしてみます。

日本語に強いLLM探しの旅をしています。今回は、 cyberagent/calm2-7b-chat をollama で使ってみます。

ベースモデルをインストラクトモデル（指示モデル）にチューニングする方法について学んでいきます

HuggingFace Model を GGUFへの変換について勉強したときのログです。変換したモデルを最後に ollama で使ってみます。