microAI Blog

以前、https://microai.jp/blog/20f5612a-42f7-49bc-8f6a-df357460a5f0 で手動で MinIO をデプロイしましたが、今回は、Krew を使ってデプロイしてみます。

Krew は Kubernetes クラスタの管理を効率化するためのプラグインマネージャーです。具体的には、kubectl コマンドに新しいサブコマンドを追加するプラグインを簡単に検索、インストール、アップデート、削除することができます。

今回は、MinIOのデータを Ubuntu のPCのローカルにバックアップをとってみます。mc（MinIO Client）を使用します。

今まで、Weaviate が公式に用意してくれている ms-marco-MiniLM-L-6-v2 を使用していましたが、日本語においては？あまり精度が高くないように感じたので、日本語に特化したモデルを使用したカスタムイメージを作っていきます。

今まで、Weaviate が公式に用意してくれているマルチ言語用のベクトル化モデル cr.weaviate.io/semitechnologies/transformers-inference:sentence-transformers-paraphrase-multilingual-mpnet-base-v2 を使用していましたが、(他に原因箇所があるかもしれませんが・・・)あまり精度が高く検索できなかったので、tohoku-nlp/bert-base-japanese-v3  ( https://huggingface.co/tohoku-nlp/bert-base-japanese-v3 ) でカスタムモデルを作成し導入します。

以前、「ベクトルデータベース Weaviate (GPU使用) を Jetson Orin Nano NX 16G で動かす」で Jetson Orin Nano NX 16Gで weaviate を動かしましたが、weaviate のバージョンが 1.26.1 にあがったことと、それに伴い t2v-transformers のモデルが変わったこと、reranker を使ってみたくなったことが合わさり、ビルドし直しました。

helm で Kubernetes Dashboard をインストールしたときに、Unknown error (200): Http failure during parsing for https://xxxx.xx/api/v1/csrftoken/login というエラーにかなり悩まされたので、インストールの手順とエラーの原因についてまとめていきます。

前回のブログ「NASを持っていないので、GlusterFSで分散ファイルシステムを構築してNFSとして運用する」で構築したNFS x 2 に Keepalived で 仮想IPを割り振ってフェイルオーバー機能を実装します。

NASを買おうかな・・・と思っていたのですが、高性能なNASは高い・・・ので、手元にあるPC郡で、分散ファイルシステムを構築して使用します。

Jetson で weaviate (text2vec-transformers,sum-transformers) を起動する必要がありましたが、Jetson オーナーなら誰でも悩む「一般的なNvidia製品との違い」があり、通常のDockerイメージではインストールできませんでした。なので、Jetson用にリビルドして起動しました。その時のログです。リビルドしたイメージも公開しておきます。

今まで、Difyの helm に内用されているRedisを使用していましたが、best to use external redis とのことですので、別途インストールして使っていきます。

前回の記事「Kubernetes に MinIO をインストールする」でインストールした、MinIO を python から操作してみます。

前回と同様、Difyの helm に内用されているMinIOを使用していましたが、データが永続化できていないためPODが再起動されるとデータが消えてしまう状態でした。データを永続化するためにも、MinIOをk8sにデプロイしていきます。

今まで、Difyの helm に内用されているPostgreSQLを使用していましたが、データが永続化できていないためPODが再起動されるとデータが消えてしまう状態でした。データを永続化するためにも、PostgreSQLをk8sにデプロイしていきます。

ベクトルデータベース Weaviate を試す。Docker で起動〜簡単なテストまで で M1 Mac でインストールしましたが、CPUバージョンですので、改めて、RTX4090を搭載した Ubuntu で、GPU版のWeaviateをインストールするまでの手順をメモしておきます。

前回、ベクトルデータベース Weaviate を試す。Docker 起動から簡単なテストまで の続きで、本日は、python で Weaviate を操作してみます。マニュアルを見ると、かなり多くのことができますので、今回はかなりざっくりした内容をメモ程度に残しておきます。

簡単なウェブ検索エンジンを作りたくなったので、Weaviate を試してみることにしました。以前、Dify インストール時に使用した Milvus も同じベクトルデータベースですが、Weaviate は例えば、ページの作成日、URLなどといったテキスト以外の付加情報（メタデータ）も同時に管理することができるため、検索エンジン用に向いています。

かなりニッチなニーズだと思いますが、Dify のワークフローの中で、例えば、ログインしているユーザー別にナレッジの内容を変えたい！というようなニーズがあった場合、現在のDifyでは、ユーザーの数だけ分岐を作る必要があり、現実的ではありません。そのうち、標準機能で、引数でナレッジを切り替えられるようになる予感はしますが、その間の付け焼き刃として無理やり切り替えることができるツールを作ったので公開します。

Dify などを使用していると、ウェブサイトの情報を取得したくなるときがあります。Difyには、Jina Reader という高機能な本文抽出ツールが用意されていますが、有料で、そこまでは・・・と思ったので作りました。基本的には、trafilatura とほぼ同じ機能です。

2024/06/28 に v0.6.11 がリリースされていました。Difyは本当に素晴らしいアプリですが、不具合もまだまだ多くあるので、バージョンアップしていきます。

本日は、おうちDCネタです。2024年6月現在、LLM系のサービスを作るうえで無敵（だと勝手に思っている）なアーキテクチャをご紹介します。

2024/06/15 に v0.6.11 がリリースされていました。Difyは本当に素晴らしいアプリですが、不具合もまだまだ多くあるので、バージョンアップしていきます。

Dify が本当に素晴らしく感動している今日このごろです。勉強も兼ねて、Dify で作った１つのチャットボットを簡単に公開できる simple-chat-webui-for-dify というNextJSアプリを GitHub で公開しました。

前回「Kubernetes に Dify をインストールして、Cloudflare Tunnel でインターネット経由で見られるようにしたときの備忘録」で Dify をインストールしましたが、この手順では、ベクトルDBの Milvus がインストールされていませんので、インデックス方法で「高品質」を選択するとエラーになります。

Dify が話題でしたので、インストールして使ってみました。結論、「やばい」です。世界を変えるレベルですね。これがオープン・ソースで提供されているのが本当に驚きです。今後も色々と使ってみたいと思いますが、まずは、Kubernetes にデプロイしたときのメモを残しておきます。

Jetson Orin Nano NX16G で faster-whisper を使ってみたかったので、インストールしようとしたら色々と大変だったので、使えるようになるまでの手順とイメージの作成を行いました。

文字起こしができる whisper は仕事で使ったことがあったのですが、より高速に文字起こしできる faster-whisper を試してみました。

chatGPT など、LLM (大規模言語モデル) に出す指示 (プロンプト) をより良くするためのテクニックをまとめてみたいと思います。

Hugging Face では日々、日本語にチューニングされたモデルが公開されていますが、それらを ollama で使用するまでの流れを忘れがちなのでメモとして残しておきます。

Jetson Orin Nano NX 16G が2台手元にありますので、VRAMに収まらないモデルを分散推論させることで動かしてみます。

おうちDCの中でMongoDBをインストールする前に、ノードの１つをNFSにすることにしました。当然、READ,WRITEが速いほうが良いので、各ノードのディスクIOスピードをチェックしてみました。それぞれ１回ずつしか実行していないので、正確なものではありませんが、おおよその目処はつきました。

日本語に強いLLM探しの旅をしています。今回は、 cyberagent/calm2-7b-chat をollama で使ってみます。

Kubernetes の監視を行う必要がでてきたため、kube-prometheus-stackで、Prometheus、Grafana をインストールしたときのログ

Kubernetes PV,PVC 関連をメモ代わりにまとめておきます。

よく忘れてしまうので、Kubernetes のネームスペース関連をメモ代わりにまとめておきます。

おうちDCは、リソースが限られています。何も設定しないと、ひたすらユーザーをまたせた挙句に、504 Gateway Timeout を発生させてしまいます。ならば、予めアクセスの上限を設けて、429 Too Many Requests を素早く返してあげる方が良いかと思いますので、その設定についてまとめます。

おうちDC（Kubernetes x Raspberry Pi 5）上で動いている Next.js の負荷テストを実施してみました

普段、pyenv, pivenv を使用していますが、Jetson にインストールするのが初めてでしたので、その時のメモです。

ベースモデルをインストラクトモデル（指示モデル）にチューニングする方法について学んでいきます

HuggingFace Model を GGUFへの変換について勉強したときのログです。変換したモデルを最後に ollama で使ってみます。

諸事情（ミス）により、ワーカーを一度削除してから再JOINするまでの流れ

Kubernetes でRedisなどのデータを保存するために永続ボリュームを作ります

超簡易NFSファイルサーバーの作り方です

Jetson Orin Nano NX 16GBを買ったときの初期セットアップまでのメモ

Redis を Docker 上で起動するまでの簡単なステップ

MongoDB バックアップしたダンプをインポートしたときのメモ

MongoDBからバックアップを取るまでのメモ

Docker に MongoDBコンテナを立ち上げるまでの簡単なメモです

昔買った 4inch モニターが落ちていたので、Rasipberry Pi 3 B+につけて、サーバーを監視します

Raspberry Pi 5 x Ubuntu 24.04 LTS  のノードで、deploy を restart しても古いPodがTerminatingのまま残ってしまうという現象が起こり困ったので調べました。

はじめまして。2024年3月頃からLLM (Large language Models) に興味をもち、独学で学んでいる個人開発者です。