microAI Blog

以前、https://microai.jp/blog/20f5612a-42f7-49bc-8f6a-df357460a5f0 で手動で MinIO をデプロイしましたが、今回は、Krew を使ってデプロイしてみます。

Krew は Kubernetes クラスタの管理を効率化するためのプラグインマネージャーです。具体的には、kubectl コマンドに新しいサブコマンドを追加するプラグインを簡単に検索、インストール、アップデート、削除することができます。

helm で Kubernetes Dashboard をインストールしたときに、Unknown error (200): Http failure during parsing for https://xxxx.xx/api/v1/csrftoken/login というエラーにかなり悩まされたので、インストールの手順とエラーの原因についてまとめていきます。

今まで、Difyの helm に内用されているRedisを使用していましたが、best to use external redis とのことですので、別途インストールして使っていきます。

前回と同様、Difyの helm に内用されているMinIOを使用していましたが、データが永続化できていないためPODが再起動されるとデータが消えてしまう状態でした。データを永続化するためにも、MinIOをk8sにデプロイしていきます。

今まで、Difyの helm に内用されているPostgreSQLを使用していましたが、データが永続化できていないためPODが再起動されるとデータが消えてしまう状態でした。データを永続化するためにも、PostgreSQLをk8sにデプロイしていきます。

本日は、おうちDCネタです。2024年6月現在、LLM系のサービスを作るうえで無敵（だと勝手に思っている）なアーキテクチャをご紹介します。

前回「Kubernetes に Dify をインストールして、Cloudflare Tunnel でインターネット経由で見られるようにしたときの備忘録」で Dify をインストールしましたが、この手順では、ベクトルDBの Milvus がインストールされていませんので、インデックス方法で「高品質」を選択するとエラーになります。

Dify が話題でしたので、インストールして使ってみました。結論、「やばい」です。世界を変えるレベルですね。これがオープン・ソースで提供されているのが本当に驚きです。今後も色々と使ってみたいと思いますが、まずは、Kubernetes にデプロイしたときのメモを残しておきます。

Kubernetes の監視を行う必要がでてきたため、kube-prometheus-stackで、Prometheus、Grafana をインストールしたときのログ

Kubernetes PV,PVC 関連をメモ代わりにまとめておきます。

よく忘れてしまうので、Kubernetes のネームスペース関連をメモ代わりにまとめておきます。

おうちDC（Kubernetes x Raspberry Pi 5）上で動いている Next.js の負荷テストを実施してみました

諸事情（ミス）により、ワーカーを一度削除してから再JOINするまでの流れ

Kubernetes でRedisなどのデータを保存するために永続ボリュームを作ります

Raspberry Pi 5 x Ubuntu 24.04 LTS  のノードで、deploy を restart しても古いPodがTerminatingのまま残ってしまうという現象が起こり困ったので調べました。