Dify で使うためにベクトルDBの Milvus を Kubernetes のクラスターにデプロイして、高品質インデックス化を行う

6 validation errors for MilvusConfig host none is not an allowed value (type=type_error.none.not_allowed) port none is not an allowed value (type=type_error.none.not_allowed) user none is not an allowed value (type=type_error.none.not_allowed) password none is not an allowed value (type=type_error.none.not_allowed) secure none is not an allowed value (type=type_error.none.not_allowed) __root__ config MILVUS_HOST is required (type=value_error)

特徴

1. 高性能な検索：
• Milvusは、ベクトル検索のために設計されており、特に大規模なデータセットに対して高速な検索を提供します。これにより、数百万から数十億のベクトルを扱うことが可能です。
2. スケーラビリティ：
• 分散アーキテクチャに基づいており、ノードの追加によって容易にスケールアウトできます。これにより、データセットの増加に応じてシステムの性能を維持することができます。
3. フレキシブルなデプロイ：
• クラウド、オンプレミス、エッジデバイスなど、さまざまな環境にデプロイ可能です。また、Kubernetes上でのデプロイもサポートしています。
4. 多様なインデックス作成方法：
• 複数のインデックス作成アルゴリズムをサポートしており、ユーザーのニーズに応じて最適なインデックスを選択できます。たとえば、IVF（Inverted File）、HNSW（Hierarchical Navigable Small World）、ANNOY（Approximate Nearest Neighbors Oh Yeah）などがあります。
5. 豊富なAPIとツール：
• Python、Java、Goなどのさまざまなプログラミング言語に対応したAPIを提供しています。また、RESTful APIやgRPCもサポートしており、統合が容易です。

CPU: Intel 2nd Gen Core CPU or higher, Apple Silicon

# nano storageclass.yaml

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: local-path
  annotations:
    storageclass.kubernetes.io/is-default-class: "true"
provisioner: rancher.io/local-path
reclaimPolicy: Delete
volumeBindingMode: WaitForFirstConsumer
allowVolumeExpansion: false

# kubectl apply -f storageclass.yaml

# kubectl get sc
NAME                   PROVISIONER             RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
local-path (default)   rancher.io/local-path   Delete          WaitForFirstConsumer   false                  2s

# kubectl apply -f https://raw.githubusercontent.com/rancher/local-path-provisioner/master/deploy/local-path-storage.yaml
# kubectl get pods -n local-path-storage
NAME                                      READY   STATUS    RESTARTS   AGE
local-path-provisioner-66dc6d9f95-vnlrb   1/1     Running   0          104s

# helm repo add milvus https://zilliztech.github.io/milvus-helm/
# helm repo update

# kubectl create namespace milvus
# helm install microai-milvus milvus/milvus --set cluster.enabled=false --set etcd.replicaCount=1 --set minio.mode=standalone --set pulsar.enabled=false --namespace milvus

# kubectl get pod,svc -n milvus                                                                                                                                                                                                                      master-01: Thu Jun  6 21:41:44 2024

NAME                                             READY   STATUS    RESTARTS      AGE
pod/microai-milvus-etcd-0                        1/1     Running   0             17m
pod/microai-milvus-minio-7cb6f48547-ctvvv        1/1     Running   0             17m
pod/microai-milvus-standalone-79799dbc5b-grt9x   1/1     Running   3 (10m ago)   17m

NAME                                   TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)              AGE
service/microai-milvus                 ClusterIP   11.1.107.128   <none>        19530/TCP,9091/TCP   17m
service/microai-milvus-etcd            ClusterIP   11.1.150.149   <none>        2379/TCP,2380/TCP    17m
service/microai-milvus-etcd-headless   ClusterIP   None           <none>        2379/TCP,2380/TCP    17m
service/microai-milvus-minio           ClusterIP   11.1.145.175   <none>        9000/TCP             17m

helm uninstall microai-milvus

# nano dify-custome.yaml

            - name: VECTOR_STORE
              value: milvus

            - name: VECTOR_STORE
              value: milvus
            - name: MILVUS_HOST
              value: "microai-milvus.milvus.svc.cluster.local"
            - name: MILVUS_PORT
              value: "19530"
            - name: MILVUS_USER
              value: "root"
            - name: MILVUS_PASSWORD
              value: "Milvus"
            - name: MILVUS_SECURE
              value: "false"

"microai-milvus.milvus.svc.cluster.local"

# kubectl apply -f dify-custome.yaml