microAI Blog

今まで、Weaviate が公式に用意してくれている ms-marco-MiniLM-L-6-v2 を使用していましたが、日本語においては？あまり精度が高くないように感じたので、日本語に特化したモデルを使用したカスタムイメージを作っていきます。

今まで、Weaviate が公式に用意してくれているマルチ言語用のベクトル化モデル cr.weaviate.io/semitechnologies/transformers-inference:sentence-transformers-paraphrase-multilingual-mpnet-base-v2 を使用していましたが、(他に原因箇所があるかもしれませんが・・・)あまり精度が高く検索できなかったので、tohoku-nlp/bert-base-japanese-v3  ( https://huggingface.co/tohoku-nlp/bert-base-japanese-v3 ) でカスタムモデルを作成し導入します。

以前、「ベクトルデータベース Weaviate (GPU使用) を Jetson Orin Nano NX 16G で動かす」で Jetson Orin Nano NX 16Gで weaviate を動かしましたが、weaviate のバージョンが 1.26.1 にあがったことと、それに伴い t2v-transformers のモデルが変わったこと、reranker を使ってみたくなったことが合わさり、ビルドし直しました。

Jetson で weaviate (text2vec-transformers,sum-transformers) を起動する必要がありましたが、Jetson オーナーなら誰でも悩む「一般的なNvidia製品との違い」があり、通常のDockerイメージではインストールできませんでした。なので、Jetson用にリビルドして起動しました。その時のログです。リビルドしたイメージも公開しておきます。

ベクトルデータベース Weaviate を試す。Docker で起動〜簡単なテストまで で M1 Mac でインストールしましたが、CPUバージョンですので、改めて、RTX4090を搭載した Ubuntu で、GPU版のWeaviateをインストールするまでの手順をメモしておきます。

前回、ベクトルデータベース Weaviate を試す。Docker 起動から簡単なテストまで の続きで、本日は、python で Weaviate を操作してみます。マニュアルを見ると、かなり多くのことができますので、今回はかなりざっくりした内容をメモ程度に残しておきます。

簡単なウェブ検索エンジンを作りたくなったので、Weaviate を試してみることにしました。以前、Dify インストール時に使用した Milvus も同じベクトルデータベースですが、Weaviate は例えば、ページの作成日、URLなどといったテキスト以外の付加情報（メタデータ）も同時に管理することができるため、検索エンジン用に向いています。