microAI Blog

以前、「ベクトルデータベース Weaviate (GPU使用) を Jetson Orin Nano NX 16G で動かす」で Jetson Orin Nano NX 16Gで weaviate を動かしましたが、weaviate のバージョンが 1.26.1 にあがったことと、それに伴い t2v-transformers のモデルが変わったこと、reranker を使ってみたくなったことが合わさり、ビルドし直しました。

Jetson で weaviate (text2vec-transformers,sum-transformers) を起動する必要がありましたが、Jetson オーナーなら誰でも悩む「一般的なNvidia製品との違い」があり、通常のDockerイメージではインストールできませんでした。なので、Jetson用にリビルドして起動しました。その時のログです。リビルドしたイメージも公開しておきます。

Jetson Orin Nano NX 16G が2台手元にありますので、VRAMに収まらないモデルを分散推論させることで動かしてみます。

おうちDCの中でMongoDBをインストールする前に、ノードの１つをNFSにすることにしました。当然、READ,WRITEが速いほうが良いので、各ノードのディスクIOスピードをチェックしてみました。それぞれ１回ずつしか実行していないので、正確なものではありませんが、おおよその目処はつきました。

普段、pyenv, pivenv を使用していますが、Jetson にインストールするのが初めてでしたので、その時のメモです。

Jetson Orin Nano NX 16GBを買ったときの初期セットアップまでのメモ