microAI を公開しました

May 15, 2024, 8:48 PM

ご挨拶

はじめまして。2024年3月頃からLLM (Large language Models) に興味をもち、独学で学んでいる個人開発者です。
今回、勉強も兼ねて microAI というサイトを開発、公開しました。
まだまだ勉強中であるため、あまり便利なAIはできていませんが、デモを触って見てもらえると嬉しいです。

microAI とは

LLMを活用したテキスト系のちいさいけれど、便利なAIたちをAPI経由で使用できるようにしたサービスです。

Lama3, Gemma, Phi3 など小さなモデルを使って、大規模LLM品質のAIを目指しています。

おうちDC

AIの勉強に加えて、インフラ周りの勉強もしたかったので、microAI はおうちDC(データセンター)で運用しています。

おうちDC構成


  • Raspberry Pi 5 x 2台
  • Raspberry Pi 4 x 1台
  • Raspberry Pi 3 B+ x 2台
  • Jetson Orin Nano 16G x 1台

の構成で、kubernetes でクラスターを組んでいます。
このあたりの勉強資料についても徐々にブログに書いていこうかと思っています。

フロントエンド

Next.js 14 です。
ずっとPHPで開発をしていましたが、Next.js に完全移行しました。今ではPHPが書けるか不安です。

バックエンド

fastAPI (python) で作っています。LLM との相性も非常に良いので、おすすめです。
なにより、Swagger のドキュメントを自動で出力してくれるのが秀逸です。
Kubernetes で Pod が Terminating のまま残る理由と対策