microAI Blog

Dify などを使用していると、ウェブサイトの情報を取得したくなるときがあります。Difyには、Jina Reader という高機能な本文抽出ツールが用意されていますが、有料で、そこまでは・・・と思ったので作りました。基本的には、trafilatura とほぼ同じ機能です。

おうちDCは、リソースが限られています。何も設定しないと、ひたすらユーザーをまたせた挙句に、504 Gateway Timeout を発生させてしまいます。ならば、予めアクセスの上限を設けて、429 Too Many Requests を素早く返してあげる方が良いかと思いますので、その設定についてまとめます。