「BerriAI/reliableGPT」について
BerriAI/reliableGPT は、OpenAI の利用において高いアップタイムと信頼性を実現するためのツールです。このツールは、レート制限、タイムアウト、API エラー、キーエラーなどの問題に対処する機能を備えています。
コア機能
- 代替モデルでのリトライ：GPT-4、GPT3.5、GPT3.5 16k、text-davinci-003 などのモデルでリトライを行います。
- 大きなコンテキストウィンドウモデルでのリトライ：コンテキストウィンドウエラーに対応します。
- キャッシュ応答の送信：セマンティック類似性を利用したキャッシュ機能を備えています。
- フォールバック API キーでのリトライ：無効な API キーエラーに対処します。
基本的な使用方法
- インストール：
pip install reliableGPTでパッケージをインストールできます。 - コアパッケージの使用：OpenAI、Azure OpenAI、Langchain、LlamaIndex との統合が可能で、簡単なコードで実装できます。
このツールは、LLM アプリケーションの運用において、エラーに対処し、ユーザーに安定したサービスを提供することを目指しています。
