LiteLLM の詳細
LiteLLM は強力な API です。Azure OpenAI LLM Gateway 向けの統合 API で、認証、負荷分散、支出追跡などの機能を備えています。100 以上の LLM を対象に、OpenAI 形式での管理を実現します。
コア機能
- 認証管理:安全なアクセスを確保します。
- 負荷分散:効率的なリソース利用を可能にします。
- 支出追跡:コスト管理を支援します。
基本的な使用方法 ユーザーは簡単にこの API を利用できます。様々な機能を使って、効率的かつ安全に LLM を管理できます。