Azure OpenAI Service のトークン数の上限について

  1. 1. トークン数の上限値(最大要求)とは
  2. 2. トークン数の上限値(最大要求)を超えた場合の挙動
  3. 3. トークン数の上限値(最大要求)を超えないようにする方法

この記事は、Azure OpenAI Service のトークン数の上限についてご紹介します。



トークン数の上限値(最大要求)とは

Azure OpenAI Service では、モデル毎にトークン数の上限値(最大要求)が設定されています。

モデル毎のトークン数の上限値(最大要求)は、下記ドキュメントに記載されています。

トークン数の上限値(最大要求)を超えた場合の挙動

現在の Azure OpenAI Service の動作では、トークン数の上限値(最大要求)を超えるトークンが消費された要求も、エラーが発生せず処理される場合があります。
しかし、この挙動は、あくまで現状の内部動作の関係で生じます。
将来的に予告無く変更される可能性があるため、ドキュメントに記載されているトークン数の上限値(最大要求)を超えないよう、利用することを強くお勧めします。

この留意事項は、下記ドキュメント抜粋部分でも明記しております。

トークン数の上限値(最大要求)を超えないようにする方法

Azure OpenAI Service が使用するモデルを開発している OpenAI 社では、指定された文章からモデルが判定するトークン数を計算するライブラリ ( tiktoken ) を提供しています。

下記ドキュメントでは、サンプル コードを交えた、ライブラリの使用例を紹介しております。
この使用例では、過去の会話が続くことでトークンの合計数が上限 (例では 4096 トークン) を超える場合に、古い会話を削除しつつ、上限のトークン数以下の会話を実現します。
モデル利用時にトークンを管理する一例として、ご参考になれば幸いです。

なお、tiktoken 自体はマイクロソフトのサービスの一部ではないため、Azure の技術サポートの範囲外です。予めご了承ください。


変更履歴
2023/07/19 created by Kudou

※ 本記事は 「jpaiblog について」 の留意事項に準じます。
※ 併せて 「ホームページ」 および 「記事一覧」 もご参照いただければ幸いです。