タイマーが測定する内容を定義する
質問を送信してから使用可能な回答を受け取るまでの時間には、エントリポイントの処理、タスク計画、クエリ、取得、生成、転送が含まれる場合があります。高速な内部ステージは、エンドツーエンドの待機にほとんど影響を与えない可能性があります。最初に目に見える単語が表示されるまでの時間と、完全な結果が得られるまでの時間によって、異なるエクスペリエンスが測定されます。
測定前に開始条件と終了条件を定義します。最初に表示される出力、完全な応答、および最終ファイルまでの時間を、実行された操作とともに個別に記録します。
コールドスタート、初回の質問、ウォーム状態でのリクエストを分ける
最初の実行では、接続が確立されるか、リソースがプロビジョニングされる場合があります。質問を繰り返すとキャッシュにヒットする可能性があります。それらのグループを個別に測定して報告します。キャッシュされた回答については、データの鮮度およびアクセス範囲も確認してください。
デプロイメント環境、モデルと構成、データ量、クエリの複雑さ、質問セット、同時実行パターンを記録します。1 つの条件が変化した場合は、新しい数値を以前の測定値と比較する前に、それを特定します。
平均を超えて見る
少数の遅いリクエストが利用者の体感を大きく左右することがあります。中央値と応答時間の上位パーセンタイルに加え、失敗率、未完了のタスクも報告します。各パーセンタイルの母集団と標本数を明示してください。
同時に存在するユーザー、同時に送信されたリクエスト、完了した作業の持続的なスループットを区別します。ユーザー数だけでは、ユーザーが何をしているか、リソースの使用量や遅延がどのように変化するかについてはほとんどわかりません。
回答の質とタイミングをレポートする
| 測定 | 何を記録するか |
|---|---|
| 速度 | 最初のリクエストとキャッシュされたリクエストのタイミング境界と個別のグループ |
| 安定性 | 完了率、失敗の種類、キャンセル動作 |
| 品質 | ベースライン、ソース、指標の定義に対する正確性 |
| ロード | リクエストの間隔、同時実行パターン、および期間 |
| 範囲 | 環境、データ、バージョン、既知の制限事項 |
テストを再現可能にする
合成または承認された質問セット、期待される結果、実行構成、および元のタイムスタンプを保持します。負荷を増やす前に、エラーと異常値を確認してください。ベンチマーク全体で引用、許可チェック、回答の品質を維持することで、タイミングの改善が同等の状態を維持します。
この記事では評価方法について説明します。AI-Soda Brain デプロイメントの測定されたパフォーマンスは報告されません。ビジネス上の質問、データ範囲、運用条件に一致する検証に基づいて選択を決定します。
