AI-Soda Brain

Comment mesurer équitablement les performances de l’analyse conversationnelle

Une première question, une requête servie depuis le cache et des requêtes simultanées ne s’exécutent pas dans les mêmes conditions. Consignez le jeu de données, la charge, les points de début et de fin de la mesure et la qualité des réponses afin d’éclairer la décision de déploiement.

Méthodes d’évaluationMise à jour en novembre 20264 min de lecture

Définir ce que mesure le minuteur

Le temps écoulé entre la soumission d’une question et la réception d’une réponse utilisable peut inclure la gestion du point d’entrée, la planification des tâches, l’interrogation, la récupération, la génération et le transfert. Une étape interne rapide peut avoir peu d’effet sur l’attente de bout en bout. Le temps jusqu’au premier mot visible et le temps jusqu’à un résultat complet mesurent différentes expériences.

Définir les conditions de début et de fin avant de mesurer. Enregistrez le temps jusqu’à la première sortie visible, la réponse complète et le fichier final séparément, ainsi que les opérations exécutées.

Mesurer séparément les démarrages à froid, les premières questions et les requêtes à chaud

Le premier appel peut ouvrir des connexions ou provisionner des ressources. Une question répétée peut recevoir une réponse en cache. Mesurez et présentez les deux cas séparément. Pour un résultat en cache, vérifiez aussi l’actualité des données et les droits applicables.

Enregistrez l’environnement de déploiement, le modèle et la configuration, le volume de données, la complexité des requêtes, l’ensemble de questions et le modèle de concurrence. Lorsqu’une condition change, identifiez-la avant de comparer le nouveau chiffre avec une mesure antérieure.

Aller au-delà de la moyenne

Quelques requêtes lentes peuvent dominer l’expérience des utilisateurs qui les rencontrent. Signalez la médiane, un centile de latence plus élevé, le taux d’échec et les tâches inachevées. Indiquez la population et la taille de l’échantillon utilisés pour calculer chaque centile.

Distinguer les utilisateurs présents en même temps, les demandes soumises simultanément et le débit soutenu des travaux réalisés. Le nombre d’utilisateurs à lui seul ne vous dit pas grand-chose sur ce que font les utilisateurs ou sur l’évolution de l’utilisation des ressources et de la latence.

Signaler la qualité des réponses ainsi que le timing

MesureQuoi enregistrer
VitesseLimites de temps et groupes séparés pour les premières requêtes et les requêtes mises en cache
StabilitéTaux d’achèvement, types d’échecs et comportement d’annulation
QualitéExactitude par rapport à la ligne de base, aux sources et aux définitions de métriques
ChargerEspacement des requêtes, modèle de concurrence et durée
PortéeEnvironnement, données, versions et limitations connues

Rendre le test reproductible

Conservez l’ensemble de questions synthétiques ou approuvées, les résultats attendus, la configuration d’exécution et les horodatages d’origine. Examinez les erreurs et les valeurs aberrantes avant d’augmenter la charge. Préservez les citations, les contrôles d’autorisation et la qualité des réponses tout au long de l’évaluation afin que les améliorations du timing restent comparables.

Cet article décrit une méthode d’évaluation. Il ne signale aucune performance mesurée pour un déploiement AI-Soda Brain. Basez une décision de sélection sur une validation qui correspond à vos questions métier, à la portée des données et aux conditions de fonctionnement.

Retour à tous les articles

Essayez « autorisations », « source de données », « fabrication » ou « API ».