Tester un agent avec Eval Studio

Eval Studio mesure la façon dont un agent spécifique répond à un ensemble fixe de questions, à l’aide d’un système d’IA appelé juge automatisé. Le juge compare la réponse de l’agent à votre réponse attendue et la note. Une affaire réussit lorsque la note de l’arbitre est de 0,5 ou plus.

• Disponibilité : Eval Studio est disponible dans Procore Explore pour les comptes Procore AI Collaborateur numérique dans la version bêta fermée.

• autorisations : pour utiliser Eval Studio, vous devez disposer du rôle de maître d’ouvrage ou d’ Admin sur le projet dans lequel vous l’utilisez.

• Prérequis : Vous (ou un membre de votre équipe) avez déjà créé l’agent que vous souhaitez tester, avec ses outils et ses instructions configurés et stables pour vos scénarios.

  • Une fois que vous commencez à créer un jeu d’évaluation pour un agent, gelez les outils et les instructions de cet agent jusqu’à ce que vous ayez terminé le test par rapport au jeu. Si vous les modifiez en cours de route, vous introduisez une deuxième variable. Un score ultérieur ne peut pas vous dire quelle partie de l’agent s’est améliorée ou s’est détériorée, et un changement qui aide un scénario peut nuire silencieusement à un autre que vous avez déjà exécuté. 

• Auteure : L’exécution d’une évaluation, que ce soit manuellement ou selon un planning, utilise des crédits.

Phase 1 : Identifier un projet

Choisissez un projet indexé et rempli de données qui correspondent à ce que vos questions d’évaluation vous demanderont. Quelques lignes directrices pour le projet que vous choisissez : 

• Passez en revue les bonnes pratiques de la phase 2 afin de savoir comment les projets et les questions d’évaluation doivent être conçus pour optimiser les résultats. Par exemple, vous devez soit choisir un projet avec de bons enregistrements d’espace réservé, soit les créer.

• Terminez les outils et les instructions de l’agent avant de commencer à exécuter le jeu. Le changement d’agent entre les exécutions rend les changements de score ininterprétables.  

Phase 2 : Créer un ensemble d’évaluation

Chaque ensemble d’évaluation teste un agent.

1. Ouvrez le panneau de configuration de n’importe quel agent dans Procore AI. Il n’est pas nécessaire qu’il s’agisse d’un agent que vous prévoyez de tester. Comment ouvrir le panneau : Lorsque vous discutez avec un seul agent, cliquez sur le bouton ... Plus à côté du nom de l’agent au-dessus de l’une des réponses qu’il vous a adressées. 

2. Cliquez sur Eval Studio. Cela ouvre la liste des évaluations pour l’ensemble du projet.

3. Cliquez sur + Créer un ensemble d’évaluations. 

4. Remplissez la section « Détails de l’évaluation ». Cela permet de configurer les bases de votre évaluation (nom de l’évaluation, description, etc.), de la connecter à un agent de votre choix et de vous donner la possibilité d’ajouter des étiquettes.
   Astuces :

   • Choix d’un agent : Si vous ne sélectionnez pas d’autre agent dans la liste déroulante, le test ciblera celui qui se trouve être le premier dans la liste. 

   • Choix d’un nom : 

     • Chargez les éléments distinctifs du nom, par exemple : FQR agent - récupération ( lecture seule )

     • La liste indique déjà l’heure de la dernière exécution, de sorte que les dates dans le nom ne sont généralement pas nécessaires.

5. Consultez les « meilleures pratiques » ci-dessous.

6. Choisissez un chemin de création (A ou B) ci-dessous et suivez ces étapes pour ajouter vos cas de test. 

Meilleures pratiques

Celles-ci s’appliquent que vous tapiez des cas de test dans Eval Studio ou que vous les génériez avec un autre LLM et importiez le fichier. 

1. Répétabilité : Concevez vos questions d’évaluation de manière à ce que les données du projet aient la même apparence après une exécution qu’avant le début de l’exécution. De cette façon, chaque exécution commence à partir d’une ligne de base identique, de sorte que si un score change, vous savez qu’il est plus probable qu’il s’agisse de l’agent, et non parce que les données sous-jacentes ont dérivé.

2. Test des actions de création : Si vous avez besoin de tester la capacité de l’agent à créer des éléments, tels qu’une FQR ou un rapport journalier, utilisez un projet d’évaluation isolé, utilisez la conception de la question de test de manière à ce que l’agent attribue à l’élément créé un nom d’évaluation uniquement, puis supprimez-le vous-même après l’exécution. Ne demandez pas à l’agent de le supprimer dans le même cas de test, sauf si la suppression est la compétence que vous évaluez. 

   • Projet d’évaluation isolé : Il s’agit d’un projet de test dédié, et non d’un projet réel dans lequel les gens travaillent. C’est idéal pour créer, mettre à jour ou supprimer des tests. Assurez-vous que le projet est indexé dans Procore AI et n’y mettez que les données d’espace réservé dont vous avez besoin. Cependant, les tests en lecture seule peuvent utiliser un projet réel. 

3. Test des actions de mettre à jour et de suppression : Dans votre projet, envisagez d’utiliser des enregistrements d’espace réservé que vous avez créés pour les tests, avec des titres/ID connus. Réinitialisez ces enregistrements d’espace réservé après l’exécution afin que la prochaine exécution voie les mêmes données de départ. 

4. Mono-tour : L’interface utilisateur d’Eval Studio est aujourd’hui conçue pour les boîtiers monotour. Un cas à un tour est une question unique suivie d’une seule réponse. Chaque cas de test est une nouvelle conversation à un tour. L’agent ne voit pas les cas antérieurs et vous ne pouvez pas ajouter un tour de suivi pour vérifier s’il s’est souvenu de quelque chose du message précédent. Si un scénario nécessite des faits préalables (un titre d’enregistrement, un projet, une contrainte), mettez ces faits dans la question elle-même. 

5. Achèvement : Chaque cas a besoin à la fois d’une question et d’une réponse attendue. Lorsque vous cliquez sur Enregistrer ou Exporter, toute question sans réponse attendue est supprimée. 

6. Maximum : Chaque kit d’évaluation peut contenir jusqu’à 100 cas de test. Les lignes supérieures à 100 ne sont pas conservées et ne seront ni enregistrées, ni exportées, ni exécutées. Si vous avez besoin de plus de couverture, divisez le travail dans un autre ensemble d’évaluation.

7. Rédigez des conclusions, pas des scripts : Les réponses attendues doivent énoncer des faits importants et des conclusions requises, et non une formulation exacte ou un script complet de la façon dont l’agent doit parler, à moins que la formulation exacte ne soit le but réel du test. N’incluez que les faits dont vous avez réellement besoin : si vous énumérez des suivis facultatifs ou une formulation agréable à avoir (une conclusion polie, une prochaine étape suggérée), le juge ne les exige pas, de sorte que le score ne sera pas affecté. 

   • Des identifiants équivalents sont acceptables. « Alex », « maître d’ouvrage : Alex » et une pièce d’identité associée au même nom devraient tous passer, alors indiquez le fait dont vous avez besoin, et non l’étiquette ou le format exact sous lequel il doit apparaître.
     Exemple : Doit inclure les projets Main Street Office et Riverside Clinic par leur nom.

8. Regrouper par type : Il est utile de ne tester qu’une seule fonctionnalité (comme les actions en lecture seule) par jeu d’évaluation. Une série de tests produit un score agrégé pour l’ensemble de l’évaluation. Si les actions de récupération s’améliorent de 10 %, tandis que les actions de création régressent d’autant, dans un ensemble d’évaluation mixte, le nombre bouge à peine et vous n’apprenez rien. Et comme vous ne pouvez pas filtrer par étiquette au sein d’un ensemble, des ensembles séparés sont le seul moyen d’obtenir des signaux par capacité. 

9. Regrouper par performance : Il y a des avantages à garder un ensemble axé sur les domaines sur lesquels vous voulez que l’agent s’améliore (en s’attendant à 60 à 80 % et à la possibilité de grimper) et un ensemble distinct de cas qui passent habituellement, pour rattraper les régressions.

   • Au fur et à mesure qu’un cas s’améliore, graduez-le dans l’ensemble de régression. 

10. Ne divisez pas trop : 20 à 50 caisses par série est la plage de départ généralement recommandée (permet d’économiser des crédits et des efforts). Si votre set a moins de 10, un seul étui floconneux fait beaucoup basculer le score. 

11. Équilibrez les cas positifs et négatifs : Si chaque cas récompense l’agent pour avoir effectué une action, vous vous entraînez à un agent qui agit toujours. Incluez les cas où la bonne réponse est « cette information n’est pas disponible » ou « je ne peux pas créer ce type d’élément ». 

12. Dupliquer les ensembles : L’action Dupliquer dans le ... Le menu Plus copie le nom avec « (copie) » ajouté, ainsi que l’agent, la description, les étiquettes, le planning et tous les cas de test. Renommez la copie, pointez-la vers votre deuxième agent, et vous obtiendrez des questions identiques avec deux historiques de scores indépendants que vous pouvez comparer côte à côte. 

    • C’est mieux que d’échanger l’agent sur un ensemble et de le relancer. Cela fonctionne, mais l’historique d’exécution de l’ensemble mélange alors deux configurations différentes et vous perdez la capacité de dire quelle exécution appartenait à quelle configuration. 

Remarque : La notation fonctionne comme un juge automatisé de la réponse de l’agent dans chaque cas. Une affaire réussit lorsque la note de l’arbitre est de 0,5 ou plus. Le juge note la substance, pas la présentation – la mise en forme et les métadonnées supplémentaires correctes n’affectent généralement pas la note, mais les entités erronées, les contradictions et les faits importants omis le font.

Chemin de création A : créer directement dans Eval Studio

1. Saisissez chaque exemple de requête (question).

2. Saisissez une réponse attendue ou utilisez la commande Sparkle pour générer une première ébauche à partir de l’agent sélectionné.
   Remarque : Si vous n’avez pas cliqué sur « Enregistrer les modifications » après avoir établi le nom et les informations de l’ensemble d’évaluation, le contrôle de l’étincelle n’est pas disponible jusqu’à ce que vous le fassiez. 

3. Répétez l’opération jusqu’à ce que vous ayez saisi tous vos dossiers.

4. Cliquez sur Enregistrer les modifications.

Conseil : Révisez attentivement les ébauches générées par l’IA. Puisqu’ils proviennent du même agent testé, ils peuvent intégrer les bogues ou les bizarreries actuels de cet agent. Traitez-les comme un point de départ, et non comme une vérité sol.

Chemin de création B : générer avec un LLM tiers, puis importer

Si vous importez un jeu existant dans Eval Studio, il écrase toutes les questions actuelles et les réponses attendues et les paramètres de ce jeu d’évaluation actuel, ce qui ne peut pas être annulé. 

1. Exportez un jeu Eval Studio existant (ou créez un petit jeu d’échantillons et exportez-le) pour l’utiliser comme exemple de format.

2. Donnez un LLM de votre choix lors de l’exportation, ainsi que le matériel source qui devrait alimenter vos nouvelles questions (documentation, enregistrements d’espace réservé, problèmes connus).

3. Demandez au LLM de produire un nouvel ensemble dans le même format d’exportation (formatVersion : 1, avec des conversations et des tours).

4. Importez le fichier dans Eval Studio, révisez-le et cliquez sur Enregistrer.

Phase 3 : Exécuter un test

1. Dans « Exécuter le planning », cliquez sur Exécuter l’évaluation maintenant.
   Remarque : Si ce bouton est désactivé, il se peut que vous ayez des modifications non enregistrées. Cliquez sur Enregistrer les modifications.  

2. Surveillez l’historique des exécutions jusqu’à ce que le statut soit « Terminé » ou « Échec ». Ouvrez ensuite le rapport Afficher dans l’historique d’exécution.

3. Inspectez toutes les défaillances et resserrez ou desserrez les réponses attendues si nécessaire. Passez en revue les pratiques exemplaires des phases 2 et 5, au besoin. 

4. Réinitialisez ou supprimez les enregistrements restants (si nécessaire) avant la prochaine exécution. Pour plus d’informations, consultez la section « Bonnes pratiques » de la phase 2 de ce tutoriel. 

5. Relancez jusqu’à ce que vous soyez satisfait des résultats.

Quel score devriez-vous viser ?

Des scores différents sont attendus pour ce que vous considérez comme un ensemble de capacités par rapport à un jeu de régression . 

• Un ensemble de fonctionnalités mesure les compétences que l’agent est encore en train d’acquérir : recherche du bon enregistrement, création d’un élément, refus d’une action non prise en charge. Vous vous attendez à des échecs. Un score de milieu de gamme est utile car il peut augmenter (ou diminuer) lorsque vous changez d’outil, d’instructions ou de maquettes.

• Un jeu de régression est un filet de sécurité : les cas que l’agent gère déjà bien. Vous l’exécutez pour vous assurer qu’une modification ultérieure n’a pas cassé quelque chose qui fonctionnait auparavant. L’objectif est d’obtenir un score élevé. Une baisse est le signal.

Directives de création pour les ensembles de fonctionnalités

Il s’agit de lignes directrices, et non de SLA de produits.

• Taux de réussite : Visez environ 60 à 80 % pour un ensemble de capacités. Cela laisse une marge de manœuvre pour voir une amélioration (ou une régression) lorsque les maquettes, les invites ou les outils changent. 

  • Un taux de réussite proche de 100 % pour un ensemble de capacités signifie souvent que les réponses attendues sont trop vagues ou trop auto-confirmées. Si presque tous les cas obtiennent un score de 1,0, les réponses attendues sont probablement trop minces – elles ne nécessitent pas suffisamment de faits matériels pour détecter les erreurs 

  • Un taux de réussite proche de 0 % signifie souvent que votre configuration doit être améliorée. Vérifiez que le projet dispose des données demandées par les questions, que les données sont synchronisées, que l’agent dispose des bons outils et instructions et que les réponses attendues correspondent à ce qui se trouve réellement dans le projet.

• Taille de l’ensemble : La plupart des auteurs commencent avec 20 à 50 cas et grandissent à partir de là. Couvrez une gamme de fonctionnalités et de modes de défaillance (découverte, liste, get-by-id, multi-entité), et pas seulement des chemins heureux.

Directives de création pour les jeux de régression

Il s’agit de lignes directrices, et non de SLA de produits.

• Ensemble de régression : visez près de 100 %. Ce n’est pas « les réponses attendues sont trop minces » – cela signifie que ces cas sont censés continuer à passer.

• Une baisse sur un jeu de régression est l’alarme. Inspectez Affichez le rapport avant de modifier les réponses attendues.

• Si un ensemble de régression se situe autour de 60 à 80 %, ces cas ne sont pas encore stables. Laissez-les dans l’ensemble de capacités (ou déplacez-les à nouveau).

Phase 4 : Planning des exécutions récurrentes

Une fois que votre jeu d’évaluation est stable, vous pouvez effectuer un Planning des exécutions récurrentes pour rester informé des régressions. 

1. Sur la page de l’ensemble d’évaluations, faites défiler jusqu’à Exécuter le Planning.

2. Dans Exécuter, choisissez la fréquence à laquelle il doit s’exécuter. Utilisez Weekly (hebdomadaire ) dans la plupart des cas.

   • Réglez le jour (si demandé), l’heure (à) et le fuseau horaire. Une fenêtre à faible trafic, telle qu’un matin de week-end, est une bonne solution par défaut.

3. Définissez le Statut du planning sur Actif. Utilisez Pause pour arrêter les exécutions automatiques sans effacer le planning.
   Remarque : Vous ne verrez pas cette bascule si vous avez sélectionné « Manuel » comme fréquence. 

4. Cliquez sur Enregistrer les modifications. Confirmez que la « prochaine exécution » semble correcte

Les exécutions planifiées utilisent les crédits de la même manière que les exécutions manuelles, mais comme elles s’exécutent automatiquement, il est plus facile de perdre la trace de la fréquence à laquelle elles consomment des crédits.

Phase 5 : Améliorez et élargissez votre ensemble d’évaluation au fil du temps

• Faux négatifs : Si la réponse de l’agent est équivalente à la réponse attendue, mais qu’elle échoue toujours auprès de l’arbitre, mettez à jour la réponse attendue et recommencez. Ne relâchez une réponse attendue que lorsque la réponse de l’agent est vraiment acceptable - ne l’ajustez pas simplement pour correspondre à une mauvaise réponse, ou vous masquerez les régressions réelles.

• Corrections de bogues : Lorsque vous résolvez un problème avec les instructions ou les outils de l’agent, ajoutez un dossier qui le couvre afin que les régressions futures soient interceptées.

• Dérive : Réexaminez les réponses attendues chaque fois que le produit ou l’agent sous-jacent change d’une manière qui affecte ce à quoi devrait ressembler une réponse correcte. Par exemple, si une nouvelle fonctionnalité modifie la façon dont l’agent doit répondre, ou si les instructions de l’agent sont intentionnellement mises à jour, les anciennes réponses attendues peuvent ne plus refléter le comportement correct actuel. Vous devez donc les mettre à jour pour qu’elles correspondent.

• Cas de diplômés : Lorsqu’un cas de capacité passe de manière fiable, déplacez-le dans le jeu de régression. Cela permet de garder l’ensemble des capacités concentrées sur les compétences qui peuvent encore s’améliorer, et de placer le dossier stable sur le filet de sécurité afin qu’un changement ultérieur ne puisse pas le briser sans se faire remarquer. 

  • Les nouveaux cas de correction de bogue appartiennent à l’ensemble de régression afin que le bogue ne puisse pas revenir sans être remarqué. 

Obtenir de l’aide

Des questions, des commentaires ou des exigences ? Contactez votre point de contact Procore.