Squadico
Commencer

Fonctionnalité

Testez vos agents IA avant vos clients

Constituez un jeu de vraies questions, dites à quoi ressemble une bonne réponse, et passez-le sur chaque version. Vous voyez ce qui réussit, ce qui échoue et ce qui a changé, avant toute mise en ligne.

Créer mon premier agent

Pourquoi évaluer vos agents

  • De vraies questions, un comportement attendu

    Pour chaque question, décrivez la réponse attendue et ce que l'agent doit faire : appeler un outil, consulter la base de connaissances, passer la main à une personne.

  • Notées automatiquement

    Chaque réponse est notée selon vos critères par un modèle juge, avec la raison de chaque verdict.

  • Deux exécutions comparées

    Mettez deux exécutions côte à côte pour voir quelles questions progressent ou régressent entre deux versions ou deux modèles.

  • Des coûts maîtrisés

    Fixez un budget de jetons pour une exécution ; elle s'arrête proprement quand il est atteint.

Évaluez un agent en trois étapes

  1. Rédigez le jeu de test

    Ajoutez les questions que vos utilisateurs posent vraiment, avec la réponse et le comportement attendus.

  2. Lancez-le

    Lancez le jeu sur le brouillon ou une version publiée et suivez chaque cas au fil de sa notation.

  3. Comparez et corrigez

    Comparez avec l'exécution précédente, ajustez les consignes ou les connaissances, et relancez.

Quand les équipes lancent des évaluations

  • Avant de publier

    Vérifiez qu'une nouvelle version répond au moins aussi bien que celle en production.

  • Au changement de modèle

    Mesurez si un modèle moins cher ou plus récent garde la même qualité sur vos questions.

  • Après une mise à jour des connaissances

    Assurez-vous que de nouveaux documents n'ont pas cassé des réponses qui étaient justes.

Questions fréquentes

Que vérifie une évaluation ?

La réponse elle-même et le comportement : quels outils ont été appelés, si la base de connaissances a été consultée, si la conversation a été transmise, quelles règles se sont déclenchées.

Qui note les réponses ?

Un modèle juge compare chaque réponse à ce que vous attendiez et explique son verdict. Vous pouvez relire chaque cas.

Lancer une évaluation coûte-t-il de l'argent ?

Elle utilise votre clé de fournisseur d'IA comme toute conversation. Un budget de jetons plafonne ce qu'une exécution peut dépenser.

Puis-je comparer deux modèles ?

Oui. Passez le même jeu de test sur deux versions qui utilisent des modèles différents, puis comparez les deux exécutions.

Pour aller plus loin

Prêt à mettre votre premier agent au travail ?

Créez votre compte, décrivez ce que doit faire votre agent et publiez-le dès aujourd'hui sur votre premier canal.

Créer mon premier agent