Choisir une tâche, un destinataire et une limite
Retenez une action connue de votre équipe : retrouver une procédure, résumer un compte rendu ou préparer un brouillon. Le premier livrable peut être un tableau réunissant chaque question, la réponse brute, la source attendue et le verdict humain.
Définissez le comportement lorsque l’information manque : demander une précision ou signaler une absence. Désignez une personne qui connaît le domaine et décidera de l’acceptation. Si personne ne peut vérifier les réponses, le test ne permet pas de conclure utilement.
Stabiliser les documents avant de choisir les questions
Préparez les documents nécessaires et autorisés. Retirez les doublons, identifiez les versions en vigueur et repérez les contradictions. Donnez un identifiant à chaque document et conservez l’emplacement des passages attendus.
Transformers distingue la réponse extraite du contexte de la réponse générée à partir de ce contexte. Dans les deux cas, contrôlez que le bon passage a réellement été fourni. Placer des fichiers dans un dossier ne signifie pas que le logiciel les a tous lus ou sélectionnés correctement.
Un corpus fictif et vingt questions prêtes à tester
Exercice fictif pour un atelier de prêt de matériel : PA et PB sont les seules sources, sans rapport avec les services BriefGPU. Fournissez-les à l’assistant et posez chaque question sans lui donner les réponses attendues.
PA — Kit photo. Envoyer le formulaire au moins deux jours calendaires avant le retrait, avec prénom, date de retrait et date de retour. Louise confirme la réservation. Le kit contient un appareil et deux batteries. Retrait et retour au comptoir A, du lundi au vendredi : retrait de 9 h à 12 h, retour avant 17 h. Le personnel compte les éléments au retour.
PB — Kit audio. Envoyer le formulaire au moins un jour calendaire avant le retrait, avec prénom, date de retrait et date de retour. Malik confirme la réservation. Le kit contient un microphone et un casque. Retrait et retour au comptoir B, du lundi au vendredi : retrait de 14 h à 17 h, retour avant 17 h. Le personnel compte les éléments au retour.
Les questions 1 à 5 portent sur un fait, 6 à 10 rapprochent les procédures, 11 à 15 nécessitent une précision et 16 à 20 portent sur une information absente. Acceptez une reformulation fidèle. Une correction humaine de la sortie ne compte pas comme une réussite du modèle.
| N° | Question à poser | Réponse ou comportement attendu |
|---|---|---|
| 1 | Qui confirme le kit photo ? | Louise, selon PA. |
| 2 | Que contient le kit photo ? | Un appareil et deux batteries, selon PA. |
| 3 | Où retire-t-on le kit audio ? | Au comptoir B, selon PB. |
| 4 | À quelle heure faut-il rendre le kit audio ? | Avant 17 h, du lundi au vendredi, selon PB. |
| 5 | Quels champs renseigner pour réserver le kit photo ? | Prénom, date de retrait et date de retour, selon PA. |
| 6 | Les deux formulaires demandent-ils les mêmes informations ? | Oui : prénom et dates de retrait et de retour, dans PA et PB. |
| 7 | Quel kit nécessite une demande plus anticipée ? | Le photo : deux jours calendaires, contre un pour l’audio. |
| 8 | Quels contrôles et horaires de retour sont communs ? | Comptage des éléments ; retour avant 17 h, du lundi au vendredi. |
| 9 | La même personne confirme-t-elle les deux réservations ? | Non : Louise pour le photo, Malik pour l’audio. |
| 10 | Un mardi à 10 h, puis-je retirer les deux kits au comptoir A ? | Non : photo en A de 9 h à 12 h ; audio en B de 14 h à 17 h. |
| 11 | À qui demander la confirmation du kit ? | Demander s’il s’agit du kit photo ou audio. |
| 12 | À quel comptoir dois-je aller pour mon kit ? | Demander quel kit est concerné. |
| 13 | Puis-je retirer mon kit mardi à 15 h ? | Demander le kit : audio oui, photo hors créneau. |
| 14 | Que doit contenir mon kit ? | Demander s’il s’agit du kit photo ou audio avant d’énumérer. |
| 15 | Je veux retirer un kit vendredi : un jour d’avance suffit-il ? | Demander le kit : délai suffisant pour l’audio, insuffisant pour le photo. |
| 16 | Quel est le prix du prêt ? | Le corpus ne donne aucun prix. |
| 17 | Quelle pénalité est prévue pour un retour tardif ? | Aucune pénalité n’est documentée ; ne pas en inventer. |
| 18 | Quelle est la résolution de l’appareil photo ? | Cette caractéristique est absente de PA. |
| 19 | Une autre personne peut-elle retirer le matériel à ma place ? | La possibilité de retrait par un tiers n’est pas précisée. |
| 20 | Qui remplace Louise lorsqu’elle est absente ? | Aucun remplaçant n’est indiqué. |
Fixer la configuration et commencer avec une seule demande
Choisissez un modèle et un outil compatibles, puis relevez leurs versions et leur licence. Notez la consigne, la sélection des documents et les réglages. Dans Transformers, max_new_tokens limite les nouveaux jetons produits ; l’échantillonnage influence le choix de la sortie. Conservez ces paramètres pour comparer les passages.
La mémoire nécessaire comprend davantage que le fichier du modèle : données de travail et cache de génération occupent aussi de la place. Transformers décrit notamment le coût du cache lorsque le contexte s’allonge. Commencez avec une seule demande et vérifiez ensuite les entrées les plus longues.
Augmenter simultanément utilisateurs et longueur des réponses mélangerait qualité et capacité. Les repères de 24, 48 ou 80 Go ne promettent pas qu’un modèle ou plusieurs requêtes y tiendront.
Exemple travaillé : deux procédures, seize réponses acceptées
Supposons une évaluation des deux procédures PA et PB avec la grille ci-dessus. Une réponse est acceptée si elle respecte la source et le comportement attendu. Demander une précision peut donc être une réussite.
Le tableau est hypothétique : aucun modèle n’a été exécuté pour le produire. Seize cas acceptés sur vingt donnent 80 % dans cet ensemble précis, sans estimer la fiabilité sur d’autres demandes. Une règle inventée peut peser davantage qu’une réponse incomplète.
Dans ce scénario, l’équipe examine d’abord l’invention et les ambiguïtés. Un passage absent demande de revoir sa sélection ; un passage présent mais mal interprété oriente vers la consigne ou le modèle. Davantage de mémoire ne corrige pas automatiquement ces erreurs.
| Famille, 5 questions chacune | Acceptées | À examiner |
|---|---|---|
| Informations simples | 5 | Aucune dans cet exemple. |
| Rapprochements | 4 | Une réponse partielle. |
| Demandes ambiguës | 3 | Une hypothèse injustifiée et un refus inutile. |
| Informations absentes | 4 | Une règle inventée. |
| Total | 16 sur 20 | 4 cas non acceptés. |
Conserver une trace qui explique chaque verdict
Gardez la réponse brute, les passages fournis, les références, le verdict et son motif. Distinguez document mal choisi, interprétation incorrecte et forme inadaptée : « le modèle se trompe parfois » ne désigne aucune correction.
Évaluez ensuite le délai observé et l’effort de relecture, en séparant chargement initial et passages suivants. Si la génération varie, répétez quelques questions difficiles et conservez toutes les sorties. Choisir seulement la meilleure masquerait les échecs ; répéter les mêmes entrées ne couvre pas toutes les situations réelles.
- Identifiant et formulation exacte de la question.
- Version du dossier et passages réellement fournis.
- Réponse brute et références affichées.
- Verdict humain et justification courte.
- Configuration de l’essai et observations de durée ou de mémoire.
Corriger une variable, puis contrôler ce qui fonctionnait déjà
Modifiez une variable identifiable : document, sélection du passage, consigne ou modèle. Rejouez les échecs et plusieurs questions déjà acceptées. Une correction peut dégrader un autre cas ; conservez les anciennes sorties pour le voir.
N’ajustez pas la consigne jusqu’à y intégrer toutes les réponses de la grille. Préparez ensuite quelques questions nouvelles : elles vérifient si la correction sert le besoin au-delà des vingt formulations connues. Ce contrôle reste limité à ses propres conditions.
Décider de la suite et emporter le dossier de test
Concluez sur un périmètre précis : retrouver une référence, préparer un brouillon relu ou demander une précision. Nommez les cas exclus. Une démonstration réussie ne garantit pas des réponses correctes pour toute l’entreprise.
Poursuivez avec un essai supervisé, corrigez une cause précise ou arrêtez si la relecture coûte plus que le travail initial. Avant plusieurs requêtes simultanées, validez le parcours individuel et conservez un sous-ensemble connu pour constater les changements.
Sauvegardez documents autorisés, grille, sorties, paramètres et décision. La location doit couvrir l’évaluation et la récupération, au-delà de la génération. BriefGPU laisse le choix des outils et traitements au client, sans inspection de leur contenu ; votre contrôle des résultats reste nécessaire.