Kies een taak, een bestemming en een limiet
Kies een actie die bekend is bij je team: een procedure terugvinden, een verslag samenvatten of een concept voorbereiden. Het eerste resultaat kan een tabel zijn met elke vraag, het ruwe antwoord, de verwachte bron en het menselijke oordeel.
Bepaal het gedrag wanneer de informatie ontbreekt: om verduidelijking vragen of een ontbreken melden. Wijs iemand aan die het domein kent en beslist over de acceptatie. Als niemand de antwoorden kan controleren, laat de test geen nuttige conclusie toe.
Stabiliseer de documenten voordat je de vragen kiest
Bereid de nodige en toegestane documenten voor. Verwijder duplicaten, identificeer de geldende versies en spoor tegenstrijdigheden op. Geef elk document een identificatie en noteer de locatie van de verwachte passages.
Transformers maakt onderscheid tussen het antwoord dat uit de context is gehaald en het antwoord dat op basis van die context is gegenereerd. Controleer in beide gevallen of de juiste passage werkelijk is aangeleverd. Bestanden in een map plaatsen betekent niet dat de software ze allemaal heeft gelezen of correct heeft geselecteerd.
Een fictief corpus en twintig vragen klaar om te testen
Fictieve oefening voor een workshop over het uitlenen van materiaal: PA en PB zijn de enige bronnen, zonder verband met de diensten van BriefGPU. Geef ze aan de assistent en stel elke vraag zonder hem de verwachte antwoorden te geven.
PA — Fotokit. Stuur het formulier ten minste twee kalenderdagen voor de ophaling, met voornaam, ophaaldatum en retourdatum. Louise bevestigt de reservering. De kit bevat een toestel en twee batterijen. Ophaling en terugbrengen aan balie A, van maandag tot vrijdag: ophaling van 9 tot 12 uur, terugbrengen voor 17 uur. Het personeel telt de onderdelen bij het terugbrengen.
PB — Audiokit. Stuur het formulier ten minste één kalenderdag voor de ophaling, met voornaam, ophaaldatum en retourdatum. Malik bevestigt de reservering. De kit bevat een microfoon en een hoofdtelefoon. Ophaling en terugbrengen aan balie B, van maandag tot vrijdag: ophaling van 14 tot 17 uur, terugbrengen voor 17 uur. Het personeel telt de onderdelen bij het terugbrengen.
Vragen 1 tot 5 gaan over een feit, 6 tot 10 verbinden de procedures, 11 tot 15 vereisen een verduidelijking en 16 tot 20 gaan over ontbrekende informatie. Accepteer een getrouwe herformulering. Een menselijke correctie van de output geldt niet als een succes van het model.
| N° | Question à poser | Réponse ou comportement attendu |
|---|---|---|
| 1 | Wie bevestigt de fotokit? | Louise, volgens PA. |
| 2 | Wat bevat de fotokit? | Een toestel en twee batterijen, volgens PA. |
| 3 | Waar haal je de audiokit op? | Aan balie B, volgens PB. |
| 4 | Hoe laat moet de audiokit worden teruggebracht? | Voor 17 uur, van maandag tot vrijdag, volgens PB. |
| 5 | Welke velden moet je invullen om de fotokit te reserveren? | Voornaam, ophaaldatum en retourdatum, volgens PA. |
| 6 | Vragen beide formulieren dezelfde informatie? | Ja: voornaam en ophaal- en retourdatum, in PA en PB. |
| 7 | Welke kit vereist een aanvraag die eerder wordt ingediend? | De fotokit: twee kalenderdagen, tegen één voor de audiokit. |
| 8 | Welke controles en retourmomenten zijn gemeenschappelijk? | Het tellen van de onderdelen; terugbrengen voor 17 uur, van maandag tot vrijdag. |
| 9 | Bevestigt dezelfde persoon beide reserveringen? | Nee: Louise voor de fotokit, Malik voor de audiokit. |
| 10 | Kan ik op dinsdag om 10 uur beide kits ophalen aan balie A? | Nee: foto aan A van 9 tot 12 uur; audio aan B van 14 tot 17 uur. |
| 11 | Aan wie vraag je de bevestiging van de kit? | Vragen of het om de fotokit of de audiokit gaat. |
| 12 | Naar welke balie moet ik voor mijn kit? | Vragen om welke kit het gaat. |
| 13 | Kan ik mijn kit op dinsdag om 15 uur ophalen? | Vragen om welke kit: audio ja, foto buiten het tijdslot. |
| 14 | Wat moet mijn kit bevatten? | Vragen of het om de fotokit of de audiokit gaat voordat je ze opsomt. |
| 15 | Ik wil een kit op vrijdag ophalen: volstaat één dag vooraf? | Vragen om welke kit: voldoende vooraf voor audio, onvoldoende voor foto. |
| 16 | Wat is de prijs van de lening? | Het corpus geeft geen prijs. |
| 17 | Welke boete staat er voor een late teruggave? | Er is geen boete gedocumenteerd; die niet verzinnen. |
| 18 | Wat is de resolutie van de camera? | Deze eigenschap ontbreekt in PA. |
| 19 | Kan iemand anders het materiaal voor mij ophalen? | De mogelijkheid tot ophalen door een derde is niet vermeld. |
| 20 | Wie vervangt Louise wanneer ze afwezig is? | Er is geen vervanger aangegeven. |
De configuratie vastleggen en starten met één enkele aanvraag
Kies een compatibel model en hulpmiddel, en noteer hun versies en licentie. Noteer de instructie, de selectie van documenten en de instellingen. In Transformers beperkt max_new_tokens het aantal nieuwe tokens dat wordt geproduceerd; de sampling beïnvloedt de keuze van de output. Bewaar deze parameters om de passages te vergelijken.
Het benodigde geheugen omvat meer dan alleen het modelbestand: werkgegevens en de generatiecache nemen ook ruimte in. Transformers beschrijft met name de kost van de cache wanneer de context langer wordt. Begin met één enkele aanvraag en controleer daarna de langste invoer.
Gelijktijdig het aantal gebruikers en de lengte van de antwoorden verhogen zou kwaliteit en capaciteit door elkaar halen. De richtwaarden van 24, 48 of 80 GB beloven niet dat een model of meerdere verzoeken erin passen.
Uitgewerkt voorbeeld: twee procedures, zestien geaccepteerde antwoorden
Stel een evaluatie voor van de twee procedures PA en PB met het bovenstaande rooster. Een antwoord wordt geaccepteerd als het de bron en het verwachte gedrag respecteert. Om een verduidelijking vragen kan dus een succes zijn.
De tabel is hypothetisch: er is geen enkel model uitgevoerd om die te produceren. Zestien geaccepteerde gevallen op twintig geven 80 % in deze specifieke set, zonder de betrouwbaarheid bij andere aanvragen te schatten. Een verzonnen regel kan zwaarder doorwegen dan een onvolledig antwoord.
In dit scenario onderzoekt het team eerst de verzinsels en de dubbelzinnigheden. Een ontbrekende passage vraagt om de selectie te herzien; een aanwezige maar verkeerd geïnterpreteerde passage wijst op de instructie of het model. Meer geheugen corrigeert deze fouten niet automatisch.
| Famille, 5 questions chacune | Acceptées | À examiner |
|---|---|---|
| Eenvoudige informatie | 5 | Geen in dit voorbeeld. |
| Verbanden leggen | 4 | Een gedeeltelijk antwoord. |
| Dubbelzinnige vragen | 3 | Een ongerechtvaardigde veronderstelling en een nutteloze weigering. |
| Ontbrekende informatie | 4 | Een verzonnen regel. |
| Totaal | 16 op 20 | 4 niet-geaccepteerde gevallen. |
Een spoor bewaren dat elk verdict verklaart
Bewaar het ruwe antwoord, de aangeleverde passages, de verwijzingen, het verdict en de reden. Maak onderscheid tussen een slecht gekozen document, een verkeerde interpretatie en een onaangepaste vorm: "het model vergist zich soms" duidt geen enkele correctie aan.
Evalueer daarna de waargenomen tijd en de leesinspanning, met een onderscheid tussen de initiële lading en de volgende passages. Als de generatie varieert, herhaal dan enkele moeilijke vragen en bewaar alle output. Alleen de beste kiezen zou de mislukkingen verbergen; dezelfde invoer herhalen dekt niet alle reële situaties.
- Identificatie en exacte formulering van de vraag.
- Versie van het dossier en de daadwerkelijk aangeleverde passages.
- Ruw antwoord en weergegeven verwijzingen.
- Menselijk verdict en korte onderbouwing.
- Configuratie van de test en observaties over duur of geheugen.
Eén variabele corrigeren en dan controleren wat al werkte
Wijzig één identificeerbare variabele: document, selectie van de passage, instructie of model. Voer de mislukkingen opnieuw uit en meerdere al geaccepteerde vragen. Een correctie kan een ander geval verslechteren; bewaar de oude output om dat te zien.
Pas de instructie niet aan tot alle antwoorden van het rooster erin zitten. Bereid daarna enkele nieuwe vragen voor: die controleren of de correctie de behoefte dient buiten de twintig bekende formuleringen. Deze controle blijft beperkt tot haar eigen voorwaarden.
Beslissen over het vervolg en het testdossier meenemen
Kom tot een conclusie over een precies toepassingsgebied: een referentie terugvinden, een nagelezen kladversie voorbereiden of om een verduidelijking vragen. Benoem de uitgesloten gevallen. Een geslaagde demonstratie garandeert geen correcte antwoorden voor het hele bedrijf.
Ga verder met een begeleide test, corrigeer een precieze oorzaak of stop als het nalezen meer kost dan het oorspronkelijke werk. Valideer het individuele traject voordat je meerdere gelijktijdige aanvragen doet, en bewaar een bekende subset om de veranderingen vast te stellen.
Bewaar toegestane documenten, beoordelingskader, uitvoer, instellingen en beslissing. De huurperiode moet de evaluatie en het herstel dekken, en niet alleen de generatie. BriefGPU laat de keuze van tools en verwerkingen aan de klant, zonder de inhoud ervan te inspecteren; jouw controle over de resultaten blijft nodig.