Scegliere un compito, un destinatario e un limite
Scegli un'azione nota al tuo team: recuperare una procedura, riassumere un verbale o preparare una bozza. Il primo risultato può essere una tabella che raccoglie ogni domanda, la risposta grezza, la fonte attesa e il giudizio umano.
Definisci il comportamento quando manca l'informazione: chiedere un chiarimento o segnalare un'assenza. Individua una persona che conosce il settore e deciderà dell'accettazione. Se nessuno può verificare le risposte, il test non permette di trarre conclusioni utili.
Stabilizzare i documenti prima di scegliere le domande
Prepara i documenti necessari e autorizzati. Elimina i duplicati, individua le versioni in vigore e rintraccia le contraddizioni. Assegna un identificativo a ogni documento e conserva la posizione dei passaggi attesi.
Transformers distingue la risposta estratta dal contesto dalla risposta generata a partire da quel contesto. In entrambi i casi, controlla che il passaggio giusto sia stato effettivamente fornito. Mettere dei file in una cartella non significa che il software li abbia letti o selezionati tutti correttamente.
Un corpus fittizio e venti domande pronte per il test
Esercizio fittizio per un laboratorio di prestito di materiale: PA e PB sono le uniche fonti, senza alcun rapporto con i servizi BriefGPU. Forniscili all'assistente e poni ogni domanda senza dargli le risposte attese.
PA — Kit foto. Invia il modulo almeno due giorni di calendario prima del ritiro, con nome, data di ritiro e data di restituzione. Louise conferma la prenotazione. Il kit contiene una macchina fotografica e due batterie. Ritiro e restituzione allo sportello A, dal lunedì al venerdì: ritiro dalle 9 alle 12, restituzione entro le 17. Il personale conta gli elementi alla restituzione.
PB — Kit audio. Invia il modulo almeno un giorno di calendario prima del ritiro, con nome, data di ritiro e data di restituzione. Malik conferma la prenotazione. Il kit contiene un microfono e una cuffia. Ritiro e restituzione allo sportello B, dal lunedì al venerdì: ritiro dalle 14 alle 17, restituzione entro le 17. Il personale conta gli elementi alla restituzione.
Le domande da 1 a 5 riguardano un fatto, da 6 a 10 mettono a confronto le procedure, da 11 a 15 richiedono un chiarimento e da 16 a 20 riguardano un'informazione assente. Accetta una riformulazione fedele. Una correzione umana dell'output non conta come una riuscita del modello.
| N° | Domanda da porre | Risposta o comportamento atteso |
|---|---|---|
| 1 | Chi conferma il kit foto? | Louise, secondo PA. |
| 2 | Cosa contiene il kit foto? | Una macchina fotografica e due batterie, secondo PA. |
| 3 | Dove si ritira il kit audio? | Allo sportello B, secondo PB. |
| 4 | A che ora va restituito il kit audio? | Entro le 17, dal lunedì al venerdì, secondo PB. |
| 5 | Quali campi compilare per prenotare il kit foto? | Nome, data di ritiro e data di restituzione, secondo PA. |
| 6 | I due moduli richiedono le stesse informazioni? | Sì: nome e date di ritiro e restituzione, in PA e PB. |
| 7 | Quale kit richiede una richiesta con più anticipo? | Il foto: due giorni di calendario, contro uno per l'audio. |
| 8 | Quali controlli e orari di restituzione sono comuni? | Conteggio degli elementi; restituzione entro le 17, dal lunedì al venerdì. |
| 9 | La stessa persona conferma entrambe le prenotazioni? | No: Louise per il foto, Malik per l'audio. |
| 10 | Un martedì alle 10, posso ritirare entrambi i kit allo sportello A? | No: foto in A dalle 9 alle 12; audio in B dalle 14 alle 17. |
| 11 | A chi chiedere la conferma del kit? | Chiedere se si tratta del kit foto o audio. |
| 12 | A quale sportello devo andare per il mio kit? | Chiedere quale kit è interessato. |
| 13 | Posso ritirare il mio kit martedì alle 15? | Chiedere il kit: audio sì, foto fuori fascia oraria. |
| 14 | Cosa deve contenere il mio kit? | Chiedere se si tratta del kit foto o audio prima di elencare. |
| 15 | Voglio ritirare un kit venerdì: basta un giorno di anticipo? | Chiedere il kit: anticipo sufficiente per l'audio, insufficiente per il foto. |
| 16 | Qual è il prezzo del prestito? | Il corpus non indica alcun prezzo. |
| 17 | Quale penale è prevista per una restituzione tardiva? | Nessuna penale è documentata; non inventarne. |
| 18 | Qual è la risoluzione della fotocamera? | Questa caratteristica è assente da PA. |
| 19 | Un'altra persona può ritirare il materiale al posto mio? | La possibilità di ritiro da parte di terzi non è precisata. |
| 20 | Chi sostituisce Louise quando è assente? | Nessun sostituto è indicato. |
Fissare la configurazione e iniziare con una sola richiesta
Scegli un modello e uno strumento compatibili, poi annota le loro versioni e la licenza. Registra la consegna, la selezione dei documenti e le impostazioni. In Transformers, max_new_tokens limita i nuovi token prodotti; il campionamento influenza la scelta dell'output. Conserva questi parametri per confrontare i passaggi.
La memoria necessaria comprende più del file del modello: anche i dati di lavoro e la cache di generazione occupano spazio. Transformers descrive in particolare il costo della cache quando il contesto si allunga. Inizia con una sola richiesta e verifica poi gli input più lunghi.
Aumentare contemporaneamente utenti e lunghezza delle risposte mescolerebbe qualità e capacità. I riferimenti di 24, 48 o 80 GB non garantiscono che un modello o più richieste ci stiano.
Esempio pratico: due procedure, sedici risposte accettate
Supponiamo una valutazione delle due procedure PA e PB con la griglia qui sopra. Una risposta è accettata se rispetta la fonte e il comportamento atteso. Chiedere un chiarimento può quindi essere un successo.
La tabella è ipotetica: nessun modello è stato eseguito per produrla. Sedici casi accettati su venti danno l'80% in questo insieme preciso, senza stimare l'affidabilità su altre richieste. Una regola inventata può pesare più di una risposta incompleta.
In questo scenario, il team esamina prima l'invenzione e le ambiguità. Un passaggio assente richiede di rivedere la sua selezione; un passaggio presente ma interpretato male orienta verso la consegna o il modello. Più memoria non corregge automaticamente questi errori.
| Famiglia, 5 domande ciascuna | Accettate | Da verificare |
|---|---|---|
| Informazioni semplici | 5 | Nessuna in questo esempio. |
| Accostamenti | 4 | Una risposta parziale. |
| Richieste ambigue | 3 | Un'ipotesi ingiustificata e un rifiuto inutile. |
| Informazioni assenti | 4 | Una regola inventata. |
| Totale | 16 su 20 | 4 casi non accettati. |
Conservare una traccia che spieghi ogni verdetto
Conserva la risposta grezza, i passaggi forniti, i riferimenti, il verdetto e il suo motivo. Distingui documento scelto male, interpretazione scorretta e forma inadeguata: «il modello a volte sbaglia» non indica nessuna correzione.
Valuta poi il tempo osservato e lo sforzo di rilettura, separando caricamento iniziale e passaggi successivi. Se la generazione varia, ripeti alcune domande difficili e conserva tutti gli output. Scegliere solo il migliore nasconderebbe i fallimenti; ripetere gli stessi input non copre tutte le situazioni reali.
- Identificativo e formulazione esatta della domanda.
- Versione del dossier e passaggi realmente forniti.
- Risposta grezza e riferimenti mostrati.
- Verdetto umano e giustificazione breve.
- Configurazione della prova e osservazioni su durata o memoria.
Correggere una variabile, poi controllare ciò che già funzionava
Modifica una variabile identificabile: documento, selezione del passaggio, consegna o modello. Riproduci i fallimenti e diverse domande già accettate. Una correzione può peggiorare un altro caso; conserva gli output precedenti per accorgertene.
Non ritoccare la consegna fino a includervi tutte le risposte della griglia. Prepara poi alcune domande nuove: verificano se la correzione serve al bisogno oltre le venti formulazioni note. Questo controllo resta limitato alle sue stesse condizioni.
Decidere il seguito e portare con sé il dossier di test
Concludi su un perimetro preciso: ritrovare un riferimento, preparare una bozza riletta o chiedere un chiarimento. Nomina i casi esclusi. Una dimostrazione riuscita non garantisce risposte corrette per tutta l'azienda.
Prosegui con una prova supervisionata, correggi una causa precisa o fermati se la rilettura costa più del lavoro iniziale. Prima di più richieste simultanee, convalida il percorso individuale e conserva un sottoinsieme noto per constatare i cambiamenti.
Salva documenti autorizzati, griglia, output, impostazioni e decisione. Il noleggio deve coprire la valutazione e il recupero, oltre alla generazione. BriefGPU lascia al cliente la scelta di strumenti e trattamenti, senza ispezionarne il contenuto; il tuo controllo dei risultati resta comunque necessario.