Elegir una tarea, un destinatario y un límite
Elige una acción conocida por tu equipo: recuperar un procedimiento, resumir un acta o preparar un borrador. El primer entregable puede ser una tabla que reúna cada pregunta, la respuesta en bruto, la fuente esperada y el veredicto humano.
Define el comportamiento cuando falta información: pedir una aclaración o señalar una ausencia. Designa a una persona que conozca el ámbito y decida sobre la aceptación. Si nadie puede verificar las respuestas, la prueba no permite llegar a una conclusión útil.
Estabilizar los documentos antes de elegir las preguntas
Prepara los documentos necesarios y autorizados. Elimina los duplicados, identifica las versiones vigentes y localiza las contradicciones. Asigna un identificador a cada documento y conserva la ubicación de los pasajes esperados.
Transformers distingue la respuesta extraída del contexto de la respuesta generada a partir de ese contexto. En ambos casos, comprueba que el pasaje correcto se haya proporcionado realmente. Colocar archivos en una carpeta no significa que el programa los haya leído o seleccionado todos correctamente.
Un corpus ficticio y veinte preguntas listas para probar
Ejercicio ficticio para un taller de préstamo de material: PA y PB son las únicas fuentes, sin relación con los servicios de BriefGPU. Proporciónalas al asistente y plantea cada pregunta sin darle las respuestas esperadas.
PA — Kit de foto. Envía el formulario al menos dos días naturales antes de la recogida, con nombre, fecha de recogida y fecha de devolución. Louise confirma la reserva. El kit contiene una cámara y dos baterías. Recogida y devolución en el mostrador A, de lunes a viernes: recogida de 9:00 a 12:00, devolución antes de las 17:00. El personal cuenta los elementos a la devolución.
PB — Kit de audio. Envía el formulario al menos un día natural antes de la recogida, con nombre, fecha de recogida y fecha de devolución. Malik confirma la reserva. El kit contiene un micrófono y unos auriculares. Recogida y devolución en el mostrador B, de lunes a viernes: recogida de 14:00 a 17:00, devolución antes de las 17:00. El personal cuenta los elementos a la devolución.
Las preguntas 1 a 5 tratan sobre un hecho, 6 a 10 relacionan los procedimientos, 11 a 15 requieren una aclaración y 16 a 20 tratan sobre una información ausente. Acepta una reformulación fiel. Una corrección humana de la salida no cuenta como un éxito del modelo.
| N° | Pregunta que hay que plantear | Respuesta o comportamiento esperado |
|---|---|---|
| 1 | ¿Quién confirma el kit de foto? | Louise, según PA. |
| 2 | ¿Qué contiene el kit de foto? | Una cámara y dos baterías, según PA. |
| 3 | ¿Dónde se recoge el kit de audio? | En el mostrador B, según PB. |
| 4 | ¿A qué hora hay que devolver el kit de audio? | Antes de las 17 h, de lunes a viernes, según PB. |
| 5 | ¿Qué campos hay que rellenar para reservar el kit de foto? | Nombre, fecha de recogida y fecha de devolución, según PA. |
| 6 | ¿Los dos formularios piden la misma información? | Sí: nombre y fechas de recogida y devolución, en PA y PB. |
| 7 | ¿Qué kit requiere una solicitud con más antelación? | El de foto: dos días naturales, frente a uno para el de audio. |
| 8 | ¿Qué controles y horarios de devolución son comunes? | Recuento de elementos; respuesta antes de las 17 h, de lunes a viernes. |
| 9 | ¿La misma persona confirma las dos reservas? | No: Louise para el de foto, Malik para el de audio. |
| 10 | Un martes a las 10, ¿puedo retirar los dos kits en el mostrador A? | No: foto en A de 9 h a 12 h; audio en B de 14 h a 17 h. |
| 11 | ¿A quién hay que pedir la confirmación del kit? | Preguntar si se trata del kit de foto o de audio. |
| 12 | ¿A qué mostrador debo ir para mi kit? | Preguntar qué kit es. |
| 13 | ¿Puedo recoger mi kit el martes a las 15:00? | Preguntar por el kit: audio sí, foto fuera de horario. |
| 14 | ¿Qué debe contener mi kit? | Preguntar si se trata del kit de foto o de audio antes de enumerar. |
| 15 | Quiero recoger un kit el viernes: ¿basta con un día de antelación? | Preguntar por el kit: plazo suficiente para el de audio, insuficiente para el de foto. |
| 16 | ¿Cuál es el precio del préstamo? | El corpus no da ningún precio. |
| 17 | ¿Qué penalización se prevé para una devolución tardía? | No hay ninguna penalización documentada; no la inventes. |
| 18 | ¿Cuál es la resolución de la cámara? | Esta característica no aparece en PA. |
| 19 | ¿Puede otra persona retirar el material en mi lugar? | No se especifica la posibilidad de retiro por un tercero. |
| 20 | ¿Quién sustituye a Louise cuando está ausente? | No se indica ningún sustituto. |
Fijar la configuración y empezar con una sola solicitud
Elige un modelo y una herramienta compatibles, y anota sus versiones y su licencia. Registra la consigna, la selección de documentos y los ajustes. En Transformers, max_new_tokens limita los nuevos tokens producidos; el muestreo influye en la elección de la salida. Conserva estos parámetros para comparar los pasajes.
La memoria necesaria abarca más que el archivo del modelo: los datos de trabajo y la caché de generación también ocupan espacio. Transformers describe en particular el coste de la caché cuando el contexto se alarga. Empieza con una sola solicitud y verifica después las entradas más largas.
Aumentar a la vez usuarios y longitud de las respuestas mezclaría calidad y capacidad. Las referencias de 24, 48 u 80 GB no garantizan que un modelo o varias solicitudes quepan en ellas.
Ejemplo trabajado: dos procedimientos, dieciséis respuestas aceptadas
Supongamos una evaluación de los dos procedimientos PA y PB con la tabla anterior. Una respuesta se acepta si respeta la fuente y el comportamiento esperado. Por lo tanto, pedir una precisión puede ser un acierto.
La tabla es hipotética: no se ejecutó ningún modelo para producirla. Dieciséis casos aceptados de veinte dan un 80 % en este conjunto concreto, sin estimar la fiabilidad en otras solicitudes. Una regla inventada puede pesar más que una respuesta incompleta.
En este escenario, el equipo examina primero la invención y las ambigüedades. Un pasaje ausente obliga a revisar su selección; un pasaje presente pero mal interpretado apunta a la consigna o al modelo. Más memoria no corrige automáticamente estos errores.
| Familia, 5 preguntas cada una | Aceptadas | Por revisar |
|---|---|---|
| Información sencilla | 5 | Ninguna en este ejemplo. |
| Coincidencias | 4 | Una respuesta parcial. |
| Solicitudes ambiguas | 3 | Una suposición injustificada y una negativa innecesaria. |
| Información ausente | 4 | Una regla inventada. |
| Total | 16 de 20 | 4 casos no aceptados. |
Conservar un registro que explique cada veredicto
Guarda la respuesta en bruto, los pasajes proporcionados, las referencias, el veredicto y su motivo. Distingue documento mal elegido, interpretación incorrecta y forma inadecuada: «el modelo a veces se equivoca» no señala ninguna corrección.
Evalúa después el tiempo observado y el esfuerzo de revisión, separando la carga inicial y los pasajes siguientes. Si la generación varía, repite algunas preguntas difíciles y conserva todas las salidas. Elegir solo la mejor ocultaría los fallos; repetir las mismas entradas no cubre todas las situaciones reales.
- Identificador y formulación exacta de la pregunta.
- Versión del expediente y pasajes realmente proporcionados.
- Respuesta en bruto y referencias mostradas.
- Veredicto humano y justificación breve.
- Configuración de la prueba y observaciones de duración o de memoria.
Corregir una variable y luego comprobar lo que ya funcionaba
Modifica una variable identificable: documento, selección del pasaje, consigna o modelo. Vuelve a ejecutar los fallos y varias preguntas ya aceptadas. Una corrección puede degradar otro caso; conserva las salidas anteriores para verlo.
No ajustes la consigna hasta integrar en ella todas las respuestas de la tabla. Prepara después algunas preguntas nuevas: comprueban si la corrección sirve al objetivo más allá de las veinte formulaciones conocidas. Esta comprobación sigue limitada a sus propias condiciones.
Decidir la continuación y llevarse el expediente de prueba
Concluye sobre un alcance preciso: recuperar una referencia, preparar un borrador revisado o pedir una precisión. Nombra los casos excluidos. Una demostración exitosa no garantiza respuestas correctas para toda la empresa.
Continúa con una prueba supervisada, corrige una causa precisa o detente si la revisión cuesta más que el trabajo inicial. Antes de varias solicitudes simultáneas, valida el recorrido individual y conserva un subconjunto conocido para constatar los cambios.
Guarda documentos autorizados, rejilla, salidas, parámetros y decisión. La renta debe cubrir la evaluación y la recuperación, más allá de la generación. BriefGPU deja la elección de herramientas y tratamientos al cliente, sin inspeccionar su contenido; tu control de los resultados sigue siendo necesario.