Dos ajustes, una misma GPU, una decisión que puedes explicar.

1. Escribe la pregunta antes de preparar las variantes

Una comparación útil responde a una decisión precisa: ¿aumentar la longitud máxima evita las respuestas cortadas? ¿Un nivel de detalle conserva los contornos necesarios? ¿Un grupo más grande termina sin errores? Elige una pregunta y un solo parámetro. «Encontrar los mejores ajustes» es demasiado amplio para una primera sesión.

Llama A a la referencia y B a la variante. Anota el valor exacto modificado. Cambiar a la vez el modelo, las dimensiones y el número de pasadas puede producir un resultado diferente, sin revelar qué modificación lo explica. Reserva esos ensayos para comparaciones separadas.

2. Fija un pequeño corpus y las reglas de juicio

Reúne las mismas entradas para A y B. Una docena de casos puede bastar para una primera decisión acotada si incluye las dificultades del proyecto: texto fino en una imagen, documento largo, dato faltante o formato poco habitual. Este número es una elección práctica, no una garantía estadística. Evita incluir solo los ejemplos que ya funcionaban.

Para cada entrada, escribe antes de la prueba las condiciones de éxito. Distingue una preferencia de presentación de un defecto bloqueante. En un asistente documental, una respuesta más agradable puede seguir siendo rechazada si inventa una regla. Para un visual de producto, un color atractivo no compensa la desaparición de un elemento importante.

Fija también el número mínimo de casos aceptados, los defectos prohibidos y el tiempo máximo de control. Estos umbrales propios del proyecto deben permanecer idénticos cuando examines los resultados.

3. Mantén la misma sesión y las mismas dependencias

Conserva el modelo, su versión, las extensiones, el motor de cálculo y los demás parámetros. Usa el mismo entorno y la misma GPU, sin lanzar otro procesamiento entre las dos variantes. Anota lo que no puedes controlar: actividad concurrente visible, cambio de versión impuesto o carga diferente. Una comparación afectada por estos cambios exige más prudencia.

Si la herramienta usa una semilla aleatoria y permite fijarla, conserva el valor para cada par de pasadas. Eso facilita una comparación, pero no promete una salida idéntica en todas partes. PyTorch indica que la reproducibilidad completa no está garantizada entre versiones o plataformas, incluso con una semilla idéntica.

Crea dos carpetas, A y B, con la misma lista de identificadores. Conserva las salidas brutas antes de cualquier corrección manual. Un retoque posterior debe aparecer como una operación adicional, con su tiempo de trabajo, y no atribuirse al ajuste que produjo el archivo inicial.

4. Haz una pasada de control y luego compara los pares

Verifica primero que una entrada simple llegue hasta el archivo o la respuesta recuperados. Esta pasada controla el método. Señala por separado una primera carga o una preparación particular: no compares el arranque completo de A con una pasada B cuyos elementos ya están todos cargados.

Ejecuta los mismos casos para A y B. Alterna el orden si la herramienta lo permite y luego vuelve a jugar algunos pares decisivos en el orden inverso. Comprueba que un resultado aislado o una ventaja de orden no condicione toda la conclusión.

Registra también los errores y las salidas rechazadas. Si B falla en una entrada grande, no la quites de la tabla para mejorar su media. Corrige eventualmente la causa en un ensayo B2 distinto. Así conservas una comparación legible en lugar de una carpeta donde la variante cambia a lo largo de las dificultades.

5. Separa el resultado aceptado y el tiempo observado

Examina primero la calidad al tamaño o en la herramienta de uso. Si es posible, oculta temporalmente los nombres A y B en el momento de juzgar. Una persona puede simplemente consultar las salidas en un orden mezclado y luego restablecer su correspondencia. Mantén los criterios anunciados y un motivo breve para cada rechazo.

Para el tiempo, elige una definición única: por ejemplo, desde el lanzamiento hasta la salida completa guardada. Separa luego el control humano y las correcciones. Un cronómetro alrededor de una llamada a la GPU no siempre mide el cálculo terminado: con PyTorch/CUDA, las operaciones pueden ser asíncronas. Usa el método de medición documentado por la herramienta si quieres aislar el cálculo.

Si las repeticiones se solapan o si el cronometraje sigue siendo aproximado, anota «diferencia de duración no concluyente». Una pequeña diferencia en una sola ejecución no justifica un porcentaje de ganancia presentado como seguro.

Ejemplo: 128 o 256 tokens nuevos para un asistente documental

Un equipo pequeño quiere respuestas completas sobre doce preguntas fijas. Mantiene el mismo modelo, los mismos documentos, la misma consigna y la misma GPU. Solo cambia el límite de respuesta: A autoriza 128 tokens nuevos, B autoriza 256. En Transformers, max_new_tokens limita la generación sin contar los tokens del texto de entrada. Un token no es una palabra: el límite no define un número exacto de frases.

Antes del ensayo, el equipo fija una regla ilustrativa: al menos diez respuestas aceptadas de doce y ninguna regla inventada. La tabla de abajo es un escenario ficticio de lectura de los resultados. No describe un asistente medido y no predice el efecto de estos valores en tu modelo.

A alcanza el mínimo, B obtiene más respuestas aceptadas pero conserva un defecto crítico. La decisión es quedarse con A para este alcance, con relectura de las respuestas, y buscar la causa del defecto de B antes de otra comparación. La mayor longitud no es prueba de calidad ni la causa segura de la invención.

El equipo vuelve a jugar las preguntas que diferencian A y B y dos preguntas ya superadas. Si el defecto aparece también con A, suspende el veredicto: el corpus inicial no había bastado para establecer la estabilidad. Conserva el registro de las dos pasadas en lugar de quedarse solo con la más favorable.

Evita las conclusiones que tu prueba no permite

No elijas B porque una de sus salidas sea espectacular mientras las demás se degradan. No cambies el corpus a mitad de camino, no cuentes dos repeticiones como dos entradas diferentes y no borres un fallo del denominador. Doce entradas presentadas siguen siendo doce casos que hay que explicar, aunque algunos no hayan producido ningún archivo.

El ajuste elegido vale para las entradas, versiones y criterios examinados. Puede que ya no sirva para un documento diez veces más largo o para imágenes diferentes. Añade progresivamente casos representativos. Esta progresión amplía el control; no convierte una prueba pequeña en una certificación del sistema.

Conserva una decisión breve y la próxima verificación

Tu expediente final contiene el corpus, las dos configuraciones, las salidas, los veredictos por identificador y unas líneas de conclusión. Indica el ajuste elegido, el motivo y el límite: «A se mantuvo en estas doce preguntas; dos respuestas quedan por revisar; los documentos largos adicionales no están cubiertos». Otra persona debe poder entender la elección sin asistir a la sesión.

Conserva A como testigo para el próximo diagnóstico. Si ninguna variante cumple los criterios, no elijas ninguna para la entrega; formula una nueva hipótesis. Reserva tiempo para copiar y comprobar antes de lanzar esta continuación. Un ensayo terminado con un límite claro ya aporta una decisión; no obliga a seguir hasta encontrar un ganador.