Escolher uma tarefa, um destinatário e um limite
Escolha uma ação conhecida pela sua equipe: encontrar um procedimento, resumir um relatório ou preparar um rascunho. A primeira entrega pode ser uma tabela reunindo cada pergunta, a resposta bruta, a fonte esperada e o veredito humano.
Defina o comportamento quando a informação falta: pedir um esclarecimento ou sinalizar uma ausência. Indique uma pessoa que conhece o assunto e que decidirá sobre a aceitação. Se ninguém puder verificar as respostas, o teste não permite concluir de forma útil.
Estabilizar os documentos antes de escolher as perguntas
Prepare os documentos necessários e autorizados. Remova as duplicatas, identifique as versões em vigor e localize as contradições. Dê um identificador a cada documento e preserve a localização dos trechos esperados.
O Transformers distingue a resposta extraída do contexto da resposta gerada a partir desse contexto. Nos dois casos, verifique se o trecho correto foi realmente fornecido. Colocar arquivos em uma pasta não significa que o software leu todos eles ou os selecionou corretamente.
Um corpus fictício e vinte perguntas prontas para testar
Exercício fictício para uma oficina de empréstimo de equipamentos: PA e PB são as únicas fontes, sem relação com os serviços da BriefGPU. Forneça-as ao assistente e faça cada pergunta sem dar a ele as respostas esperadas.
PA — Kit foto. Envie o formulário pelo menos dois dias corridos antes da retirada, com nome, data de retirada e data de devolução. Louise confirma a reserva. O kit contém uma câmera e duas baterias. Retirada e devolução no balcão A, de segunda a sexta: retirada das 9h às 12h, devolução antes das 17h. A equipe confere os itens na devolução.
PB — Kit áudio. Envie o formulário pelo menos um dia corrido antes da retirada, com nome, data de retirada e data de devolução. Malik confirma a reserva. O kit contém um microfone e um fone de ouvido. Retirada e devolução no balcão B, de segunda a sexta: retirada das 14h às 17h, devolução antes das 17h. A equipe confere os itens na devolução.
As perguntas 1 a 5 tratam de um fato, 6 a 10 aproximam os procedimentos, 11 a 15 exigem um esclarecimento e 16 a 20 tratam de uma informação ausente. Aceite uma reformulação fiel. Uma correção humana da saída não conta como um acerto do modelo.
| N° | Pergunta a fazer | Resposta ou comportamento esperado |
|---|---|---|
| 1 | Quem confirma o kit foto? | Louise, segundo o PA. |
| 2 | O que o kit foto contém? | Uma câmera e duas baterias, segundo o PA. |
| 3 | Onde se retira o kit áudio? | No balcão B, segundo o PB. |
| 4 | A que horas é preciso devolver o kit áudio? | Antes das 17h, de segunda a sexta, segundo o PB. |
| 5 | Quais campos preencher para reservar o kit foto? | Nome, data de retirada e data de devolução, segundo o PA. |
| 6 | Os dois formulários pedem as mesmas informações? | Sim: nome e datas de retirada e devolução, no PA e no PB. |
| 7 | Qual kit exige uma solicitação com mais antecedência? | O foto: dois dias corridos, contra um para o áudio. |
| 8 | Quais conferências e horários de devolução são comuns? | Contagem dos itens; devolução antes das 17h, de segunda a sexta. |
| 9 | A mesma pessoa confirma as duas reservas? | Não: Louise para o foto, Malik para o áudio. |
| 10 | Numa terça-feira às 10h, posso retirar os dois kits no balcão A? | Não: foto no A das 9h às 12h; áudio no B das 14h às 17h. |
| 11 | A quem pedir a confirmação do kit? | Perguntar se é o kit foto ou áudio. |
| 12 | A qual balcão devo ir para o meu kit? | Perguntar qual kit está em questão. |
| 13 | Posso retirar meu kit na terça às 15h? | Perguntar qual kit: áudio sim, foto fora do horário. |
| 14 | O que meu kit deve conter? | Perguntar se é o kit foto ou áudio antes de enumerar. |
| 15 | Quero retirar um kit na sexta: um dia de antecedência basta? | Perguntar qual kit: prazo suficiente para o áudio, insuficiente para o foto. |
| 16 | Qual é o preço do empréstimo? | O corpus não informa nenhum preço. |
| 17 | Qual penalidade está prevista para uma devolução tardia? | Nenhuma penalidade está documentada; não invente. |
| 18 | Qual é a resolução da câmera? | Essa característica está ausente do PA. |
| 19 | Outra pessoa pode retirar o equipamento no meu lugar? | A possibilidade de retirada por terceiros não está especificada. |
| 20 | Quem substitui Louise quando ela está ausente? | Nenhum substituto está indicado. |
Definir a configuração e começar com uma única solicitação
Escolha um modelo e uma ferramenta compatíveis e depois registre suas versões e sua licença. Anote a instrução, a seleção dos documentos e os ajustes. No Transformers, max_new_tokens limita os novos tokens produzidos; a amostragem influencia a escolha da saída. Guarde esses parâmetros para comparar as passagens.
A memória necessária inclui mais do que o arquivo do modelo: dados de trabalho e cache de geração também ocupam espaço. O Transformers descreve, entre outras coisas, o custo do cache quando o contexto se alonga. Comece com uma única solicitação e depois verifique as entradas mais longas.
Aumentar simultaneamente usuários e comprimento das respostas misturaria qualidade e capacidade. As referências de 24, 48 ou 80 GB não prometem que um modelo ou várias requisições caberão nelas.
Exemplo prático: dois procedimentos, dezesseis respostas aceitas
Suponhamos uma avaliação dos dois procedimentos PA e PB com a grade acima. Uma resposta é aceita se respeitar a fonte e o comportamento esperado. Pedir um esclarecimento pode, portanto, ser um acerto.
A tabela é hipotética: nenhum modelo foi executado para produzi-la. Dezesseis casos aceitos em vinte dão 80% nesse conjunto específico, sem estimar a confiabilidade em outras solicitações. Uma regra inventada pode pesar mais do que uma resposta incompleta.
Nesse cenário, a equipe examina primeiro a invenção e as ambiguidades. Uma passagem ausente exige rever sua seleção; uma passagem presente mas mal interpretada aponta para a instrução ou o modelo. Mais memória não corrige automaticamente esses erros.
| Família, 5 perguntas cada | Aceitas | A analisar |
|---|---|---|
| Informações simples | 5 | Nenhuma neste exemplo. |
| Aproximações | 4 | Uma resposta parcial. |
| Solicitações ambíguas | 3 | Uma suposição injustificada e uma recusa desnecessária. |
| Informações ausentes | 4 | Uma regra inventada. |
| Total | 16 de 20 | 4 casos não aceitos. |
Manter um registro que explique cada veredito
Guarde a resposta bruta, as passagens fornecidas, as referências, o veredito e seu motivo. Distinga documento mal escolhido, interpretação incorreta e forma inadequada: “o modelo às vezes erra” não indica nenhuma correção.
Avalie em seguida o tempo observado e o esforço de revisão, separando carregamento inicial e passagens seguintes. Se a geração variar, repita algumas perguntas difíceis e guarde todas as saídas. Escolher apenas a melhor mascararia as falhas; repetir as mesmas entradas não cobre todas as situações reais.
- Identificador e formulação exata da pergunta.
- Versão do dossiê e passagens realmente fornecidas.
- Resposta bruta e referências exibidas.
- Veredito humano e justificativa curta.
- Configuração do teste e observações de duração ou de memória.
Corrigir uma variável e depois verificar o que já funcionava
Modifique uma variável identificável: documento, seleção da passagem, instrução ou modelo. Reexecute as falhas e várias perguntas já aceitas. Uma correção pode degradar outro caso; guarde as saídas antigas para perceber isso.
Não ajuste a instrução até nela incluir todas as respostas da grade. Depois, prepare algumas perguntas novas: elas verificam se a correção atende à necessidade além das vinte formulações conhecidas. Esse controle permanece limitado às suas próprias condições.
Decidir os próximos passos e levar o dossiê de teste
Conclua sobre um escopo preciso: recuperar uma referência, preparar um rascunho revisado ou pedir um esclarecimento. Nomeie os casos excluídos. Uma demonstração bem-sucedida não garante respostas corretas para toda a empresa.
Continue com um teste supervisionado, corrija uma causa precisa ou pare se a revisão custar mais do que o trabalho inicial. Antes de várias requisições simultâneas, valide o percurso individual e guarde um subconjunto conhecido para constatar as mudanças.
Salve documentos autorizados, grade, saídas, parâmetros e decisão. A locação deve cobrir a avaliação e a recuperação, além da geração. A BriefGPU deixa a escolha das ferramentas e dos tratamentos para o cliente, sem inspecionar o conteúdo delas; seu controle dos resultados continua necessário.