Выбрать задачу, адресата и ограничение
Возьмите действие, знакомое вашей команде: найти процедуру, пересказать отчёт или подготовить черновик. Первым результатом может стать таблица, объединяющая каждый вопрос, необработанный ответ, ожидаемый источник и вывод человека.
Определите поведение, когда информации не хватает: попросить уточнение или сообщить об отсутствии. Назначьте человека, который знает предметную область и примет решение о приёмке. Если никто не может проверить ответы, тест не позволит сделать полезный вывод.
Стабилизировать документы до выбора вопросов
Подготовьте необходимые и разрешённые документы. Удалите дубликаты, определите действующие версии и найдите противоречия. Присвойте каждому документу идентификатор и сохраните расположение ожидаемых фрагментов.
Transformers различает ответ, извлечённый из контекста, и ответ, сгенерированный на основе этого контекста. В обоих случаях проверяйте, что нужный фрагмент действительно был предоставлен. Помещение файлов в папку не означает, что программа прочитала их все или правильно выбрала.
Вымышленный корпус и двадцать вопросов, готовых к тестированию
Учебное упражнение для мастерской по выдаче оборудования: PA и PB — единственные источники, не связанные с сервисами BriefGPU. Передайте их ассистенту и задавайте каждый вопрос, не сообщая ожидаемых ответов.
PA — Фотокомплект. Отправьте форму не позднее чем за два календарных дня до получения, указав имя, дату получения и дату возврата. Луиза подтверждает бронирование. В комплект входят камера и две батареи. Получение и возврат на стойке A, с понедельника по пятницу: получение с 9:00 до 12:00, возврат до 17:00. Сотрудники пересчитывают предметы при возврате.
PB — Аудиокомплект. Отправьте форму не позднее чем за один календарный день до получения, указав имя, дату получения и дату возврата. Малик подтверждает бронирование. В комплект входят микрофон и наушники. Получение и возврат на стойке B, с понедельника по пятницу: получение с 14:00 до 17:00, возврат до 17:00. Сотрудники пересчитывают предметы при возврате.
Вопросы с 1 по 5 касаются факта, с 6 по 10 сопоставляют процедуры, с 11 по 15 требуют уточнения, а с 16 по 20 касаются отсутствующей информации. Принимайте точный пересказ. Ручная правка ответа не считается успехом модели.
| N° | Вопрос для задания | Ответ или ожидаемое поведение |
|---|---|---|
| 1 | Кто подтверждает фотокомплект? | Луиз, согласно PA. |
| 2 | Что содержит фотокомплект? | Камеру и две батареи, согласно PA. |
| 3 | Где получают аудиокомплект? | У стойки B, согласно PB. |
| 4 | До какого часа нужно вернуть аудиокомплект? | До 17:00, с понедельника по пятницу, согласно PB. |
| 5 | Какие поля заполнить для бронирования фотокомплекта? | Имя, дату получения и дату возврата, согласно PA. |
| 6 | Запрашивают ли обе формы одни и те же сведения? | Да: имя и даты получения и возврата, в PA и PB. |
| 7 | Какой комплект требует более заблаговременной заявки? | Фотокомплект: два календарных дня против одного для аудио. |
| 8 | Какие проверки и сроки возврата совпадают? | Пересчёт предметов; возврат до 17:00, с понедельника по пятницу. |
| 9 | Подтверждает ли оба бронирования один и тот же человек? | Нет: Луиз для фото, Малик для аудио. |
| 10 | Во вторник в 10:00 могу ли я забрать оба комплекта на стойке A? | Нет: фото в A с 9 до 12 ч; аудио в B с 14 до 17 ч. |
| 11 | У кого спрашивать подтверждение комплекта? | Спросить, о фотокомплекте или аудиокомплекте идёт речь. |
| 12 | К какой стойке мне идти за моим комплектом? | Спросить, о каком комплекте идёт речь. |
| 13 | Могу ли я забрать свой комплект во вторник в 15:00? | Спросить, о каком комплекте речь: аудио — да, фото — вне интервала. |
| 14 | Что должно быть в моём комплекте? | Спросить, о фотокомплекте или аудиокомплекте идёт речь, прежде чем перечислять. |
| 15 | Я хочу получить комплект в пятницу: достаточно ли одного дня заранее? | Спросить, о каком комплекте речь: срока достаточно для аудио, недостаточно для фото. |
| 16 | Какова цена проката? | В корпусе не указана никакая цена. |
| 17 | Какая санкция предусмотрена за поздний возврат? | Санкции не описаны; не следует их придумывать. |
| 18 | Какое разрешение у камеры? | Эта характеристика отсутствует в PA. |
| 19 | Может ли другой человек забрать оборудование вместо меня? | Возможность получения третьим лицом не уточняется. |
| 20 | Кто заменяет Louise, когда её нет? | Замена не указана. |
Зафиксировать конфигурацию и начать с одного запроса
Выберите совместимую модель и инструмент, затем зафиксируйте их версии и лицензию. Запишите инструкцию, выбор документов и настройки. В Transformers параметр max_new_tokens ограничивает число новых создаваемых токенов; сэмплирование влияет на выбор варианта ответа. Сохраните эти параметры, чтобы сравнивать фрагменты.
Необходимая память включает не только файл модели: рабочие данные и кэш генерации тоже занимают место. В частности, Transformers описывает стоимость кэша при удлинении контекста. Начните с одного запроса, а затем проверьте самые длинные входные данные.
Одновременное увеличение числа пользователей и длины ответов смешало бы качество и пропускную способность. Ориентиры в 24, 48 или 80 ГБ не гарантируют, что модель или несколько запросов туда поместятся.
Разобранный пример: две процедуры, шестнадцать принятых ответов
Предположим, проводится оценка двух процедур PA и PB по приведённой выше таблице. Ответ принимается, если он соответствует источнику и ожидаемому поведению. Поэтому запрос уточнения тоже может считаться успехом.
Таблица гипотетическая: ни одна модель не запускалась для её составления. Шестнадцать принятых случаев из двадцати дают 80% в этом конкретном наборе, но не оценивают надёжность на других запросах. Придуманное правило может весить больше, чем неполный ответ.
В этом сценарии команда сначала рассматривает выдумывание и неоднозначности. Отсутствующий фрагмент требует пересмотреть его выбор; фрагмент, который есть, но понят неверно, указывает на инструкцию или модель. Больше памяти не исправляет эти ошибки автоматически.
| Семейство, по 5 вопросов в каждом | Принято | Требует проверки |
|---|---|---|
| Простые сведения | 5 | В этом примере — ни одного. |
| Сопоставления | 4 | Один частичный ответ. |
| Неоднозначные запросы | 3 | Одно необоснованное предположение и один ненужный отказ. |
| Отсутствующие сведения | 4 | Одно придуманное правило. |
| Итого | 16 из 20 | 4 непринятых случая. |
Хранить след, объясняющий каждый вердикт
Сохраняйте необработанный ответ, предоставленные фрагменты, ссылки, вердикт и его причину. Различайте неверно выбранный документ, неверную интерпретацию и неподходящую форму: «модель иногда ошибается» не указывает ни на какое исправление.
Затем оцените наблюдаемое время и трудозатраты на вычитку, разделяя начальную загрузку и последующие фрагменты. Если генерация варьируется, повторите несколько сложных вопросов и сохраните все выводы. Выбор только лучшего скрыл бы неудачи; повтор одних и тех же входных данных не охватывает все реальные ситуации.
- Идентификатор и точная формулировка вопроса.
- Версия документа и фактически предоставленные фрагменты.
- Необработанный ответ и отображённые ссылки.
- Вердикт человека и краткое обоснование.
- Конфигурация испытания и наблюдения по времени или памяти.
Изменить одну переменную, затем проверить то, что уже работало
Измените одну идентифицируемую переменную: документ, выбор фрагмента, инструкцию или модель. Перезапустите неудачные и несколько уже принятых вопросов. Исправление может ухудшить другой случай; сохраните прежние выводы, чтобы это увидеть.
Не подгоняйте инструкцию так, чтобы в неё вошли все ответы из таблицы. Затем подготовьте несколько новых вопросов: они проверяют, служит ли исправление задаче за пределами двадцати известных формулировок. Эта проверка остаётся ограниченной собственными условиями.
Решить, что делать дальше, и забрать с собой набор тестов
Сделайте вывод для чёткого периметра: найти ссылку, подготовить вычитанный черновик или запросить уточнение. Назовите исключённые случаи. Удачная демонстрация не гарантирует правильных ответов для всей компании.
Продолжите контролируемым испытанием, устраните одну конкретную причину или остановитесь, если вычитка стоит дороже первоначальной работы. Прежде чем запускать несколько одновременных запросов, проверьте индивидуальный сценарий и сохраните известный поднабор, чтобы замечать изменения.
Сохраняйте разрешённые документы, сетку, выходные данные, параметры и решение. Аренда должна покрывать оценку и восстановление, а не только генерацию. BriefGPU оставляет выбор инструментов и обработки за клиентом, не проверяя их содержимое; ваш контроль результатов по-прежнему необходим.