Оберіть завдання, адресата та обмеження
Візьміть дію, відому вашій команді: знайти процедуру, підсумувати звіт про зустріч або підготувати чернетку. Першим результатом може стати таблиця, що об’єднує кожне запитання, сиру відповідь, очікуване джерело та висновок людини.
Визначте поведінку, коли бракує інформації: попросити уточнення або повідомити про її відсутність. Призначте людину, яка знається на предметі й вирішуватиме про прийняття. Якщо ніхто не може перевірити відповіді, тест не дасть корисного висновку.
Упорядкуйте документи, перш ніж обирати запитання
Підготуйте потрібні та дозволені документи. Приберіть дублікати, визначте чинні версії та знайдіть суперечності. Дайте кожному документові ідентифікатор і збережіть місце очікуваних уривків.
Transformers розрізняє відповідь, витягнуту з контексту, і відповідь, згенеровану на основі цього контексту. В обох випадках перевірте, чи справді було надано потрібний уривок. Розміщення файлів у теці не означає, що програмне забезпечення прочитало їх усі або правильно вибрало.
Вигаданий корпус і двадцять запитань, готових до тестування
Вигадана вправа для майстерні з позичання обладнання: PA і PB — єдині джерела, не пов’язані з сервісами BriefGPU. Надайте їх помічникові та ставте кожне запитання, не даючи йому очікуваних відповідей.
PA — Фотокомплект. Надішліть форму щонайменше за два календарні дні до отримання, вказавши ім'я, дату отримання та дату повернення. Louise підтверджує бронювання. Комплект містить камеру та два акумулятори. Отримання й повернення на стійці A, з понеділка по п'ятницю: отримання з 9:00 до 12:00, повернення до 17:00. Персонал перелічує предмети під час повернення.
PB — Аудіокомплект. Надішліть форму щонайменше за один календарний день до отримання, вказавши ім'я, дату отримання та дату повернення. Malik підтверджує бронювання. Комплект містить мікрофон і навушники. Отримання й повернення на стійці B, з понеділка по п'ятницю: отримання з 14:00 до 17:00, повернення до 17:00. Персонал перелічує предмети під час повернення.
Запитання 1–5 стосуються факту, 6–10 зіставляють процедури, 11–15 потребують уточнення, а 16–20 стосуються відсутньої інформації. Приймайте точний переказ. Виправлення результату людиною не зараховується як успіх моделі.
| N° | Запитання | Очікувана відповідь або поведінка |
|---|---|---|
| 1 | Хто підтверджує фотокомплект? | Louise, згідно з PA. |
| 2 | Що містить фотокомплект? | Фотокамеру та дві батареї, згідно з PA. |
| 3 | Де отримують аудіокомплект? | На стійці B, згідно з PB. |
| 4 | До якої години потрібно повернути аудіокомплект? | До 17:00, з понеділка по п'ятницю, відповідно до PB. |
| 5 | Які поля заповнити, щоб забронювати фотокомплект? | Ім’я, дата отримання та дата повернення, згідно з PA. |
| 6 | Чи вимагають обидва формуляри однакової інформації? | Так: ім’я та дати отримання й повернення, у PA та PB. |
| 7 | Який комплект потребує завчаснішого запиту? | Фото: два календарні дні проти одного для аудіо. |
| 8 | Які перевірки та години повернення є спільними? | Перелік предметів; повернення до 17:00, з понеділка по п'ятницю. |
| 9 | Чи підтверджує обидва бронювання одна сама людина? | Ні: Louise для фото, Malik для аудіо. |
| 10 | У вівторок о 10:00 чи можу я забрати обидва комплекти на стійці A? | Ні: фото на A з 9:00 до 12:00; аудіо на B з 14:00 до 17:00. |
| 11 | У кого запитати підтвердження комплекту? | Запитати, чи йдеться про фотокомплект чи аудіокомплект. |
| 12 | На яку стійку мені йти по мій комплект? | Запитати, про який комплект ідеться. |
| 13 | Чи можу я забрати свій комплект у вівторок о 15:00? | Запитати про комплект: аудіо — так, фото — поза проміжком. |
| 14 | Що має містити мій комплект? | Запитати, чи йдеться про фотокомплект чи аудіокомплект, перш ніж перелічувати. |
| 15 | Я хочу отримати комплект у п’ятницю: чи достатньо одного дня завчасно? | Запитати про комплект: достатньо для аудіо, недостатньо для фото. |
| 16 | Яка ціна позичання? | Корпус не наводить жодної ціни. |
| 17 | Який штраф передбачено за пізнє повернення? | Жодного штрафу не задокументовано; не вигадуйте його. |
| 18 | Яка роздільна здатність камери? | Цієї характеристики немає в PA. |
| 19 | Чи може інша людина забрати обладнання замість мене? | Можливість отримання третьою особою не уточнено. |
| 20 | Хто замінює Луїзу, коли вона відсутня? | Замінника не вказано. |
Зафіксувати конфігурацію й почати з одного запиту
Виберіть сумісну модель і сумісний інструмент, а потім зафіксуйте їхні версії та ліцензію. Запишіть підказку, вибір документів і налаштування. У Transformers параметр max_new_tokens обмежує кількість нових згенерованих токенів; семплювання впливає на вибір вихідних даних. Збережіть ці параметри, щоб порівнювати проходи.
Потрібна пам'ять охоплює більше, ніж файл моделі: робочі дані та кеш генерації також займають місце. Зокрема, Transformers описує вартість кешу, коли контекст подовжується. Почніть з одного запиту, а потім перевірте найдовші вхідні дані.
Одночасне збільшення кількості користувачів і довжини відповідей змішало б якість і пропускну здатність. Орієнтири 24, 48 або 80 ГБ не гарантують, що модель чи кілька запитів туди помістяться.
Опрацьований приклад: дві процедури, шістнадцять прийнятих відповідей
Припустімо, що оцінюють дві процедури PA і PB за наведеною вище таблицею. Відповідь приймається, якщо вона відповідає джерелу та очікуваній поведінці. Тож прохання уточнити може бути успіхом.
Таблиця гіпотетична: жодну модель не запускали, щоб її отримати. Шістнадцять прийнятих випадків із двадцяти дають 80 % у цьому конкретному наборі, без оцінювання надійності на інших запитах. Вигадане правило може важити більше, ніж неповна відповідь.
У цьому сценарії команда спершу розглядає вигадки та двозначності. Відсутній уривок вимагає переглянути його вибір; наявний, але неправильно витлумачений уривок указує на підказку або модель. Більше пам'яті не виправляє ці помилки автоматично.
| Родини, по 5 запитань кожна | Прийняті | Потрібно перевірити |
|---|---|---|
| Прості запитання | 5 | Жодної в цьому прикладі. |
| Зіставлення | 4 | Одна часткова відповідь. |
| Двозначні запити | 3 | Одне необґрунтоване припущення та одна зайва відмова. |
| Відсутні відомості | 4 | Одне вигадане правило. |
| Разом | 16 із 20 | 4 неприйняті випадки. |
Зберегти слід, який пояснює кожен вердикт
Зберігайте сиру відповідь, надані уривки, посилання, вердикт та його підставу. Розрізняйте погано вибраний документ, неправильне тлумачення та невідповідну форму: «модель іноді помиляється» не вказує на жодне виправлення.
Потім оцініть спостережуваний час і зусилля на перевірку, відокремлюючи початкове завантаження від наступних проходів. Якщо генерація варіюється, повторіть кілька складних запитань і збережіть усі вихідні дані. Вибір лише найкращої приховав би невдачі; повторення тих самих вхідних даних не охоплює всіх реальних ситуацій.
- Ідентифікатор і точне формулювання запитання.
- Версія тексту та фактично надані уривки.
- Сира відповідь і показані посилання.
- Людський вердикт і коротке обґрунтування.
- Конфігурація тесту та спостереження щодо тривалості чи пам'яті.
Змініть одну змінну, тоді перевірте те, що вже працювало
Змініть одну ідентифіковану змінну: документ, вибір уривка, підказку або модель. Перезапустіть невдалі випадки та кілька вже прийнятих запитань. Виправлення може погіршити інший випадок; збережіть попередні вихідні дані, щоб це побачити.
Не підлаштовуйте підказку, доки в неї не ввійдуть усі відповіді з таблиці. Потім підготуйте кілька нових запитань: вони перевіряють, чи виправлення слугує потребі поза межами двадцяти відомих формулювань. Ця перевірка залишається обмеженою власними умовами.
Вирішити, що далі, і зберегти тестову теку
Зробіть висновок щодо точного обсягу: знайти посилання, підготувати перевірений чернетковий текст або попросити уточнення. Назвіть виключені випадки. Успішна демонстрація не гарантує правильних відповідей для всієї компанії.
Продовжте з контрольованим тестом, виправте одну конкретну причину або зупиніться, якщо перевірка коштує більше за початкову роботу. Перед кількома одночасними запитами перевірте індивідуальний шлях і збережіть відомий піднабір, щоб помічати зміни.
Зберігайте дозволені документи, сітку, вихідні файли, налаштування та рішення. Оренда має покривати оцінювання й відновлення, а не лише генерацію. BriefGPU залишає вибір інструментів і обробки за клієнтом, не перевіряючи їхній вміст; ваш контроль результатів залишається необхідним.