Chọn một nhiệm vụ, một người nhận và một giới hạn
Hãy chọn một hành động mà nhóm của bạn đã biết rõ: tra cứu một quy trình, tóm tắt một biên bản họp hoặc chuẩn bị một bản nháp. Sản phẩm đầu tiên có thể là một bảng tổng hợp mỗi câu hỏi, câu trả lời thô, nguồn mong đợi và đánh giá của con người.
Xác định cách xử lý khi thiếu thông tin: yêu cầu làm rõ hoặc báo hiệu sự thiếu vắng. Chỉ định một người hiểu rõ lĩnh vực và sẽ quyết định việc chấp nhận. Nếu không ai có thể kiểm chứng các câu trả lời, bài kiểm tra sẽ không thể đưa ra kết luận hữu ích.
Ổn định tài liệu trước khi chọn câu hỏi
Chuẩn bị các tài liệu cần thiết và được phép sử dụng. Loại bỏ các bản trùng lặp, xác định các phiên bản đang có hiệu lực và phát hiện các mâu thuẫn. Gán một mã định danh cho mỗi tài liệu và ghi lại vị trí của các đoạn mong đợi.
Transformers phân biệt câu trả lời được trích xuất từ ngữ cảnh với câu trả lời được tạo ra từ ngữ cảnh đó. Trong cả hai trường hợp, hãy kiểm tra rằng đoạn đúng thực sự đã được cung cấp. Việc đặt các tệp vào một thư mục không có nghĩa là phần mềm đã đọc hoặc chọn đúng tất cả chúng.
Một kho ngữ liệu giả định và hai mươi câu hỏi sẵn sàng để kiểm tra
Bài tập giả định cho một buổi workshop về cho mượn thiết bị: PA và PB là hai nguồn duy nhất, không liên quan đến các dịch vụ của BriefGPU. Hãy cung cấp chúng cho trợ lý và đặt từng câu hỏi mà không đưa trước các câu trả lời mong đợi.
PA — Bộ ảnh. Gửi biểu mẫu ít nhất hai ngày dương lịch trước khi nhận, kèm tên, ngày nhận và ngày trả. Louise xác nhận đặt chỗ. Bộ này gồm một máy ảnh và hai pin. Nhận và trả tại quầy A, từ thứ Hai đến thứ Sáu: nhận từ 9 giờ đến 12 giờ, trả trước 17 giờ. Nhân viên đếm các thành phần khi trả.
PB — Bộ âm thanh. Gửi biểu mẫu ít nhất một ngày dương lịch trước khi nhận, kèm tên, ngày nhận và ngày trả. Malik xác nhận đặt chỗ. Bộ này gồm một micro và một tai nghe. Nhận và trả tại quầy B, từ thứ Hai đến thứ Sáu: nhận từ 14 giờ đến 17 giờ, trả trước 17 giờ. Nhân viên đếm các thành phần khi trả.
Các câu hỏi 1 đến 5 liên quan đến một sự kiện, 6 đến 10 đối chiếu các quy trình, 11 đến 15 cần một sự làm rõ và 16 đến 20 liên quan đến một thông tin vắng mặt. Chấp nhận một cách diễn đạt lại trung thực. Việc con người sửa đầu ra không được tính là thành công của mô hình.
| N° | Question à poser | Réponse ou comportement attendu |
|---|---|---|
| 1 | Ai xác nhận bộ ảnh? | Louise, theo PA. |
| 2 | Bộ ảnh gồm những gì? | Một máy ảnh và hai pin, theo PA. |
| 3 | Nhận bộ âm thanh ở đâu? | Tại quầy B, theo PB. |
| 4 | Phải trả bộ âm thanh vào lúc mấy giờ? | Trước 17 giờ, từ thứ Hai đến thứ Sáu, theo PB. |
| 5 | Cần điền những trường nào để đặt bộ ảnh? | Tên, ngày nhận và ngày trả, theo PA. |
| 6 | Hai biểu mẫu có yêu cầu cùng thông tin không? | Có: tên và ngày nhận, ngày trả, trong PA và PB. |
| 7 | Bộ nào cần yêu cầu trước lâu hơn? | Bộ ảnh: hai ngày dương lịch, so với một ngày cho bộ âm thanh. |
| 8 | Những kiểm tra và khung giờ trả nào là chung? | Đếm các thành phần; trả trước 17 giờ, từ thứ Hai đến thứ Sáu. |
| 9 | Cùng một người xác nhận cả hai đặt chỗ phải không? | Không: Louise cho bộ ảnh, Malik cho bộ âm thanh. |
| 10 | Vào 10 giờ thứ Ba, tôi có thể nhận cả hai bộ tại quầy A không? | Không: bộ ảnh tại A từ 9 giờ đến 12 giờ; bộ âm thanh tại B từ 14 giờ đến 17 giờ. |
| 11 | Hỏi ai để xác nhận bộ? | Hỏi xem đó là bộ ảnh hay bộ âm thanh. |
| 12 | Tôi phải đến quầy nào cho bộ của mình? | Hỏi xem bộ nào được nhắc đến. |
| 13 | Tôi có thể nhận bộ của mình vào 15 giờ thứ Ba không? | Hỏi rõ bộ nào: âm thanh thì được, ảnh thì ngoài khung giờ. |
| 14 | Bộ của tôi phải gồm những gì? | Hỏi xem đó là bộ ảnh hay bộ âm thanh trước khi liệt kê. |
| 15 | Tôi muốn nhận một bộ vào thứ Sáu: gửi trước một ngày có đủ không? | Hỏi rõ bộ nào: đủ thời hạn cho bộ âm thanh, không đủ cho bộ ảnh. |
| 16 | Giá của việc cho mượn là bao nhiêu? | Kho ngữ liệu không đưa ra giá nào. |
| 17 | Hình phạt nào được quy định cho việc trả muộn? | Không có hình phạt nào được ghi nhận; đừng tự bịa ra. |
| 18 | Độ phân giải của máy ảnh là bao nhiêu? | Đặc điểm này không có trong PA. |
| 19 | Người khác có thể nhận thiết bị thay tôi không? | Khả năng nhận thay bởi người khác không được nêu rõ. |
| 20 | Ai thay Louise khi cô ấy vắng mặt? | Không có người thay thế nào được nêu. |
Chốt cấu hình và bắt đầu chỉ với một yêu cầu
Chọn một mô hình và công cụ tương thích, rồi ghi lại phiên bản và giấy phép của chúng. Ghi chú chỉ dẫn, lựa chọn tài liệu và các thiết lập. Trong Transformers, max_new_tokens giới hạn số token mới được tạo ra; việc lấy mẫu ảnh hưởng đến lựa chọn đầu ra. Hãy giữ các tham số này để so sánh các đoạn.
Bộ nhớ cần thiết bao gồm nhiều hơn cả tệp mô hình: dữ liệu làm việc và bộ nhớ đệm sinh cũng chiếm chỗ. Transformers mô tả cụ thể chi phí của bộ nhớ đệm khi ngữ cảnh kéo dài. Hãy bắt đầu với một yêu cầu duy nhất rồi kiểm tra các đầu vào dài nhất.
Tăng đồng thời số người dùng và độ dài câu trả lời sẽ trộn lẫn chất lượng với năng lực. Các mốc 24, 48 hay 80 GB không bảo đảm rằng một mô hình hay nhiều truy vấn sẽ vừa trong đó.
Ví dụ minh họa: hai quy trình, mười sáu câu trả lời được chấp nhận
Giả sử đánh giá hai quy trình PA và PB với bảng tiêu chí ở trên. Một câu trả lời được chấp nhận nếu nó tuân theo nguồn và hành vi mong đợi. Vì vậy, yêu cầu làm rõ cũng có thể là một thành công.
Bảng này chỉ là giả định: không có mô hình nào được chạy để tạo ra nó. Mười sáu trường hợp được chấp nhận trên hai mươi cho ra 80% trong tập hợp cụ thể này, mà không ước lượng độ tin cậy trên các yêu cầu khác. Một quy tắc bịa ra có thể nặng hơn một câu trả lời thiếu sót.
Trong kịch bản này, nhóm trước tiên xem xét việc bịa đặt và các điểm mơ hồ. Một đoạn bị thiếu đòi hỏi phải xem lại lựa chọn của mình; một đoạn có mặt nhưng bị hiểu sai hướng đến chỉ dẫn hoặc mô hình. Nhiều bộ nhớ hơn không tự động sửa được những lỗi này.
| Famille, 5 questions chacune | Acceptées | À examiner |
|---|---|---|
| Thông tin đơn giản | 5 | Không có trong ví dụ này. |
| Liên hệ, đối chiếu | 4 | Một câu trả lời một phần. |
| Yêu cầu mơ hồ | 3 | Một giả định vô căn cứ và một lời từ chối không cần thiết. |
| Thông tin thiếu | 4 | Một quy tắc bịa ra. |
| Tổng cộng | 16 trên 20 | 4 trường hợp không được chấp nhận. |
Giữ một bản ghi giải thích từng phán quyết
Hãy giữ câu trả lời thô, các đoạn được cung cấp, tài liệu tham chiếu, phán quyết và lý do của nó. Phân biệt tài liệu chọn sai, cách hiểu không đúng và hình thức không phù hợp: « mô hình đôi khi sai » không chỉ ra bất kỳ cách sửa nào.
Sau đó đánh giá thời gian thực tế quan sát được và công sức rà soát, tách riêng lần tải ban đầu và các đoạn tiếp theo. Nếu việc sinh thay đổi, hãy lặp lại vài câu hỏi khó và giữ tất cả đầu ra. Chỉ chọn kết quả tốt nhất sẽ che giấu các thất bại; lặp lại cùng một đầu vào không bao quát được mọi tình huống thực tế.
- Mã định danh và cách diễn đạt chính xác của câu hỏi.
- Phiên bản của hồ sơ và các đoạn thực sự được cung cấp.
- Câu trả lời thô và các tài liệu tham chiếu được hiển thị.
- Phán quyết của con người và lý do ngắn gọn.
- Cấu hình của lần thử và các quan sát về thời lượng hoặc bộ nhớ.
Sửa một biến, rồi kiểm tra những gì vốn đã hoạt động
Thay đổi một biến có thể nhận diện được: tài liệu, lựa chọn đoạn, chỉ dẫn hoặc mô hình. Chạy lại các trường hợp thất bại và vài câu hỏi đã được chấp nhận. Một sửa đổi có thể làm hỏng một trường hợp khác; hãy giữ các đầu ra cũ để nhận ra điều đó.
Đừng tinh chỉnh chỉ dẫn cho đến khi nhét hết mọi câu trả lời của bảng vào. Sau đó chuẩn bị vài câu hỏi mới: chúng kiểm tra xem sửa đổi có phục vụ nhu cầu vượt ra ngoài hai mươi cách diễn đạt đã biết hay không. Việc kiểm tra này vẫn chỉ giới hạn trong các điều kiện của chính nó.
Quyết định bước tiếp theo và mang theo hồ sơ kiểm thử
Hãy kết luận trên một phạm vi chính xác: tìm lại một tài liệu tham chiếu, soạn một bản nháp đã rà soát hoặc yêu cầu làm rõ. Hãy nêu tên các trường hợp bị loại. Một cuộc trình diễn thành công không bảo đảm câu trả lời đúng cho toàn bộ doanh nghiệp.
Hãy tiếp tục bằng một lần thử có giám sát, sửa một nguyên nhân cụ thể hoặc dừng lại nếu việc rà soát tốn kém hơn công việc ban đầu. Trước khi chạy nhiều yêu cầu đồng thời, hãy xác nhận luồng xử lý từng yêu cầu và giữ một tập con đã biết để nhận ra các thay đổi.
Lưu lại các tài liệu được phép, tiêu chí, đầu ra, cài đặt và quyết định. Việc thuê cần bao trùm cả đánh giá lẫn khắc phục, vượt ra ngoài khâu tạo sinh. BriefGPU để khách hàng tự chọn công cụ và cách xử lý, không kiểm tra nội dung của chúng; bạn vẫn cần kiểm soát kết quả.