Pilih tugas, penerima, dan batasannya
Pilih tindakan yang dikenal tim Anda: menemukan prosedur, merangkum laporan, atau menyiapkan draf. Hasil pertama bisa berupa tabel yang memuat setiap pertanyaan, jawaban mentah, sumber yang diharapkan, dan penilaian manusia.
Tentukan perilaku ketika informasi tidak tersedia: meminta klarifikasi atau menandakan ketiadaan. Tunjuk seseorang yang menguasai bidangnya dan akan memutuskan penerimaan. Jika tidak ada yang dapat memverifikasi jawaban, pengujian tidak dapat menyimpulkan secara berguna.
Stabilkan dokumen sebelum memilih pertanyaan
Siapkan dokumen yang diperlukan dan diizinkan. Hapus duplikat, identifikasi versi yang berlaku, dan temukan kontradiksinya. Beri identitas pada setiap dokumen dan catat lokasi bagian yang diharapkan.
Transformers membedakan jawaban yang diekstrak dari konteks dan jawaban yang dihasilkan dari konteks tersebut. Dalam kedua kasus, periksa bahwa bagian yang benar benar-benar telah disediakan. Menempatkan berkas dalam folder tidak berarti perangkat lunak telah membaca atau memilih semuanya dengan benar.
Korpus fiktif dan dua puluh pertanyaan siap diuji
Latihan fiktif untuk lokakarya peminjaman peralatan: PA dan PB adalah satu-satunya sumber, tidak berkaitan dengan layanan BriefGPU. Berikan keduanya kepada asisten dan ajukan setiap pertanyaan tanpa memberinya jawaban yang diharapkan.
PA — Kit foto. Kirim formulir setidaknya dua hari kalender sebelum pengambilan, dengan nama depan, tanggal pengambilan, dan tanggal pengembalian. Louise mengonfirmasi reservasi. Kit berisi satu perangkat dan dua baterai. Pengambilan dan pengembalian di konter A, Senin sampai Jumat: pengambilan dari pukul 9.00 hingga 12.00, pengembalian sebelum pukul 17.00. Petugas menghitung item saat pengembalian.
PB — Kit audio. Kirim formulir setidaknya satu hari kalender sebelum pengambilan, dengan nama depan, tanggal pengambilan, dan tanggal pengembalian. Malik mengonfirmasi reservasi. Kit berisi satu mikrofon dan satu headset. Pengambilan dan pengembalian di konter B, Senin sampai Jumat: pengambilan pukul 14.00–17.00, pengembalian sebelum pukul 17.00. Petugas menghitung item saat pengembalian.
Pertanyaan 1 sampai 5 berkaitan dengan fakta, 6 sampai 10 membandingkan prosedur, 11 sampai 15 memerlukan klarifikasi, dan 16 sampai 20 berkaitan dengan informasi yang tidak tersedia. Terima parafrase yang setia. Koreksi manusia atas keluaran tidak dihitung sebagai keberhasilan model.
| N° | Pertanyaan yang diajukan | Jawaban atau perilaku yang diharapkan |
|---|---|---|
| 1 | Siapa yang mengonfirmasi kit foto? | Louise, menurut PA. |
| 2 | Apa isi kit foto? | Satu kamera dan dua baterai, menurut PA. |
| 3 | Di mana kit audio diambil? | Di konter B, menurut PB. |
| 4 | Pukul berapa kit audio harus dikembalikan? | Sebelum pukul 17.00, Senin sampai Jumat, sesuai PB. |
| 5 | Kolom apa saja yang harus diisi untuk memesan kit foto? | Nama depan, tanggal pengambilan, dan tanggal pengembalian, menurut PA. |
| 6 | Apakah kedua formulir meminta informasi yang sama? | Ya: nama depan serta tanggal pengambilan dan pengembalian, dalam PA dan PB. |
| 7 | Kit mana yang memerlukan pengajuan lebih awal? | Kit foto: dua hari kalender, sedangkan audio satu hari. |
| 8 | Pemeriksaan dan jam pengembalian apa yang sama? | Penghitungan item; pengembalian sebelum pukul 17.00, Senin sampai Jumat. |
| 9 | Apakah orang yang sama mengonfirmasi kedua reservasi? | Tidak: Louise untuk foto, Malik untuk audio. |
| 10 | Pada hari Selasa pukul 10.00, dapatkah saya mengambil kedua kit di konter A? | Tidak: foto di A dari pukul 9.00 hingga 12.00; audio di B dari pukul 14.00 hingga 17.00. |
| 11 | Kepada siapa saya harus meminta konfirmasi kit? | Tanyakan apakah itu kit foto atau audio. |
| 12 | Ke konter mana saya harus pergi untuk kit saya? | Tanyakan kit mana yang dimaksud. |
| 13 | Dapatkah saya mengambil kit saya hari Selasa pukul 15.00? | Tanyakan kitnya: audio bisa, foto di luar jadwal. |
| 14 | Apa isi kit saya? | Tanyakan apakah itu kit foto atau audio sebelum menyebutkan isinya. |
| 15 | Saya ingin mengambil kit hari Jumat: apakah mengajukan satu hari sebelumnya cukup? | Tanyakan kitnya: waktu cukup untuk audio, kurang untuk foto. |
| 16 | Berapa harga peminjaman? | Korpus tidak memberikan harga apa pun. |
| 17 | Apa sanksi yang berlaku untuk pengembalian yang terlambat? | Tidak ada sanksi yang didokumentasikan; jangan mengarang. |
| 18 | Berapa resolusi kameranya? | Karakteristik ini tidak ada dalam PA. |
| 19 | Bisakah orang lain mengambil perangkat atas nama saya? | Kemungkinan pengambilan oleh pihak ketiga tidak disebutkan. |
| 20 | Siapa yang menggantikan Louise saat dia tidak hadir? | Tidak ada pengganti yang disebutkan. |
Tetapkan konfigurasi dan mulai dengan satu permintaan
Pilih model dan alat yang kompatibel, lalu catat versi dan lisensinya. Catat perintah, pemilihan dokumen, dan pengaturannya. Di Transformers, max_new_tokens membatasi jumlah token baru yang dihasilkan; pengambilan sampel memengaruhi pemilihan keluaran. Simpan parameter ini untuk membandingkan hasil.
Memori yang dibutuhkan mencakup lebih dari sekadar file model: data kerja dan cache generasi juga memakan tempat. Transformers secara khusus menjelaskan biaya cache ketika konteks memanjang. Mulailah dengan satu permintaan, lalu periksa masukan yang paling panjang.
Meningkatkan jumlah pengguna dan panjang jawaban secara bersamaan akan mencampuradukkan kualitas dan kapasitas. Patokan 24, 48, atau 80 GB tidak menjamin bahwa sebuah model atau beberapa permintaan akan muat di dalamnya.
Contoh terperinci: dua prosedur, enam belas jawaban yang diterima
Misalkan sebuah evaluasi atas dua prosedur PA dan PB dengan kisi di atas. Sebuah jawaban diterima jika sesuai dengan sumber dan perilaku yang diharapkan. Meminta klarifikasi bisa jadi merupakan keberhasilan.
Tabel ini hipotetis: tidak ada model yang dijalankan untuk menghasilkannya. Enam belas kasus yang diterima dari dua puluh menghasilkan 80% pada himpunan khusus ini, tanpa memperkirakan keandalan pada permintaan lain. Aturan yang dikarang bisa lebih berbobot daripada jawaban yang tidak lengkap.
Dalam skenario ini, tim terlebih dahulu memeriksa karangan dan ambiguitas. Bagian yang tidak ada menuntut peninjauan kembali pemilihannya; bagian yang ada tetapi salah ditafsirkan mengarah pada perintah atau model. Memori yang lebih banyak tidak otomatis memperbaiki kesalahan ini.
| Keluarga, masing-masing 5 pertanyaan | Diterima | Perlu ditinjau |
|---|---|---|
| Informasi sederhana | 5 | Tidak ada dalam contoh ini. |
| Penjajaran | 4 | Satu jawaban sebagian. |
| Permintaan ambigu | 3 | Satu asumsi yang tidak berdasar dan satu penolakan yang tidak perlu. |
| Informasi yang tidak ada | 4 | Satu aturan yang dikarang. |
| Total | 16 dari 20 | 4 kasus tidak diterima. |
Simpan jejak yang menjelaskan setiap putusan
Simpan jawaban mentah, bagian yang disediakan, referensi, putusan, dan alasannya. Bedakan antara dokumen yang salah dipilih, interpretasi yang keliru, dan bentuk yang tidak sesuai: «model terkadang salah» tidak menunjukkan koreksi apa pun.
Selanjutnya nilai waktu yang teramati dan upaya peninjauan, dengan memisahkan pemuatan awal dan hasil berikutnya. Jika generasi bervariasi, ulangi beberapa pertanyaan sulit dan simpan semua keluaran. Memilih hanya yang terbaik akan menyembunyikan kegagalan; mengulangi masukan yang sama tidak mencakup semua situasi nyata.
- Pengenal dan rumusan pertanyaan yang tepat.
- Versi berkas dan bagian yang benar-benar disediakan.
- Jawaban mentah dan referensi yang ditampilkan.
- Putusan manusia dan justifikasi singkat.
- Konfigurasi pengujian dan pengamatan durasi atau memori.
Perbaiki satu variabel, lalu periksa apa yang sudah berfungsi
Ubah satu variabel yang dapat diidentifikasi: dokumen, pemilihan bagian, perintah, atau model. Jalankan ulang kegagalan dan beberapa pertanyaan yang sudah diterima. Sebuah perbaikan bisa menurunkan kasus lain; simpan keluaran lama untuk melihatnya.
Jangan menyetel perintah sampai mencakup semua jawaban di kisi. Selanjutnya siapkan beberapa pertanyaan baru: pertanyaan ini memeriksa apakah perbaikan melayani kebutuhan di luar dua puluh rumusan yang sudah dikenal. Pemeriksaan ini tetap terbatas pada kondisinya sendiri.
Putuskan langkah selanjutnya dan bawa berkas pengujian
Simpulkan pada cakupan yang tepat: menemukan referensi, menyiapkan draf yang ditinjau, atau meminta klarifikasi. Sebutkan kasus yang dikecualikan. Demonstrasi yang berhasil tidak menjamin jawaban yang benar untuk seluruh perusahaan.
Lanjutkan dengan uji coba terawasi, perbaiki satu penyebab yang tepat, atau hentikan jika peninjauan lebih mahal daripada pekerjaan awal. Sebelum beberapa permintaan simultan, validasi alur individual dan simpan subset yang dikenal untuk mengamati perubahan.
Simpan dokumen yang diizinkan, kisi, hasil, parameter, dan keputusan. Penyewaan harus mencakup evaluasi dan pemulihan, di luar pembuatan. BriefGPU menyerahkan pilihan alat dan pemrosesan kepada klien, tanpa memeriksa isinya; kontrol Anda atas hasil tetap diperlukan.