Asistanınızın neler yapabileceğine karar vermek için yirmi soru.

Bir görev, bir muhatap ve bir sınır seçmek

Ekibinizin bildiği bir eylem belirleyin: bir prosedürü bulmak, bir tutanağı özetlemek veya bir taslak hazırlamak. İlk çıktı, her soruyu, ham yanıtı, beklenen kaynağı ve insan kararını bir araya getiren bir tablo olabilir.

Bilgi eksik olduğunda davranışı tanımlayın: bir açıklama istemek ya da bir eksikliği bildirmek. Alanı bilen ve kabul kararını verecek bir kişi belirleyin. Yanıtları kimse doğrulayamıyorsa test anlamlı bir sonuç vermez.

Soruları seçmeden önce belgeleri sabitlemek

Gerekli ve izinli belgeleri hazırlayın. Yinelenenleri çıkarın, yürürlükteki sürümleri belirleyin ve çelişkileri tespit edin. Her belgeye bir tanımlayıcı verin ve beklenen pasajların konumunu saklayın.

Transformers, bağlamdan çıkarılan yanıtı bağlama dayanarak üretilen yanıttan ayırt eder. Her iki durumda da doğru pasajın gerçekten sağlanıp sağlanmadığını kontrol edin. Dosyaları bir klasöre koymak, yazılımın hepsini okuduğu veya doğru seçtiği anlamına gelmez.

Kurgusal bir derlem ve test etmeye hazır yirmi soru

Bir ekipman ödünç verme atölyesi için kurgusal alıştırma: PA ve PB tek kaynaklardır ve BriefGPU hizmetleriyle ilgisi yoktur. Bunları asistana verin ve her soruyu, beklenen yanıtları vermeden sorun.

PA — Fotoğraf kiti. Formu, teslimden en az iki takvim günü önce ad, teslim tarihi ve iade tarihiyle birlikte gönderin. Louise rezervasyonu onaylar. Kit bir cihaz ve iki pil içerir. Teslim ve iade A gişesinden, pazartesiden cumaya: teslim 9.00-12.00, iade 17.00'den önce. Personel, iade sırasında parçaları sayar.

PB — Ses kiti. Formu, teslimden en az bir takvim günü önce ad, teslim tarihi ve iade tarihiyle birlikte gönderin. Malik rezervasyonu onaylar. Kit bir mikrofon ve bir kulaklık içerir. Teslim ve iade B gişesinden, pazartesiden cumaya: teslim 14.00-17.00, iade 17.00'den önce. Personel, iade sırasında parçaları sayar.

1 ila 5. sorular bir olguya, 6 ila 10. sorular prosedürleri karşılaştırmaya, 11 ila 15. sorular bir açıklama gerektirmeye ve 16 ila 20. sorular eksik bir bilgiye yöneliktir. Sadık bir yeniden ifadeyi kabul edin. Çıktının insan tarafından düzeltilmesi, modelin başarısı sayılmaz.

Yapılandırmayı belirleyin ve tek bir taleple başlayın

Uyumlu bir model ve araç seçin, ardından sürümlerini ve lisanslarını not edin. İstem talimatını, belge seçimini ve ayarları kaydedin. Transformers'ta max_new_tokens üretilen yeni token'ları sınırlar; örnekleme çıktı seçimini etkiler. Bu parametreleri, çalıştırmaları karşılaştırmak için saklayın.

Gereken bellek, model dosyasından fazlasını kapsar: çalışma verileri ve üretim önbelleği de yer kaplar. Transformers özellikle bağlam uzadıkça önbelleğin maliyetini açıklar. Tek bir taleple başlayın, ardından en uzun girişleri kontrol edin.

Kullanıcı sayısını ve yanıt uzunluğunu aynı anda artırmak, kalite ile kapasiteyi birbirine karıştırırdı. 24, 48 veya 80 GB gibi referanslar, bir modelin ya da birden fazla isteğin sığacağını garanti etmez.

İşlenmiş örnek: iki prosedür, on altı kabul edilen yanıt

Yukarıdaki tabloyla PA ve PB prosedürlerinin değerlendirildiğini varsayalım. Bir yanıt, kaynağa ve beklenen davranışa uyuyorsa kabul edilir. Bu nedenle bir açıklama istemek de başarı sayılabilir.

Tablo varsayımsaldır: üretmek için hiçbir model çalıştırılmamıştır. Yirmi vakadan kabul edilen on altı vaka, bu özel kümede %80 verir; bu, diğer taleplerdeki güvenilirliği tahmin etmez. Uydurulmuş bir kural, eksik bir yanıttan daha ağır basabilir.

Bu senaryoda ekip önce uydurma ve belirsizlikleri inceler. Eksik bir pasaj, seçiminin gözden geçirilmesini gerektirir; mevcut ama yanlış yorumlanmış bir pasaj ise istem talimatına veya modele işaret eder. Daha fazla bellek bu hataları otomatik olarak düzeltmez.

Her kararı açıklayan bir kayıt tutun

Ham yanıtı, sağlanan pasajları, referansları, kararı ve gerekçesini saklayın. Yanlış seçilmiş belgeyi, hatalı yorumu ve uygunsuz biçimi birbirinden ayırın: « model bazen yanılıyor » hiçbir düzeltmeyi belirtmez.

Ardından gözlemlenen süreyi ve yeniden inceleme eforunu değerlendirin; ilk yüklemeyi ve sonraki çalıştırmaları ayrı tutun. Üretim değişkense birkaç zor soruyu tekrarlayın ve tüm çıktıları saklayın. Sadece en iyisini seçmek başarısızlıkları gizler; aynı girişleri yinelemek tüm gerçek durumları kapsamaz.

• Sorunun tanımlayıcısı ve tam ifadesi.
• Dosyanın sürümü ve gerçekten sağlanan pasajlar.
• Ham yanıt ve görüntülenen referanslar.
• İnsan kararı ve kısa gerekçesi.
• Denemenin yapılandırması ve süre veya bellek gözlemleri.

Bir değişkeni düzeltin, ardından zaten çalışanı kontrol edin

Belirlenebilir tek bir değişkeni değiştirin: belge, pasaj seçimi, istem talimatı veya model. Başarısızlıkları ve zaten kabul edilmiş birkaç soruyu yeniden oynatın. Bir düzeltme başka bir vakayı bozabilir; bunu görmek için eski çıktıları saklayın.

İstem talimatını, tablodaki tüm yanıtları içerecek şekilde ayarlamayın. Ardından birkaç yeni soru hazırlayın: bunlar, düzeltmenin bilinen yirmi ifadenin ötesinde ihtiyaca hizmet edip etmediğini kontrol eder. Bu kontrol kendi koşullarıyla sınırlı kalır.

Devam kararını verin ve test dosyasını yanınıza alın

Kesin bir kapsam üzerinde sonuca varın: bir referansı bulmak, gözden geçirilmiş bir taslak hazırlamak veya bir açıklama istemek. Hariç tutulan vakaları adlandırın. Başarılı bir gösterim, tüm şirket için doğru yanıtları garanti etmez.

Gözetimli bir denemeyle devam edin, belirli bir nedeni düzeltin veya yeniden inceleme başlangıçtaki işten daha pahalıya geliyorsa durun. Birden fazla eşzamanlı talepten önce bireysel akışı doğrulayın ve değişiklikleri gözlemlemek için bilinen bir alt küme saklayın.

Yetkili belgeleri, çizelgeyi, çıktıları, ayarları ve kararı saklayın. Kiralama, üretimin ötesinde değerlendirmeyi ve kurtarmayı da kapsamalıdır. BriefGPU araç ve işlem seçimini müşteriye bırakır, içeriklerini denetlemez; sonuçlar üzerindeki kontrolünüz yine de gereklidir.