Bir Talimat Ayarlama Veri Kümesi Hazırlama
Bu modülün neler yapıp neler yapamayacağı konusunda dürüst olalım. Bir modeli ince ayar yapmak bir GPU işidir.Bir temel model alırsın, ona binlerce örnek çifti gösterirsin ve ağırlıklarını değiştirmek için gradient descent çalıştırırsın. Bu bir eğitim döngüsü, bir GPU ve saatlerce hesaplama gerektirir. Bunların hiçbiri bu tarayıcı sandbox içinde çalışmaz (hiç torch, GPU veya ağ yok). Bu yüzden başka bir şeymiş gibi davranmayacağız.
Öğreteceğimiz şey, bir yapay zeka mühendisinin vaktinin çoğunu gerçekten harcadığı ve pahalı GPU çalışmasının iyi bir şey üretip üretmeyeceğini belirleyen kısım: veri seti. Alandaki ünlü bir sonuç (LIMA, "Less Is More for Alignment"), özenle seçilmiş yaklaşık 1.000 örneğin, çok daha büyük ve gürültülü bir yığından daha iyi sonuç verdiğini gösterdi. Çöp girerse çöp çıkar burada bir slogan değil, oyunun tamamıdır. GPU'yu besleyen veri setini sen oluşturursun.
Bir instruction-tuning kaydı sadece küçük bir dict'tir. Yaygın yapı şöyledir: bir instruction (kullanıcının istediği şey), isteğe bağlı bir input (ek bağlam) ve altın output (iyi bir modelin cevaplaması gereken şey):
{"instruction": "Summarize this review in one sentence.",
"input": "The battery lasts forever but the screen is dim.",
"output": "Great battery life, but the screen is too dim."}Bunun herhangi biri bir eğitmene ulaşmadan önce onu temizlemelisin. Gerçek dışa aktarımlar eksik output içeren satırlar, sadece boşluktan oluşan boş instruction, string beklenirken yanlış tip ve işlem gücü israf eden, modeli tekrarlanan örneklere doğru saptıran tam kopyalarla doludur. Senin görevin deterministik bir filtredir.
İki fonksiyon oluştur.
validate_pair(example)->Truesadeceexamplebir dict ise VEinstructionVEoutput.strip()sonrası boş olmayan stringler ise çalışır. Diğer her durumda (eksik anahtar, string olmayan, boş veya sadece boşluk içeren)Falsedöner. Eksik birinputsorun olmaz, o isteğe bağlıdır.clean_dataset(rows)-> her geçersiz çifti at, sonra tam kopyaları (temizlendikten sonra aynıinstruction, aynıinput, aynıoutput) at, sadece İLK oluşu tut.{"kept": [...], "stats": {"input", "kept", "dropped_invalid", "dropped_duplicate"}}. döndür.
Geçersiz bir satır dropped_invalid sayılır; geçerli ama tekrar eden bir satır dropped_duplicate sayılır. Sayılar birbirini tutmalı: input == kept + dropped_invalid + dropped_duplicate.
Gerçek bir boru hattında temizlenen satırlar tokenize edilir ve bir eğiticiye aktarılır. Bu adım burada sadece kavramsal, ancak veri kümenin beslediği alanı bilmek değerlidir. Tam ince ayar modeldeki her ağırlığı günceller: en doğru, en pahalı ve modelin tamamen yeni bir kopyasını üretir. LoRA / PEFT (parametre verimli ince ayar) temel modeli dondurur ve sadece üzerine binen küçük düşük dereceli adaptörleri eğitir, böylece çalışma tek bir GPU'ya sığar ve ortak bir temel üzerinde adaptörleri çıkarıp takabilirsin. Düz denetimli ince ayarın ötesinde tercih ayarı vardır, bu da altın cevaplar yerine insan tercihlerinden ton ve güvenliği hizalar: DPO (Doğrudan Tercih Optimizasyonu) seçilen-reddedilen cevap çiftleri üzerinde doğrudan eğitilir ve eski RLHF/PPO ödül modeli döngüsüne göre daha basit, daha kararlı bir alternatiftir. Küçük dağınık bir veri kümesini temizlemek ve istatistikleri yazdırmak için Run tuşuna bas.
validate_pair(example) yaz, sadece example bir dict ise ve instruction ile output ikisi de (.strip() sonrası) boş olmayan stringlerse True döndür; diğer her durumda False döndür (eksik input olabilir). Sonra geçersiz çiftleri ve tam kopyaları (aynı temizlenmiş talimat/girdi/çıktı, ilkini tutarak) atan clean_dataset(rows) yaz, {"kept": [...], "stats": {"input", "kept", "dropped_invalid", "dropped_duplicate"}} döndür.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.