Müfredat 250 dersinden 110. · Neural-Net Sezgisi, LLM'ler ve Yapay Zeka Bitirme Projesi
Neural-Net Sezgisi, LLM'ler ve Yapay Zeka Bitirme Projesi

LLM Nedir?

A large language model (LLM) gibi sohbet asistanlarının arkasındaki yapılar, özünde devasa bir sonraki token tahmincisidir. Birkaç terim her şeyi netleştirir.

  • Tokens. Metin, token adı verilen parçalara, kabaca kelimelere veya kelime parçalarına bölünür. Model ham karakterleri değil, tokenları okur ve yazar. Kaba bir kural: bir token yaklaşık dört İngilizce karakteridir.
  • Prediction. Şu ana kadarki tokenlar göz önüne alındığında, model her olası sonraki token için bir olasılık üretir. Bir tanesini seçer, ekler ve tekrar eder. Bu döngü, tüm paragrafları yazma şeklidir.
  • Prompt. Girdi olarak verdiğin metin. Modelin isteğin hakkında bildiği her şey prompt içinde yer alır, bu yüzden onu nasıl ifade ettiğin çok önemli (sonraki dersler).
  • Temperature. Bu seçimin rastgelelik derecesini belirleyen bir düğme. 0 civarında model neredeyse her zaman en olası tokenı alır (odaklanmış, tekrarlayıcı). Daha yüksek değerler daha az olası tokenları örneklemesine izin verir (daha yaratıcı, daha az güvenilir). Bu kursun bitirme projesindeki gibi yerel modeller hala bu düğmeyi kullanır. En yeni barındırılan Claude modelleri kullanmaz: kendi örneklemelerini ayarlarlar ve bir temperature ayarına hata ile yanıt verirler, bu yüzden çıktıyı prompt üzerinden yönlendirirsin.
  • Hallucination. Bir LLM, gerçekleri kontrol etmek yerine olası metinler tahmin ettiği için yanlış şeyleri tam bir güvenle söyleyebilir. Sana verdiği gerçekleri her zaman doğrula.

Gerçek tokenizerlar alt kelime tabanlıdır ve veriden öğrenilir. Burada onu inşa etmeyeceğiz ama token saymanın nasıl bir his olduğunu anlamak için mümkün olan en basit tokenizerı (boşluklara göre bölme) inşa edebiliriz. Token sayıları, kullanımın ve limitlerin nasıl ölçüldüğünü gösterir.

def tokenize(text):
    return text.split()   # whitespace tokens

tokenize("the cat sat")   # ['the', 'cat', 'sat']

Boşluklara göre ayırmak sadece deneme yanılma yoluyla kullanılan bir yöntemdir. Gerçek tokenizerlar alt kelime parçalarına ayırır, bu yüzden yaygın bir bütçeleme kuralı tokens ≈ len(text) / 4 karakterdir ve üretim kodu tahmin yapmak yerine API'nin döndürdüğü usage alanındaki veya özel bir count-tokens uç noktasındaki tam sayıyı okur.

Akıl yürütme modelleri

Yukarıdakilerin hepsi cevabını doğrudan veren bir modeli tanımlıyor. Daha yeni bir aile olan reasoning modelleri, önce problemi adım adım çözmek için gizli bir "düşünme" token bütçesi harcar, sonra nihai cevabı yazar. Bu ekstra derin düşünme, zor ve çok adımlı görevlerde (matematik, kod, dikkatli planlama) gerçek doğruluk sağlar ve genellikle bir ayar düğmesi sunar: daha yüksek bir çaba veya düşünme bütçesi, daha fazla düşünme tokeni, daha fazla gecikme ve daha fazla maliyet demektir. Mühendislik kararı sadece ne zaman buna değdiğidir: gerçekten zor olan adımda bir reasoning modeline başvurun ve rutin olanlar için hızlı, ucuz bir model kullanın. Kolay istekleri ucuz modele yönlendiren ve sadece zor olanları yükselten maliyet duyarlı bir cascade oluşturduğunuzda, tam olarak bu dengeyi kullanacaksınız.

Senin sıran

Basit bir whitespace tokenizer yaz. tokenize(text), boşlukla ayrılmış token listesini döndürür (.split() kullan). count_tokens(text) kaç tane olduğunu döndürür. Sonra tokens = tokenize(sample) ve n_tokens = count_tokens(sample) değerlerini ayarla.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.