Müfredat 250 dersinden 107. · Neural-Net Sezgisi, LLM'ler ve Yapay Zeka Bitirme Projesi
Neural-Net Sezgisi, LLM'ler ve Yapay Zeka Bitirme Projesi

Sıfırdan Self-Attention

Bir nöron ve bir ileri geçiş kurdun. Şimdi düz sinir ağlarını transformer'lara, oradan da her sohbet asistanının arkasındaki LLM'lere çeviren tek fikri kuracaksın: öz dikkat. Bir avuç matris çarpımıdır, ve hepsini numpy'da yapabilirsin.

Sezgi

Bir cümledeki her kelimenin diğer kelimelerden bilgi toplamak istediğini hayal et. Öz dikkat her konuma üç vektör verir:

  • Bir sorgu (Q): bu konumun aradığı şey.
  • Bir anahtar (K): her konumun sunduğu, eşleştirme için kullanılan şey.
  • Bir değer (V): her konumun taşıdığı asıl bilgi.

Bir konum, her diğer konumu ne kadar dinleyeceğine karar vermek için sorgusunu her anahtarla karşılaştırır, sonra o miktarları kullanarak değerlerin ağırlıklı bir karışımını alır. Güçlü eşleşme -> büyük ağırlık -> o değer daha çok katkı yapar. Bütün mekanizma bu: sorgular anahtarlara dikkat eder, ve cevap değerlerin ağırlıklı bir harmanıdır.

Matematik: ölçeklenmiş iç çarpım dikkati

Bir sorgu ile bir anahtar arasındaki eşleşme puanı onların iç çarpımıdır (aynı yönü gösterdiklerinde daha büyük). Bütün sorguları bir Q matrisine ve bütün anahtarları K'ya yığ, ve her puan bir anda Q @ K.T olur. Vektörler uzadıkça puanlar patlamasın diye sqrt(d_k)'ye (anahtar boyutu) böleriz:

scores = Q @ K.T / np.sqrt(d_k)

Neden bölüyoruz? Bir iç çarpım boyutla büyür. d_k 64 ve girdiler 1 civarındaysa ham puanlar 64 civarına düşer, ve bu kadar büyük sayılar softmax'i tek bir anahtara iter ve gradyanı düzleştirir. sqrt(d_k)'ye, burada sqrt(64) = 8'e bölmek, puanları makul bir aralığa geri çeker, böylece dikkat yumuşak ve eğitilebilir kalır. Aşağıda çalıştırdığın küçük d_k = 1 örneğinde bölen yalnızca 1'dir, bu yüzden etkisini görmeyeceksin, ama gerçek model boyutlarında vazgeçilmezdir.

scores'un her satırı bir sorgunun her anahtara karşı puanlarını tutar. Son eksen üzerinde bir softmax ile her satırı pozitif ve toplamı 1 olan ağırlıklara çeviririz:

weights = softmax(scores, axis=-1)   # each row sums to 1

Softmax üs alır ve normalleştirir. Saf bir şekilde yapılırsa büyük bir puanın np.exp'i inf'e taşar ve ağırlıklar nan olarak çıkar. Çözüm standart sayısal olarak kararlı numaradır: üs almadan önce her satırın maksimumunu çıkar. Bu sonucu matematiksel olarak değiştirmez (aynı sabit pay ve paydada sadeleşir), ama her üssü <= 0 tutar:

def softmax(x):
    x = x - x.max(axis=-1, keepdims=True)   # stability: largest exponent is now 0
    e = np.exp(x)
    return e / e.sum(axis=-1, keepdims=True)

Son olarak, her sorgunun çıktısı ağırlıklarının değerlere uygulanmasıdır, ki bu bir matris çarpımı daha:

output = weights @ V

Hepsi bir araya geldiğinde ünlü formül yalnızca softmax(Q @ K.T / sqrt(d_k)) @ V'dir. Q (n, d_k), K (m, d_k) ve V (m, d_v) ise, weights (n, m) ve output (n, d_v)'dir: sorgu başına bir çıktı vektörü, her biri değer satırlarının bir harmanı.

Bütün transformer numarası bu

Gerçek bir transformer tek bir dikkat hesaplamasında durmaz. Çok kafalı dikkat bunlardan birkaçını paralel çalıştırır (her kafa kendi Q, K, V izdüşümlerini öğrenir, böylece farklı kafalar farklı şeylere dikkat eder) ve sonuçları birleştirir. Bir transformer bloğu sonra dikkati küçük bir ileri beslemeli ağ ve bir artık bağlantıyla üst üste koyar, ve bir model bu bloklardan düzinelercesini üst üste koyar. Ama her birinin atan kalbi tam olarak yazmak üzere olduğun fonksiyondur: puanlar, kararlı softmax, değerlerin ağırlıklı toplamı. Bunu kur ve bir LLM'in isteme "dikkat ettiğinde" tekrarladığı çekirdek işlemi anlarsın.

Dürüst bir uyarı: burada Q, K ve V sana sabit diziler olarak veriliyor. Gerçek bir modelde verilmezler, her token'ın gömmesi üç öğrenilmiş ağırlık matrisiyle, W_q, W_k ve W_v ile çarpılarak üretilirler. Bu matrisler, ve her bloktakiler, tam olarak eğitimin son dersteki gradyan inişini kullanarak ayarladığı şeylerdir. Yani burada kurduğun şey her transformer'da aynı olan dikkatin sabit çekirdeğidir; öğrenme onu besleyen izdüşümlerde yaşar.

Dikkatin küçük bir Q/K/V'yi bir çıktıya çevirdiğini görmek ve kimin kime dikkat ettiğini okuyabilmen için ağırlık matrisini yazdırmak üzere Çalıştır'a bas.

Senin sıran

Numpy ile ölçekli nokta çarpım dikkat mekanizmasını uygula. (output, weights) döndüren attention(Q, K, V) yaz. Q'nin son boyutu olan d_k'de scores = Q @ K.T / np.sqrt(d_k) hesapla; son eksen üzerinde numerically stable softmax uygula (np.exp öncesinde her satırın maksimumunu çıkar) ve satırları 1'e eşit olan weights elde et; sonra output = weights @ V. Önce output, sonra weights matrisini döndür. Ardından sağlanan diziler için out, w = attention(Q, K, V) ayarla.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.