Müfredat 250 dersinden 109. · Neural-Net Sezgisi, LLM'ler ve Yapay Zeka Bitirme Projesi
Neural-Net Sezgisi, LLM'ler ve Yapay Zeka Bitirme Projesi

İzle: Metinler Nasıl Sayılara Dönüşür

Bir LLM isteminle bir şey yapmadan önce, metnini sayılara dönüştürmek zorundadır çünkü bir neural network sadece sayılar üzerinde matematik yapar. Bunu yapan adım tokenization'dir.

Oynat tuşuna bas. Tek bir kelimenin tokens (sık kullanılan metin parçaları, genellikle alt kelimeler, tam kelimeler değil) parçalarına ayrılışını ve her bir tokenun modelin kelime dağarcığından bir integer id haline dönüşmesini izle. Bundan sonra model bir daha asla harf görmez, sadece bir id listesi görür.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.