Tokens: fusionar las parejas más comunes
Por qué importa Los modelos reales no leen caracteres ni palabras enteras. Leen tokens, piezas intermedias, creadas con una regla sencilla de contar. Por eso un modelo "ve" una palabra común como una sola pieza y una rara como varias.
La codificación por pares de bytes (BPE) empieza con caracteres sueltos y repite un paso: encuentra la pareja de símbolos vecinos que más aparece en el texto, y pégala en un solo símbolo nuevo en todas partes.
Ejemplo diminuto
Las palabras "low" (5 veces) y "lot" (2 veces). Parejas: l o aparece 7 veces, o w 5, o t 2. Fusiona l o: ahora "lo w" y "lo t". Después, lo w aparece 5 veces: fusiónala, y "low" es un solo token.
Los tokenizadores reales añaden dos cosas que esta lección deja fuera. Empiezan con bytes en vez de con caracteres, así que cualquier texto en cualquier idioma, emoji incluidos, se puede escribir con un inicio de 256 símbolos. Y marcan dónde empiezan las palabras (GPT-2 pega el espacio delante de la palabra siguiente), así que una pieza al principio de una palabra y las mismas letras dentro de una palabra se convierten en tokens distintos. Los caracteres por palabra son el coste de leer carácter a carácter. Los tokens por palabra bajan a medida que se añaden fusiones: pasos menos numerosos y más grandes para el modelo, a cambio de un vocabulario más grande.
Palabras y símbolos de esta lección
- token, BPE
- una pieza de texto que lee el modelo; la codificación por pares de bytes pega la pareja vecina más común, una y otra vez
Escribe pair_counts(vocab) (cuántas veces aparece cada pareja vecina, ponderado por la cuenta de cada palabra) y merge(vocab, pair) (pega esa pareja en todas partes). Adivina my_guess, los tokens por palabra después de 200 fusiones (empieza en unos 4.6). El bucle ya está escrito.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.