Temario Lección 136 de 246 · Módulo 12: Palabras como números (embeddings)
Módulo 12: Palabras como números (embeddings)

Tokens: fusionar las parejas más comunes

Por qué importa Los modelos reales no leen caracteres ni palabras enteras. Leen tokens, piezas intermedias, creadas con una regla sencilla de contar. Por eso un modelo "ve" una palabra común como una sola pieza y una rara como varias.

La codificación por pares de bytes (BPE) empieza con caracteres sueltos y repite un paso: encuentra la pareja de símbolos vecinos que más aparece en el texto, y pégala en un solo símbolo nuevo en todas partes.

Ejemplo diminuto

Las palabras "low" (5 veces) y "lot" (2 veces). Parejas: l o aparece 7 veces, o w 5, o t 2. Fusiona l o: ahora "lo w" y "lo t". Después, lo w aparece 5 veces: fusiónala, y "low" es un solo token.

Los tokenizadores reales añaden dos cosas que esta lección deja fuera. Empiezan con bytes en vez de con caracteres, así que cualquier texto en cualquier idioma, emoji incluidos, se puede escribir con un inicio de 256 símbolos. Y marcan dónde empiezan las palabras (GPT-2 pega el espacio delante de la palabra siguiente), así que una pieza al principio de una palabra y las mismas letras dentro de una palabra se convierten en tokens distintos. Los caracteres por palabra son el coste de leer carácter a carácter. Los tokens por palabra bajan a medida que se añaden fusiones: pasos menos numerosos y más grandes para el modelo, a cambio de un vocabulario más grande.

Palabras y símbolos de esta lección
token, BPE
una pieza de texto que lee el modelo; la codificación por pares de bytes pega la pareja vecina más común, una y otra vez
Tu turno

Escribe pair_counts(vocab) (cuántas veces aparece cada pareja vecina, ponderado por la cuenta de cada palabra) y merge(vocab, pair) (pega esa pareja en todas partes). Adivina my_guess, los tokens por palabra después de 200 fusiones (empieza en unos 4.6). El bucle ya está escrito.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.