Temario Lección 134 de 246 · Módulo 12: Palabras como números (embeddings)
Módulo 12: Palabras como números (embeddings)

Un embedding es una búsqueda, y una búsqueda es una multiplicación

Por qué importa Una red solo hace aritmética, pero el texto está hecho de símbolos. Todos los modelos de lenguaje empiezan convirtiendo cada símbolo en una lista corta de números, su embedding.

Dale a cada símbolo un número de 0 a V menos 1 (su id). La tabla de embeddings E tiene una fila por símbolo, de d números cada una. Convertir un id en números es simplemente leer su fila: E[id].

Por qué sigue siendo una capa

Escribe el id como un vector one-hot: V ceros con un solo 1 en la posición id. Entonces one-hot por E elige exactamente esa fila. Así que un embedding es una capa lineal cuya entrada resulta ser one-hot. Hacemos la búsqueda en su lugar porque se ahorra V por d multiplicaciones por cero.

También te dice cómo entrena: el gradiente solo llega a las filas que se usaron. Un símbolo que nunca aparece en un lote mantiene su fila sin cambios.

Números diminutos

V = 3, d = 2, E = [[1, 2], [3, 4], [5, 6]]. El id 1 como one-hot es [0, 1, 0], y [0, 1, 0] por E = [3, 4], lo mismo que E[1].

Palabras y símbolos de esta lección
embedding
la fila de números aprendidos que representa a un símbolo
one-hot
V ceros con un solo 1; multiplicado por la tabla, elige una fila
Tu turno

Escribe onehot(ids, V) que devuelva un array de forma (len(ids), V). Luego pon en rows_with_gradient el número de filas de la tabla de embeddings que reciben un gradiente distinto de cero después de la pasada hacia atrás que se muestra.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.