Un embedding es una búsqueda, y una búsqueda es una multiplicación
Por qué importa Una red solo hace aritmética, pero el texto está hecho de símbolos. Todos los modelos de lenguaje empiezan convirtiendo cada símbolo en una lista corta de números, su embedding.
Dale a cada símbolo un número de 0 a V menos 1 (su id). La tabla de embeddings E tiene una fila por símbolo, de d números cada una. Convertir un id en números es simplemente leer su fila: E[id].
Por qué sigue siendo una capa
Escribe el id como un vector one-hot: V ceros con un solo 1 en la posición id. Entonces one-hot por E elige exactamente esa fila. Así que un embedding es una capa lineal cuya entrada resulta ser one-hot. Hacemos la búsqueda en su lugar porque se ahorra V por d multiplicaciones por cero.
También te dice cómo entrena: el gradiente solo llega a las filas que se usaron. Un símbolo que nunca aparece en un lote mantiene su fila sin cambios.
Números diminutos
V = 3, d = 2, E = [[1, 2], [3, 4], [5, 6]]. El id 1 como one-hot es [0, 1, 0], y [0, 1, 0] por E = [3, 4], lo mismo que E[1].
Palabras y símbolos de esta lección
- embedding
- la fila de números aprendidos que representa a un símbolo
- one-hot
- V ceros con un solo 1; multiplicado por la tabla, elige una fila
Escribe onehot(ids, V) que devuelva un array de forma (len(ids), V). Luego pon en rows_with_gradient el número de filas de la tabla de embeddings que reciben un gradiente distinto de cero después de la pasada hacia atrás que se muestra.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.