Lo que un modelo aprendió sobre las letras
Por qué importa Nadie le dice a un modelo de lenguaje que la a y la e son vocales. Si sus embeddings las ponen cerca de todos modos, el modelo lo descubrió solo a partir del texto. Es el primer atisbo de "significado" aprendido de los datos.
Para comparar dos embeddings, usa la similitud del coseno: el producto escalar dividido entre las dos longitudes. Vale 1 cuando dos vectores apuntan en la misma dirección, 0 cuando no tienen relación (en ángulo recto), y menos 1 cuando apuntan en sentidos opuestos. Ignora la longitud, que refleja sobre todo lo a menudo que aparece un símbolo.
Vas a mirar dentro del GPT diminuto grabado del curso (el Módulo 13 lo construye). Solo leyó el texto de las lecciones de este curso, un carácter cada vez, con cada carácter como una fila de 64 números.
Predice primero: ¿qué grupo de parejas de caracteres será el más parecido de media: dos vocales, una vocal y una consonante, o dos dígitos?
Palabras y símbolos de esta lección
- embedding
- la fila de números aprendidos que representa a un símbolo
- similitud del coseno
- el producto escalar entre las dos longitudes: 1 misma dirección, 0 sin relación, -1 opuestos
Pon en my_prediction "vowels" (vocales), "mixed" (mezcla) o "digits" (dígitos). Escribe cosine(a, b) y nearest(ch, k) (los k otros caracteres con el coseno más alto respecto a ch, el mejor primero). Luego rellena group con el coseno medio sobre todas las parejas de caracteres distintos dentro de cada grupo.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.