Assista: Pesos de Atenção
Você acabou de implementar scaled dot-product attention. Aqui está o que essas matrizes realmente do. Attention deixa cada palavra olhar para cada palavra na frase (incluindo ela mesma), pontuar o quanto cada uma importa e reconstruir a si mesma como uma weighted blend delas.
Dê o play. Observe a palavra sat atravessar the cat sat: as pontuações brutas viram pesos softmax que somam 1, a linha mais grossa aponta para a palavra que mais importa, e sat absorve o contexto dela, principalmente de cat.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.