Conteúdo do curso Lição 108 de 250 · Intuição de Redes Neurais, LLMs e Conclusão de IA
Intuição de Redes Neurais, LLMs e Conclusão de IA

Assista: Pesos de Atenção

Você acabou de implementar scaled dot-product attention. Aqui está o que essas matrizes realmente do. Attention deixa cada palavra olhar para cada palavra na frase (incluindo ela mesma), pontuar o quanto cada uma importa e reconstruir a si mesma como uma weighted blend delas.

Dê o play. Observe a palavra sat atravessar the cat sat: as pontuações brutas viram pesos softmax que somam 1, a linha mais grossa aponta para a palavra que mais importa, e sat absorve o contexto dela, principalmente de cat.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.