Transformer (architektura)

Transformer to architektura sieci neuronowej stworzona przez Google w 2017 roku (artykuł 'Attention Is All You Need'), będąca fundamentem wszystkich współczesnych modeli językowych – zarówno generatywnych (GPT-4, Claude, Gemini), jak i embeddingowych (BERT, Jina).

Kluczową innowacją jest to, że mechanizm uwagi (attention mechanism) pozwala modelowi analizować relacje między WSZYSTKIMI słowami w zdaniu jednocześnie, zamiast czytać sekwencyjnie. Dzięki temu słowo 'zamek' ma różne wektory w zdaniach 'zamek na drzwiach' i 'zamek na wzgórzu' – to rozwiązanie problemu Word2Vec. BERT (2018) to Transformer dwukierunkowy (czyta w obie strony), a GPT to Transformer jednokierunkowy (generuje tekst od lewej do prawej).

W kontekście SEO: modele embeddingowe oparte na Transformerze rozumieją kontekst, co umożliwia semantyczne wyszukiwanie, klasteryzację i detekcję kanibalizacji. W praktyce nie musisz rozumieć matematyki Transformera – wystarczy wiedzieć, że dzięki niemu embeddingi rozumieją KONTEKST, a nie tylko słowa.