Word2Vec (2013)

Word2Vec to przełomowy model embeddingów z 2013 roku, który jako pierwszy zamieniał słowa na wektory liczbowe, ucząc się z kontekstów, w jakich słowa występują. Głównym ograniczeniem Word2Vec było to, że każdemu słowu przypisywał jeden stały wektor – słowo 'zamek' miało ten sam wektor niezależnie, czy chodziło o budowlę, czy mechanizm w drzwiach.

Dopiero BERT (2018) i architektura Transformer rozwiązały ten problem, tworząc wektory kontekstowe zależne od otaczających słów. Word2Vec jest ważny jako fundament całej technologii embeddingów, które dziś napędzają wyszukiwanie semantyczne, klasteryzację i detekcję duplikatów w SEO. Mimo że jest przestarzały, koncepcja 'słowo jako wektor' pozostaje centralna – współczesne modele (Jina, Gemini text-embedding-004) po prostu robią to samo, ale z uwzględnieniem kontekstu i wielojęzyczności.

Analogicznie, Word2Vec to czarno-biała fotografia – rewolucyjna w swoim czasie, ale współczesne modele to zdjęcia 4K z głębią ostrości.