Bi-encoder vs Cross-encoder

Bi-encoder i cross-encoder to dwa podejścia do rankowania wyników wyszukiwania, stosowane w systemach RAG. Bi-encoder generuje osobne wektory dla zapytania i dokumentu, porównując je cosine similarity – jest szybki i skalowalny (miliony dokumentów w sekundy), ale 'płytki' w ocenie trafności.

Cross-encoder analizuje parę (zapytanie + dokument) jednocześnie przez sieć neuronową, dając dokładniejszy wynik, ale jest wolny i nie skaluje się na miliony dokumentów. Dlatego w pipeline RAG stosuje się obie metody sekwencyjnie: bi-encoder jako szybki filtr (top 100 z miliona), cross-encoder (reranker) jako precyzyjne sortowanie finalistów (top 5 z 100). Dwuetapowa architektura bi-encoder + cross-encoder łączy szybkość z precyzją. W narzędziach SEO: embeddingi (bi-encoder) do wstępnego przesiewu, JinaAI lub Cohere (cross-encoder) do finalnego rankingu.

W praktyce dla większości zastosowań SEO sam bi-encoder wystarczy – reranker dodawaj tylko, gdy precyzja top 5-10 wyników jest krytyczna.