Pipeline audytu semantycznego

Pipeline audytu semantycznego to kompletny, wielokrokowy proces analizy serwisu od crawlingu do raportu końcowego. Kroki: (1) crawl serwisu → (2) parsowanie do Markdown (Jina Reader) → (3) generowanie embeddingów (Gemini/Jina) → (4) klasteryzacja tematyczna (K-means) → (5) detekcja duplikatów (similarity > 0.99) → (6) wykrywanie kanibalizacji (similarity 0.9-0.99) → (7) obliczenie Site Focus Score i Radius → (8) identyfikacja outlierów (content pruning) → (9) analiza content gaps (graf vs serwis) → (10) generowanie raportu (generator raportów audytu).

Każdy krok zapisuje wyniki do pliku (persystencja) i pipeline jest wznawialny. Pipeline łączy Python (obliczenia) z LLM (interpretacja) zgodnie z zasadą 'LLM do rozumowania, Python do obliczeń'.

Na przykład audyt serwisu 200 stron → 2-4 godziny automatycznej pracy → raport z duplikatami, kanibalizacjami, gaps i rekomendacjami. W praktyce uruchom pipeline na małej próbie (20 stron) zanim puścisz go na cały serwis – łatwiej debugować błędy na małym zbiorze.