Embeddingi i semantička pretraga: praktični vodič za produktne timove

Embedding je niz brojeva, obično od nekoliko stotina do nekoliko hiljada, koji predstavlja značenje dijela teksta. Embedding model je istreniran tako da tekstovi sličnog značenja završe blizu jedan drugog. Semantička pretraga napravi embedding korisnikovog upita i pronađe dokumente ili proizvode čiji su embeddingi najbliži.

Tako pretraga pogađa namjeru i kada se riječi razlikuju. Kupac koji traži "topla jakna za vožnju biciklom na posao" može pronaći proizvod opisan kao "izolovani kaput otporan na vjetar za svakodnevna putovanja", a zaposleni koji pita "kako da mi vrate putne troškove" može pronaći pravilnik o troškovima.

Ovaj vodič je za produktne menadžere i inženjere koji unapređuju pretragu proizvoda, pretragu web stranice ili pretragu internog znanja. Pokriva izbor modela, gdje čuvati vektore, kombinovanje semantičkog rangiranja i rangiranja po ključnim riječima i mjerenje relevantnosti, da znate da li je promjena pomogla.

Postoji mnogo sposobnih embedding modela, komercijalnih i s otvorenim težinama. Javne rang-liste su razumna polazna tačka, ali rangiraju modele na benchmark podacima, a važno je kako model radi na vašim upitima i vašem sadržaju. Odmjerite ove faktore:

• Kvalitet pretrage na vašim podacima, izmjeren vašim skupom testova, kako je opisano niže.
• Pokrivenost jezika. Katalog na nizozemskom i engleskom treba višejezični model koji radi s oba, uključujući upite na mješavini jezika.
• Dimenzije i prostor. Veći vektori mogu obuhvatiti više, ali više koštaju za čuvanje i pretragu. Neki modeli podržavaju skraćene embeddinge uz mali gubitak kvaliteta.
• Dužina ulaza. Najveći broj tokena po ulazu ograničava koliko dug može biti dio teksta ili opis proizvoda.
• Hosting i pravila za podatke. Model preko API-ja je jednostavan za korištenje; model s otvorenim težinama koji sami hostujete drži podatke unutar vašeg okruženja.
• Trošak i vrijeme odziva, i za indeksiranje cijelog kataloga i za svaki upit.

Izaberite dva ili tri kandidata, napravite embeddinge za reprezentativan uzorak i uporedite ih na istom skupu testova. Uz svaki vektor sačuvajte naziv i verziju modela. Zamjena modela znači ponovnu izradu svih embeddinga, jer se vektori različitih modela ne mogu porediti.

Ako su vaši podaci već u Postgresu, pgvector dodaje tip kolone za vektore, operatore udaljenosti i indekse za približnu pretragu najbližih susjeda (HNSW i IVFFlat). Osnove stanu u nekoliko linija:

CREATE EXTENSION IF NOT EXISTS vector;

ALTER TABLE products ADD COLUMN embedding vector(1024);

CREATE INDEX products_embedding_idx
  ON products USING hnsw (embedding vector_cosine_ops);

-- nearest in-stock products to the query embedding
SELECT id, title, 1 - (embedding <=> $1) AS similarity
FROM products
WHERE in_stock
ORDER BY embedding <=> $1
LIMIT 20;

Posebne vektorske baze dodaju mogućnosti namijenjene vrlo velikim ili vrlo zahtjevnim opterećenjima. Kompromisi:

Naš standardni izbor je pgvector, dok mjerenja ne pokažu razlog za prelazak. Za većinu kataloga proizvoda i baza znanja, vektori uz podatke koje opisuju uklanjaju cijelu kategoriju grešaka u sinhronizaciji.

Čista semantička pretraga ima slijepe tačke. Može sličan proizvod staviti iznad tačno onog koji je korisnik upisao, a loše radi sa šiframa artikala (SKU), brojevima modela, nazivima brendova i veličinama. Pretraga po ključnim riječima, s BM25 ili full-text pretragom u Postgresu, jaka je baš na tim mjestima.

Hibridno rangiranje pokreće obje i spaja rezultate. Česti pristupi:

• Reciprocal rank fusion (RRF) kombinuje pozicije iz svake liste bez potrebe za uporedivim ocjenama. Jednostavan je i dobar standardni izbor.
• Ponderisano miješanje ocjena normalizuje obje ocjene i miješa ih, što daje više kontrole, ali traži podešavanje.
• Ponovno rangiranje predaje spojene najbolje rezultate cross-encoderu ili LLM-u, koji svaki ocijeni u odnosu na upit.
• Poslovni signali kao što su zalihe, marža, popularnost i personalizacija primjenjuju se kao posljednji sloj, odvojeno, da se relevantnost može mjeriti sama za sebe.

Naš vodič za RAG chatbot u stvarnoj upotrebi sadrži hibridni upit za pgvector s RRF-om.

Bez mjerenja se podešavanje pretrage pretvori u raspravu o pojedinačnim upitima. Sastavite ocijenjeni skup: nekoliko stotina stvarnih upita iz logova pretrage, svaki sa stavkama koje su relevantne, idealno s ocjenama (na primjer 0 za nerelevantno, 1 za djelimično relevantno, 2 za dobro poklapanje i 3 za potpuno tačno).

Dvije metrike pokrivaju većinu potreba:

• recall@k je udio relevantnih stavki koje se pojave među prvih k rezultata. Pokazuje da li se pravi rezultati uopće pronađu, što je najvažnije za RAG i za fazu kandidata prije ponovnog rangiranja.
• nDCG@k (normalised discounted cumulative gain) nagrađuje stavljanje najrelevantnijih stavki na vrh, uz stepenovane ocjene. Odražava kako ljudi pregledaju stranicu s rezultatima.

import numpy as np

def recall_at_k(retrieved: list[str], relevant: set[str], k: int) -> float:
    if not relevant:
        return 0.0
    return len(set(retrieved[:k]) & relevant) / len(relevant)

def dcg(gains: np.ndarray) -> float:
    discounts = np.log2(np.arange(2, gains.size + 2))
    return float(np.sum((2**gains - 1) / discounts))

def ndcg_at_k(retrieved: list[str], grades: dict[str, int], k: int) -> float:
    gains = np.array([grades.get(doc_id, 0) for doc_id in retrieved[:k]], dtype=float)
    ideal = np.array(sorted(grades.values(), reverse=True)[:k], dtype=float)
    best = dcg(ideal)
    return dcg(gains) / best if best > 0 else 0.0

Pratite ih po grupama upita, kao što su česti upiti, rijetki upiti iz dugog repa i upiti sa šiframa artikala, jer prosjek može sakriti pad u jednoj grupi. Kada se offline metrike poboljšaju, potvrdite to online metrikama kao što su stopa klikova, udio pretraga koje završe u korpi i udio pretraga bez rezultata. Za stranu pretrage u RAG-u pogledajte kako evaluirati RAG.

1. 01Izvezite nekoliko stotina stvarnih upita iz logova pretrage, uključujući one koji sada vraćaju loše rezultate ili nijedan.
2. 02Za svaki upit ocijenite relevantne rezultate, sa stepenovanom relevantnošću gdje možete.
3. 03Izmjerite postojeću pretragu s recall@k i nDCG@k kao osnovnu vrijednost.
4. 04Dodajte embeddinge u pgvector za dva kandidatska modela i uporedite ih.
5. 05Kombinujte s pretragom po ključnim riječima uz RRF, po potrebi dodajte reranker i izmjerite svaki korak.
6. 06Pustite novu pretragu iza feature flaga, pa uporedite online metrike s osnovnom vrijednošću.

Ovaj pristup smo primijenili za semantičku pretragu proizvoda u maloprodaji. Ako vam treba pomoć s postavljanjem evaluacije ili same pretrage, kako radimo objašnjava kako vodimo ovakve projekte.