Mettez vos vecteurs dans le Postgres que vous avez déjà
Un prototype de recherche garde habituellement ses vecteurs en mémoire. La question est de savoir ce que coûte leur déplacement vers un endroit qui survit à un redémarrage, et s'il faut un index vectoriel une fois rendu là. J'ai mesuré les deux.
Adapté du chapitre 6, « Vector Storage: An Index That Outlives the Process », du livre AI Engineering, Measured (en anglais).
Le prix de sortir de la mémoire
Sur cinq configurations de découpage, un produit scalaire numpy en mémoire a pris une médiane de 0,0043 à 0,0089 ms par requête. Les mêmes questions sur les mêmes vecteurs, dans Postgres avec pgvector et sans index, ont pris de 1,3037 à 1,5437 ms. C'est de 151 à 303 fois plus lent.
C'est moins grave que ça en a l'air. Le chiffre de Postgres bouge à peine entre une table de 10 lignes et une table de 44 lignes, alors que celui de numpy double à peu près sur le même intervalle. Ce qu'on mesure, c'est le coût de l'aller-retour, pas celui de la recherche. La requête n'est pas la partie coûteuse; c'est la connexion.
L'échange revient donc à environ une milliseconde et demie par recherche, contre un index qui survit à un redémarrage, qu'un deuxième processus peut lire et qui est sauvegardé selon le calendrier que vous avez déjà. À côté d'un appel de modèle de plusieurs secondes, c'est un choix facile. Et ça n'a changé aucun classement, pour aucune configuration ni aucune question.
L'index que personne n'a utilisé
Le planificateur a refusé d'utiliser un index vectoriel sur chaque corpus du livre : 10, 20, 30, 30 et 44 lignes, avec ivfflat comme avec hnsw. Forcée, la requête passe par un balayage d'index : l'index était donc valide. Postgres avait simplement jugé que lire 44 lignes coûtait moins cher que de consulter une structure à leur sujet. Il a commencé à choisir un index quelque part entre 1 000 et 10 000 lignes.
L'index n'était pas gratuit pendant qu'il refusait d'aider. Dans une configuration, il occupait 32 768 octets pour une table de 16 384 octets : deux fois la taille des données indexées.
Approximatif veut dire approximatif
À petite échelle, un index approximatif n'était pas stable d'une construction à l'autre. Dix reconstructions avec des réglages identiques ont donné dix ordres différents, et un rappel@3 de 2/7 à 5/7, contre 4/7 en recherche exacte. Deux réglages ont donné l'ordre exact à chaque fois, et il a fallu un jeu de référence pour savoir lesquels.
Ce que j'en retiens
- Mettez les vecteurs dans la base de données que vous exploitez déjà. La raison, c'est que l'index survit au processus, pas qu'il cherche plus vite.
- N'ajoutez pas d'index vectoriel avant que le planificateur soit prêt à l'utiliser. Avant ce point, il coûte du temps de construction et de l'espace disque, et ne rapporte rien.
- Gardez un jeu de référence. C'est la seule façon de distinguer le réordonnancement d'un index approximatif d'une vraie régression.
À propos de ces chiffres. Petits corpus, de 10 à 44 lignes, tirés du jeu de test du livre. Votre point de bascule dépend de vos données et de votre matériel : mesurez-le.
Le chapitre complet, avec le code, le diagramme et un exercice pratique, se trouve dans AI Engineering, Measured. Vous bâtissez quelque chose de semblable et voulez un deuxième regard? Réservez une séance 1:1.