Génération de vecteurs
La génération de vecteurs nécessite d'être utilisée avec le stockage, ce qui signifie que vous devez configurer le stockage avant de comprendre les vecteurs.
Les vecteurs sont en fait le résultat de l'incorporation (embedding), qui est le processus de conversion de différents types de données (comme le texte et les images) en représentations vectorielles denses. Cette étape est cruciale pour un traitement et une analyse efficaces des données dans Casibase. Grâce à l'incorporation, les questions dans les discussions et les fichiers de connaissances dans le stockage seront convertis en vecteurs, qui seront utilisés à l'étape suivante de recherche de connaissances.
1. Automatic Embedding
Casibase automatically generates vectors when you upload files to a store. After configuring a store with storage, model, and embedding providers, simply upload your files through the file tree interface. The system immediately queues them for embedding and processes them in the background.
Each file progresses through states you can monitor in the Files page: Pending, Processing, Finished, or Error. The system calculates token counts during embedding and displays them alongside each file. If embedding fails for any file, the error details appear in the file list so you can quickly identify and fix issues like missing provider configurations or unsupported file formats.
When you delete files from storage, their vectors are automatically removed from the database. This keeps your knowledge base synchronized - you won't get outdated responses from files that no longer exist.
2. Actualisation des vecteurs
L'opération d'actualisation des vecteurs est définie comme un bouton pour chaque stockage de données sous le menu de stockage. After configuring stores with storage providers, navigate to the Stores page to view the file tree for the storage providers.
By clicking on the Refresh Vectors button for a particular store, it will generate the corresponding vectors for all the files in the file tree for that store by embedding them. L'image ci-dessous montre la page et l'opération.
When you refresh vectors, the system automatically removes all existing vectors for that store before generating new ones. This ensures your vector database stays synchronized with your current files - if you've deleted files from storage, their vectors will be removed as well. The refresh always creates a clean, up-to-date vector set based on your current file tree.
Re-embedding Individual Files
For targeted updates, use the "Refresh Vectors" button in the Files page next to any specific file. This regenerates vectors for just that file while leaving others untouched - useful when you've changed embedding settings or need to fix errors on specific documents without reprocessing your entire knowledge base.
3. Visualisation des vecteurs
After that, we can view the specific vectors generated by that store in the vector menu.
Nous pouvons voir que les fichiers de stockage de l'étape précédente d'actualisation des vecteurs ont été convertis en vecteurs affichés ici.
Ma page d'édition de vecteurs affiche des informations spécifiques telles que le nom du stockage, le nom du modèle d'incorporation, le nom du fichier qui a été incorporé, la taille du fichier, la dimension, les données vectorielles, etc.