Don’t get lost in Vector Space - Nicola Procopio
Don’t get lost in Vector Space - Nicola Procopio - PyCon Italia 2024
Elevator Pitch:
I VectroDB sono la memoria delle moderne applicazioni basate su LLM. In questo talk verrà descritto come viene sfruttato Qdrant per gestire le memorie di Cheshire Cat, framework open source di A.I. per Retrieval-Augmented Generation e molto altro. Vieni a scoprire come non perderti nel Vector Space!
Description:
Ad oggi l'hype maggiore nel mondo della A.I. ce l'hanno sicuramente i LLM, ogni settimana c'è un modello che supera tutti nei benchmark e nascono nuovi framework ma per sfruttare al massimo la potenza di questi giganti non ci si può limitare alla loro conoscenza intrinseca, bisogna liberarli e per far ciò esiste la RAG. Al centro di questa rivoluzione ci sono in VectorDB che fanno da memoria alle applicazioni, mettendo a disposizione i "ricordi" (documenti, conversazioni, ...). All'interno di queste applicazioni il ruolo del VectorDB è quello di una enorme biblioteca, dove vengono immagazzinati vettori, in questo spazio il retriever fa da bibliotecario consigliando al LLM le risorse che con più probabilità lo aiuteranno a darci una risposta.
Cheshire Cat è una di queste applicazioni, è open source, italiana, e usa come VectorDB Qdrant, anch'esso open source, per gestire le sue memorie. Qdrant viene utilizzato per:
gestire tre memorie differenti: una per le conversazioni, una per i documenti e una per i tools
viene usato in deverse versioni in-memory Qdrant per il testing, file-based per lo sviluppo, container-based in produzione
gestire la dimensione dello spazio vettoriale al cambio di embedder
just in time backups grazie agli snapshots
In questo talk verranno descritte le sfide che la gestione di un prodotto così complesso comporta quando si parla di VectorDB e di come sono state risolte anche grazie alle funzionalità messe a disposizione da Qdrant.
Non mancheranno anche alcune novità ad arricchire il talk visto che gli sviluppi sono in corso in questo momento, insomma saranno 30 minuti utilissimi per non perdersi nel Vector Space!
Learn more: https://2024.pycon.it/event/dont-get-...
#MachineLearning #Databases #NaturalLanguageProcessing #Algorithms
Смотрите видео Don’t get lost in Vector Space - Nicola Procopio онлайн без регистрации, длительностью часов минут секунд в хорошем качестве. Это видео добавил пользователь Python Italia 30 Июнь 2024, не забудьте поделиться им ссылкой с друзьями и знакомыми, на нашем сайте его посмотрели 57 раз и оно понравилось 2 людям.