Siamo orgogliosi di annunciare il rilascio della versione 1.3.0 di Radicalbit AI Monitoring , la nostra soluzione open source che aiuta i team di dati a misurare l’efficacia e l’affidabilità dell’apprendimento automatico e degli LLM.
Questa versione include una serie di nuove ed entusiasmanti funzionalità: esploriamo nel dettaglio!
Ottimizza il debug con L’Agent Tracing
La complessità delle applicazioni basate sugli LLM è uno dei principali limiti alla loro implementazione. Per garantire la conformità, le aziende devono comprendere ogni singola fase che contribuisce al risultato finale.
La nuova funzione Agent Tracing di Radicalbit AI Monitoring consente ai team che si occupano dei dati di tracciare ogni singola richiesta, prompt e tool richiamato dall’agente. Una misurazione accurata della traccia è fondamentale sia nella fase sperimentale che in quella di produzione, per il debug e l’analisi del comportamento dell’agente.
La dashboard “Traces” offre una panoramica completa delle tracce, ovvero il percorso di una singola richiesta all’agente, e degli span, ovvero le singole operazioni che compongono una traccia. Informazioni dettagliate quali gerarchia, durata e attributi dei metadati offrono una visione approfondita del comportamento dell’applicazione basata sugli LLM.
Nuovi algoritmi per la Drift Detection Flexibility
L’ultimo aggiornamento di Radicalbit AI Monitoring aggiunge una serie completa di nuovi algoritmi di drift detection , sia per i dati categoriali che numerici.
Fino ad ora, si poteva contare solo sul ol’ Chi-Square Test, 2-Samples-KS Test e PSI. Con la versione 1.3.0, è possibile aggiungere al set di strumenti Jensen Shannon Distance, Kullback-Liebler Divergence, Hellinger Distance per i dati categoriali, e Wasserstein Distance, Jensen Shannon Distance, Hellinger Distance, eKullback-Liebler Divergence per i dati numerici.
Disporre di più metodi migliora notevolmente l’affidabilità, la sensibilità e l’interpretabilità in diverse situazioni. I data team hanno ora a disposizione nuovi modi per rilevare le variazioni nei dati e nel comportamento dei modelli, contribuendo a prevenire il degrado delle prestazioni e i comportamenti non standard.
Monitoraggio LLM con Perplexity & Probability
Quando si chiede a LLM come GPT o Gemini di generare un testo, bisogna essere sicuri che il modello sia affidabile nelle sue affermazioni . Non bisogna infatti lasciare spazio all’incertezza quando gli stakeholder interni all’azienda si affidano a testi creati da chatbot basati sulla tecnologia AI.
Per risolvere questo problema, Radicalbit AI Monitoring 1.3.0 aggiunge una dimensione completamente nuova al monitoraggio LLM . La dashboard sulla qualità del modello presenta metriche generali quali numero di frasi, perplessità e probabilità. Visualizza inoltre sequenze dettagliate con colorazione dei token basata sulle metriche che forniscono un f eedback immediato sulle prestazioni e sulle caratteristiche della generazione.
Se desideri saperne di più sull’AI Monitoring di Radicalbit, implementarlo nei tuoi progetti e partecipare al nostro percorso open source, visita la nostra GitHub repository !
