Il mondo degli LLM è in un costante stato di evoluzione. Nuovi modelli, tecniche e filosofie emergono a un ritmo vertiginoso, ognuno promettendo di sbloccare un potenziale ancora maggiore da questi potenti strumenti. Per un certo periodo, il prompt engineering ha regnato sovrano come la chiave per sfruttare la potenza degli LLM. È l’arte di creare l’input perfetto per ottenere l’output desiderato. Ma man mano che le nostre ambizioni con l’IA sono cresciute, anche i limiti di questo approccio sono diventati evidenti.

Ci stiamo infatti muovendo oltre le semplici interazioni una tantum e verso la costruzione di agenti AI stateful e complessi che possono ragionare, ricordare e agire nel mondo. In questo nuovo paradigma, una nuova disciplina sta emergendo come la chiave del successo: il context engineering .

I limiti del Prompting

Il Prompt engineering, in sintesi, consiste nel fornire un’istruzione chiara e concisa a un LLM. È come dare un compito specifico a uno stagista molto capace, ma che interpreta le istruzioni in modo molto letterale. Se desideriamo un riassunto di un documento, forniamo il documento e chiediamo un riassunto. Se necessitiamo di un pezzo di codice, descriviamo la funzione che ci serve. Se abbiamo bisogno di un testo scritto nello stile di un direttore marketing, chiediamo al LLM di comportarsi (e scrivere) come tale. Per un po’, questo è stato sufficiente. Ci siamo fin da subito stupiti dalla capacità degli LLM di comprendere e rispondere alle nostre richieste.

Tuttavia, quando abbiamo iniziato a costruire applicazioni più sofisticate basate su LLM, le lacune dell’approccio incentrato sul prompt hanno cominciato a farsi evidenti. Le necessità del mondo reale sono raramente circoscritte. Richiedono memoria, accesso a conoscenze esterne e una comprensione della situazione più ampia. Un bot di customer service, per esempio, ha bisogno di ricordare la cronologia della sua conversazione con un utente, accedere ai dettagli del suo account e consultare una base di conoscenza di informazioni sui prodotti. Un assistente di coding deve comprendere l’intera codebase, non solo il singolo file che sta modificando.

È qui che il Prompt Engineering fallisce. Il “prompt” è una cosa fugace, un singolo momento nel tempo. Manca della persistenza e della ricchezza di informazioni necessarie per compiti complessi e a più fasi. Andrej Karpathy , una delle menti più autorevoli nell’IA, ha recentemente affermato di preferire il “Context Engineering” al Prompt Engineering. Lui definisce la prima come “la delicata arte e scienza di riempire la context window con le informazioni giuste per il prossimo passo” , trovando un equilibrio tra troppi pochi dati che riducono le prestazioni e troppe informazioni che aumentano inutilmente i costi.

L’ascesa del Context Engineering

Allora, cos’è esattamente il Context Engineering ? È la pratica di progettare, costruire e ottimizzare l’intero ecosistema informativo in cui opera un LLM. Si tratta di andare oltre il singolo prompt e di considerare l’intero
context framework
come un ambiente dinamico e stateful. Basandosi sulla tipologia suggerita da Philipp Schmid , questo include:

• System Prompts : Sono le istruzioni fondamentali che definiscono la persona dell’LLM, i suoi obiettivi e i suoi vincoli. Sono la “costituzione” dell’agente AI. Ad esempio, “Sei un avvocato esperto specializzato in M&A”.
• Input dell’utente : Questa è la richiesta immediata dell’utente, l’ultima posta nella conversazione. Es.: “Scrivi un post efficace sul blog riguardo agli ultimi sviluppi dell’ Agentic AI”.
• Conversational History : La memoria sia a breve sia a lungo termine, ossia rispettivamente la conversazione attuale e le interazioni passate, che permettono al LLM di mantenere un dialogo coerente e stateful.
• External Knowledge (RAG) : Agli LLM può essere dato accesso a fonti di dati esterne, come documenti, database o API. Questo permette loro di rispondere a domande e completare compiti che richiedono informazioni aggiornate o specifiche di un determinato settore.
• Tool : Fornire al LLM l’accesso a strumenti, come code interpreter, calcolatrici o motori di ricerca, gli consente di eseguire azioni nel mondo e di potenziare le proprie capacità.
• Dati Strutturati : Presentare le informazioni in un formato strutturato, come JSON o XML, può aiutare il modello a comprendere e a elaborare meglio dati complessi.

Il Context Engineering, quindi, non riguarda solo la creazione di un singolo prompt perfetto. Si tratta di architettare un sistema che assembla dinamicamente la giusta combinazione di questi elementi nella context window del LLM al momento giusto. Si tratta di creare un “mappa mentale” per l’IA, un ambiente ricco e dinamico in cui essa può ragionare, pianificare e agire in modo efficace.

Context is King

L’importanza del Context Engineering non può essere sottovalutata. In molti casi, i fallimenti degli AI agents non sono dovuti ai limiti del LLM sottostante, ma piuttosto a una mancanza di contesto. Un LLM non può leggerti la mente, e non può sapere ciò che non sa. Se vuoi che esegua un compito complesso, devi fornirgli tutte le informazioni e gli strumenti necessari.

Pensala in questo modo: se dovessi chiedere a un esperto umano di risolvere un problema complesso, non gli daresti semplicemente un’istruzione di una sola frase. Gli forniresti tutti i documenti, i dati e le informazioni di base rilevanti. Gli daresti accesso agli strumenti di cui ha bisogno per svolgere il suo lavoro. Il Context Engineering consiste nel fare lo stesso per i nostri agenti agenti AI.

Questo cambio di prospettiva ha profonde implicazioni per il modo in cui costruiamo gli LLM. Ci allontana dalla mentalità della “scatola nera” in cui si spera semplicemente per il meglio e ci porta verso un approccio più sistematico e architetturale. Non stiamo più solo “suggerendo” al modello; stiamo “ingegnerizzando l’intero contesto” in cui esso opera.

Il Futuro è Contestuale

Man mano che gli LLM diventano più potenti e più integrati nelle nostre vite, l’importanza del context engineering continuerà a crescere. Vedremo lo sviluppo di tecniche più sofisticate per la gestione e l’ottimizzazione della finestra di contesto, come:

• Context Compression : Tecniche per riassumere e comprimere grandi quantità di informazioni per farle rientrare nella context window limitata del LLM.
• Memory-Augmented Architectures : Framework per recuperare informazioni su lunghi periodi di tempo, permettendo agli AI agents di costruire una memoria duratura e affidabile delle loro interazioni con l’utente.
• Context-Aware Agents : Lo sviluppo di agenti che possono adattare dinamicamente il loro comportamento in base al contesto attuale, come lo stato emotivo dell’utente, l’ora del giorno o la sua posizione fisica.

La transizione dal Prompt Engineering al Context Engineering rappresenta un’evoluzione in ambito AI. È un allontanamento dalla “magia” del prompting e verso un approccio più rigoroso e ingegneristico. La costruzione di sistemi veramente intelligenti richiede più di una semplice frase ingegnosa; richiede una profonda comprensione di come creare e gestire l’ambiente informativo in cui questi sistemi operano. Qui in Radicalbit, siamo entusiasti di essere all’avanguardia in questa nuova frontiera, costruendo gli strumenti e le piattaforme che renderanno possibile la prossima generazione di applicazioni AI.

Contattaci se hai domande o vuoi saperne di più sul Context Engineering!