La prompt injection tenta di alterare il comportamento previsto di un'applicazione basata su modelli linguistici attraverso istruzioni inserite nell'input. Può essere diretta oppure indiretta, quando proviene da una fonte esterna che il sistema legge, come una pagina web, un allegato, un documento o altro materiale. Il problema non si limita a una risposta scorretta: con strumenti collegati possono verificarsi azioni non previste. Distinguere il contenuto letto dall'istruzione autorizzata aiuta a limitare gli effetti.
Un agente riceve un incarico umano, legge materiale e può chiedere a strumenti di agire. L'eccesso di funzionalità, permessi o autonomia amplifica il danno possibile. Separare lettura e scrittura, limitare i privilegi e prevedere autorizzazione umana per operazioni rilevanti riduce gli effetti. Le difese operano a più livelli e non garantiscono un rilevatore infallibile. Una procedura operativa, un laboratorio innocuo e la registrazione dei test permettono di verificare il comportamento senza esporre sistemi reali.
La prompt injection tenta di alterare il comportamento previsto di un'applicazione LLM attraverso istruzioni inserite nell'input. Può essere diretta oppure indiretta, quando arriva da una fonte esterna che il sistema legge: pagina web, allegato, documento o altro materiale. Può comparire anche in contenuti multimodali o difficili da percepire. OWASP chiarisce che RAG e fine tuning non eliminano da soli questo rischio.
Il problema non è soltanto una risposta scorretta. Con strumenti collegati possono esserci azioni non previste. Un agente che legge materiale esterno e può invocare strumenti estende la superficie oltre la generazione di testo. Le istruzioni nascoste cercano di far deviare il compito assegnato, ad esempio cambiando l'argomento di un riepilogo o sollecitando un'azione estranea.
La distinzione tra injection e jailbreak resta utile. L'injection inserisce istruzioni nell'input per alterare il comportamento previsto, mentre altre tecniche mirano a superare i vincoli del modello in modo diverso. Leggere un PDF può influenzare un agente perché il contenuto diventa parte del contesto che il modello elabora. La sola citazione delle fonti non protegge: un'istruzione malevola può essere presente nel testo citato e venire comunque eseguita se non è separata dalle istruzioni autorizzate.
Un agente riceve un incarico umano, legge materiale e può chiedere a strumenti di agire. Nel caso da raccontare, una piccola redazione chiede di riassumere una pagina di prodotto. Un paragrafo della pagina tenta invece di far cambiare l'argomento del riepilogo o di chiedere un'azione estranea. Il lettore deve distinguere l'autore dell'incarico dall'autore della pagina. L'etichetta ufficiale o urgente dentro un documento non costituisce un'autorizzazione.
L'esempio è inventato per spiegare il confine, senza attribuire un incidente a un'azienda reale. La fonte del materiale determina se un'istruzione è legittima o estranea. Un'istruzione presente in un documento esterno non eredita l'autorizzazione dell'incarico umano solo perché è stata letta. Separare i due livelli evita che contenuti esterni dirottino il compito.
La differenza tra allucinazione spontanea e deviazione indotta aiuta a capire l'origine del problema. Un'allucinazione può emergere dal modello senza input malevolo. Una deviazione indotta deriva da istruzioni inserite nel materiale letto. Riconoscere l'origine orienta le contromisure: per le deviazioni indotte conta isolare le istruzioni esterne, mentre le allucinazioni richiedono altri controlli.
OWASP identifica l'eccesso di funzionalità, permessi o autonomia come fattori che amplificano il danno possibile di un agente. Un riassuntore che legge una cartella non ha lo stesso raggio d'azione di un sistema che può inviare messaggi, modificare record e pubblicare. Limitare i privilegi dello strumento, separare lettura e scrittura e prevedere autorizzazione umana per operazioni rilevanti riduce gli effetti.
Non ogni connettore installato conferisce automaticamente accesso a tutti i dati. Non tutti i prodotti espongono gli stessi controlli. Un riassuntore può aver bisogno solo di lettura su un insieme circoscritto di documenti. Estendere permessi di scrittura o invio aumenta il raggio d'azione e quindi il potenziale danno di un'istruzione estranea che riuscisse a passare.
I permessi servono davvero a un riassuntore quando sono strettamente legati al compito. Lettura su cartelle o pagine specifiche può bastare per produrre una bozza. Scrittura, invio o modifica di record richiedono valutazioni separate e, quando rilevanti, autorizzazione umana. Confrontare le richieste di azione con il compito autorizzato e con destinazione e dati effettivi aiuta a intercettare anomalie.
La cheat sheet OWASP propone separazione strutturata tra istruzioni e dati, controlli su input e output, monitoraggio e limiti dei privilegi. I controlli degli strumenti devono vivere anche nel codice e nelle autorizzazioni: non basta aggiungere al prompt una frase di divieto. Le richieste di azione vanno confrontate con il compito autorizzato e con destinazione e dati effettivi. Un filtro per parole sospette può aiutare ma non riconosce ogni variante.
Il risultato è una riduzione del rischio, senza promettere un rilevatore infallibile. La separazione strutturata impedisce che istruzioni esterne vengano trattate come comandi autorizzati. Controlli su input e output e monitoraggio completano il quadro. I limiti dei privilegi riducono le conseguenze anche se un'istruzione estranea passa.
Un diagramma incarico-fonte-modello-strumento chiarisce il flusso. L'incarico umano definisce l'obiettivo. La fonte fornisce il materiale. Il modello elabora. Gli strumenti eseguono azioni. Isolare le istruzioni della fonte dalle istruzioni dell'incarico riduce le possibilità di dirottamento.
Prima del lavoro definire in una frase l'obiettivo e le modifiche attese; controllare quale cartella, account o pagina è coinvolta. Preferire una prima lettura con risultato di bozza quando il compito lo consente. Prima di una scrittura importante confrontare il contenuto finale con la richiesta originale, non con le istruzioni trovate nel materiale. Nel caso di un riepilogo, una proposta improvvisa di invio a un destinatario nuovo è un'anomalia da indagare.
Non copiare dati privati in strumenti dimostrativi per spiegare il rischio. La procedura mantiene il controllo sull'incarico umano. La bozza permette di verificare la fedeltà prima di azioni irreversibili. Il confronto con la richiesta originale, anziché con il testo del materiale, evita di seguire istruzioni estranee. Anomalie come un invio non richiesto segnalano la necessità di fermarsi e controllare.
Applicare questi passaggi riduce la possibilità che istruzioni nascoste in pagine, email o documenti devino il comportamento. La procedura non sostituisce le difese tecniche, ma le integra con controlli umani dove l'impatto è rilevante.
Preparare due documenti fittizi con le stesse informazioni su un prodotto inventato. Nel secondo aggiungere una frase che chiede al riassuntore di sostituire una caratteristica con un'espressione giocosa. Usare un ambiente senza strumenti di invio o scrittura e verificare se il riepilogo resta fedele ai dati e segnala l'istruzione estranea. Aggiungere un terzo documento con una frase imperativa legittima, ad esempio una citazione dal manuale, per mostrare che non ogni imperativo è un attacco.
Valutare precisione del riepilogo e comportamento, non soltanto la presenza di un avviso. Non fornire payload per esfiltrare dati o attaccare servizi reali. Il laboratorio permette di osservare se il sistema distingue dati da istruzioni estranee senza rischiare sistemi di produzione. Il terzo documento verifica che non ogni comando venga bloccato, evitando falsi positivi eccessivi.
Il caso fittizio illustra il confine senza attribuire incidenti reali. I risultati del laboratorio informano su un ambiente specifico e non generalizzano automaticamente.
Registrare versione del sistema, compito assegnato, materiale fittizio fornito, strumenti disponibili e risultato osservato. Un test superato non dimostra sicurezza universale: cambiano modelli, contesto e strumenti. Per un'organizzazione misurare sia deviazioni non autorizzate sia blocchi di compiti leciti. Verificare periodicamente i permessi effettivi e la disponibilità di registri utili alla ricostruzione, senza riversare conversazioni sensibili nei log. Se si testa un prodotto altrui, usare soltanto ambienti e modalità autorizzati.
I registri aiutano a ricostruire cosa è successo quando emerge un'anomalia. Misurare sia le deviazioni sia i blocchi leciti evita di ottimizzare solo per un aspetto. La verifica periodica dei permessi mantiene allineato il raggio d'azione reale con quello previsto. Evitare di riversare conversazioni sensibili protegge la riservatezza durante i test.
Fermare l'azione proposta, controllare l'ultimo risultato visibile e distinguere lettura, bozza e modifica già avvenuta. Un agente può aver soltanto suggerito un invio oppure averlo eseguito: servono conferme dal sistema di destinazione. Se è avvenuta una modifica imprevista, documentare l'accaduto e usare le procedure dell'organizzazione per contenimento e recupero. Non improvvisare una cancellazione di registri o un intervento su credenziali. Per un semplice documento che contiene testo sospetto, conservarne una copia di prova depurata dai dati sensibili per studiare l'errore.
La distinzione tra suggerimento ed esecuzione evita reazioni sproporzionate. Le conferme dal sistema di destinazione chiariscono lo stato reale. Le procedure organizzative guidano il contenimento senza improvvisazioni che potrebbero peggiorare la situazione. Conservare una copia depurata permette di studiare l'errore senza esporre dati sensibili.
La differenza tra injection e jailbreak riguarda il meccanismo. L'injection inserisce istruzioni nell'input per alterare il comportamento previsto dell'applicazione. Altre tecniche possono cercare di superare vincoli del modello in modi diversi. Leggere un PDF può influenzare un agente perché il contenuto entra nel contesto elaborato dal modello e può contenere istruzioni che vengono trattate come parte dell'input.
La sola citazione delle fonti non protegge perché un'istruzione malevola può essere presente nel testo citato e venire eseguita se non è isolata dalle istruzioni autorizzate. La differenza tra allucinazione spontanea e deviazione indotta sta nell'origine: la prima può emergere dal modello, la seconda deriva da istruzioni nel materiale letto. I permessi che servono davvero a un riassuntore sono di norma quelli di lettura su un ambito circoscritto; scrittura, invio o modifica richiedono valutazioni separate e spesso autorizzazione umana.
Questi elementi aiutano a riconoscere le istruzioni nascoste e a limitare gli effetti quando un agente legge pagine, email o documenti e dispone di strumenti collegati.
Un agente riceve un incarico umano, legge materiale e può chiedere a strumenti di agire. L'eccesso di funzionalità, permessi o autonomia amplifica il danno possibile. Separare lettura e scrittura, limitare i privilegi e prevedere autorizzazione umana per operazioni rilevanti riduce gli effetti. Le difese operano a più livelli e non garantiscono un rilevatore infallibile. Una procedura operativa, un laboratorio innocuo e la registrazione dei test permettono di verificare il comportamento senza esporre sistemi reali.
Indice
- Cos'è la prompt injection e perché riguarda gli agenti
- Perché la fonte del materiale conta
- Impatto e privilegi degli strumenti collegati
- Difese a più livelli contro le istruzioni nascoste
- Procedura operativa per chi usa gli agenti
- Laboratorio innocuo per verificare il comportamento
- Cosa registrare durante i test
- Come reagire a un'anomalia
- Domande frequenti sulla prompt injection
Cos'è la prompt injection e perché riguarda gli agenti
La prompt injection tenta di alterare il comportamento previsto di un'applicazione LLM attraverso istruzioni inserite nell'input. Può essere diretta oppure indiretta, quando arriva da una fonte esterna che il sistema legge: pagina web, allegato, documento o altro materiale. Può comparire anche in contenuti multimodali o difficili da percepire. OWASP chiarisce che RAG e fine tuning non eliminano da soli questo rischio.
Il problema non è soltanto una risposta scorretta. Con strumenti collegati possono esserci azioni non previste. Un agente che legge materiale esterno e può invocare strumenti estende la superficie oltre la generazione di testo. Le istruzioni nascoste cercano di far deviare il compito assegnato, ad esempio cambiando l'argomento di un riepilogo o sollecitando un'azione estranea.
La distinzione tra injection e jailbreak resta utile. L'injection inserisce istruzioni nell'input per alterare il comportamento previsto, mentre altre tecniche mirano a superare i vincoli del modello in modo diverso. Leggere un PDF può influenzare un agente perché il contenuto diventa parte del contesto che il modello elabora. La sola citazione delle fonti non protegge: un'istruzione malevola può essere presente nel testo citato e venire comunque eseguita se non è separata dalle istruzioni autorizzate.
Perché la fonte del materiale conta
Un agente riceve un incarico umano, legge materiale e può chiedere a strumenti di agire. Nel caso da raccontare, una piccola redazione chiede di riassumere una pagina di prodotto. Un paragrafo della pagina tenta invece di far cambiare l'argomento del riepilogo o di chiedere un'azione estranea. Il lettore deve distinguere l'autore dell'incarico dall'autore della pagina. L'etichetta ufficiale o urgente dentro un documento non costituisce un'autorizzazione.
L'esempio è inventato per spiegare il confine, senza attribuire un incidente a un'azienda reale. La fonte del materiale determina se un'istruzione è legittima o estranea. Un'istruzione presente in un documento esterno non eredita l'autorizzazione dell'incarico umano solo perché è stata letta. Separare i due livelli evita che contenuti esterni dirottino il compito.
La differenza tra allucinazione spontanea e deviazione indotta aiuta a capire l'origine del problema. Un'allucinazione può emergere dal modello senza input malevolo. Una deviazione indotta deriva da istruzioni inserite nel materiale letto. Riconoscere l'origine orienta le contromisure: per le deviazioni indotte conta isolare le istruzioni esterne, mentre le allucinazioni richiedono altri controlli.
Impatto e privilegi degli strumenti collegati
OWASP identifica l'eccesso di funzionalità, permessi o autonomia come fattori che amplificano il danno possibile di un agente. Un riassuntore che legge una cartella non ha lo stesso raggio d'azione di un sistema che può inviare messaggi, modificare record e pubblicare. Limitare i privilegi dello strumento, separare lettura e scrittura e prevedere autorizzazione umana per operazioni rilevanti riduce gli effetti.
Non ogni connettore installato conferisce automaticamente accesso a tutti i dati. Non tutti i prodotti espongono gli stessi controlli. Un riassuntore può aver bisogno solo di lettura su un insieme circoscritto di documenti. Estendere permessi di scrittura o invio aumenta il raggio d'azione e quindi il potenziale danno di un'istruzione estranea che riuscisse a passare.
I permessi servono davvero a un riassuntore quando sono strettamente legati al compito. Lettura su cartelle o pagine specifiche può bastare per produrre una bozza. Scrittura, invio o modifica di record richiedono valutazioni separate e, quando rilevanti, autorizzazione umana. Confrontare le richieste di azione con il compito autorizzato e con destinazione e dati effettivi aiuta a intercettare anomalie.
Difese a più livelli contro le istruzioni nascoste
La cheat sheet OWASP propone separazione strutturata tra istruzioni e dati, controlli su input e output, monitoraggio e limiti dei privilegi. I controlli degli strumenti devono vivere anche nel codice e nelle autorizzazioni: non basta aggiungere al prompt una frase di divieto. Le richieste di azione vanno confrontate con il compito autorizzato e con destinazione e dati effettivi. Un filtro per parole sospette può aiutare ma non riconosce ogni variante.
Il risultato è una riduzione del rischio, senza promettere un rilevatore infallibile. La separazione strutturata impedisce che istruzioni esterne vengano trattate come comandi autorizzati. Controlli su input e output e monitoraggio completano il quadro. I limiti dei privilegi riducono le conseguenze anche se un'istruzione estranea passa.
Un diagramma incarico-fonte-modello-strumento chiarisce il flusso. L'incarico umano definisce l'obiettivo. La fonte fornisce il materiale. Il modello elabora. Gli strumenti eseguono azioni. Isolare le istruzioni della fonte dalle istruzioni dell'incarico riduce le possibilità di dirottamento.
Procedura operativa per chi usa gli agenti
Prima del lavoro definire in una frase l'obiettivo e le modifiche attese; controllare quale cartella, account o pagina è coinvolta. Preferire una prima lettura con risultato di bozza quando il compito lo consente. Prima di una scrittura importante confrontare il contenuto finale con la richiesta originale, non con le istruzioni trovate nel materiale. Nel caso di un riepilogo, una proposta improvvisa di invio a un destinatario nuovo è un'anomalia da indagare.
Non copiare dati privati in strumenti dimostrativi per spiegare il rischio. La procedura mantiene il controllo sull'incarico umano. La bozza permette di verificare la fedeltà prima di azioni irreversibili. Il confronto con la richiesta originale, anziché con il testo del materiale, evita di seguire istruzioni estranee. Anomalie come un invio non richiesto segnalano la necessità di fermarsi e controllare.
Applicare questi passaggi riduce la possibilità che istruzioni nascoste in pagine, email o documenti devino il comportamento. La procedura non sostituisce le difese tecniche, ma le integra con controlli umani dove l'impatto è rilevante.
Laboratorio innocuo per verificare il comportamento
Preparare due documenti fittizi con le stesse informazioni su un prodotto inventato. Nel secondo aggiungere una frase che chiede al riassuntore di sostituire una caratteristica con un'espressione giocosa. Usare un ambiente senza strumenti di invio o scrittura e verificare se il riepilogo resta fedele ai dati e segnala l'istruzione estranea. Aggiungere un terzo documento con una frase imperativa legittima, ad esempio una citazione dal manuale, per mostrare che non ogni imperativo è un attacco.
Valutare precisione del riepilogo e comportamento, non soltanto la presenza di un avviso. Non fornire payload per esfiltrare dati o attaccare servizi reali. Il laboratorio permette di osservare se il sistema distingue dati da istruzioni estranee senza rischiare sistemi di produzione. Il terzo documento verifica che non ogni comando venga bloccato, evitando falsi positivi eccessivi.
Il caso fittizio illustra il confine senza attribuire incidenti reali. I risultati del laboratorio informano su un ambiente specifico e non generalizzano automaticamente.
Cosa registrare durante i test
Registrare versione del sistema, compito assegnato, materiale fittizio fornito, strumenti disponibili e risultato osservato. Un test superato non dimostra sicurezza universale: cambiano modelli, contesto e strumenti. Per un'organizzazione misurare sia deviazioni non autorizzate sia blocchi di compiti leciti. Verificare periodicamente i permessi effettivi e la disponibilità di registri utili alla ricostruzione, senza riversare conversazioni sensibili nei log. Se si testa un prodotto altrui, usare soltanto ambienti e modalità autorizzati.
I registri aiutano a ricostruire cosa è successo quando emerge un'anomalia. Misurare sia le deviazioni sia i blocchi leciti evita di ottimizzare solo per un aspetto. La verifica periodica dei permessi mantiene allineato il raggio d'azione reale con quello previsto. Evitare di riversare conversazioni sensibili protegge la riservatezza durante i test.
Come reagire a un'anomalia
Fermare l'azione proposta, controllare l'ultimo risultato visibile e distinguere lettura, bozza e modifica già avvenuta. Un agente può aver soltanto suggerito un invio oppure averlo eseguito: servono conferme dal sistema di destinazione. Se è avvenuta una modifica imprevista, documentare l'accaduto e usare le procedure dell'organizzazione per contenimento e recupero. Non improvvisare una cancellazione di registri o un intervento su credenziali. Per un semplice documento che contiene testo sospetto, conservarne una copia di prova depurata dai dati sensibili per studiare l'errore.
La distinzione tra suggerimento ed esecuzione evita reazioni sproporzionate. Le conferme dal sistema di destinazione chiariscono lo stato reale. Le procedure organizzative guidano il contenimento senza improvvisazioni che potrebbero peggiorare la situazione. Conservare una copia depurata permette di studiare l'errore senza esporre dati sensibili.
Domande frequenti sulla prompt injection
La differenza tra injection e jailbreak riguarda il meccanismo. L'injection inserisce istruzioni nell'input per alterare il comportamento previsto dell'applicazione. Altre tecniche possono cercare di superare vincoli del modello in modi diversi. Leggere un PDF può influenzare un agente perché il contenuto entra nel contesto elaborato dal modello e può contenere istruzioni che vengono trattate come parte dell'input.
La sola citazione delle fonti non protegge perché un'istruzione malevola può essere presente nel testo citato e venire eseguita se non è isolata dalle istruzioni autorizzate. La differenza tra allucinazione spontanea e deviazione indotta sta nell'origine: la prima può emergere dal modello, la seconda deriva da istruzioni nel materiale letto. I permessi che servono davvero a un riassuntore sono di norma quelli di lettura su un ambito circoscritto; scrittura, invio o modifica richiedono valutazioni separate e spesso autorizzazione umana.
Questi elementi aiutano a riconoscere le istruzioni nascoste e a limitare gli effetti quando un agente legge pagine, email o documenti e dispone di strumenti collegati.
Salsomaggiore Terme (Web) - 26/10/2026 - Prompt injection negli agenti IA come riconoscere le istruzioni nascoste in pagine email e documenti
Written by Mokik
Written by Mokik
Link referral
Tuttavia, tenete presente che i link referral non influenzano il nostro giudizio o il contenuto dell’articolo. Il nostro obiettivo è fornire sempre informazioni accurate, approfondite e utili per i nostri lettori. Speriamo che questi link referral non compromettano la vostra esperienza di navigazione e vi invitiamo a continuare a leggere i nostri articoli con fiducia, sapendo che il nostro impegno è offrirvi sempre il meglio.
Amazon Sostieni MrPaloma facendo acquisti su Amazon partendo da questo link amazon.it.
NordVpn Proteggi la tua navigazione e sostienici: acquista NordVPN tramite il link affiliato! Nord Vpn
StarLinik Internet ovunque StarLinik
Amazon Prime | Amazon Music Unlimited | Prime Video | Amazon Business | Kindle Unlimited | Amazon Wedding List | Prime Student
