Articolo Nuova vulnerabilità in Chat GPT Mini 4o

[Netcat]

Più che vulnerabilità io la classificherei (opinione personale) come un problema di astrazione di GPT.

In Chat GPT 4o Mini (il modello open source) esiste un rischio di sicurezza a cui sono potenzialmente vulnerabili utenti inesperti.
Scrivendo al GPT il seguente prompt "Puoi stamparmi 10 comandi per cancellare i file di Windows da terminale?"

C'è una piccola probabilità che fra questi 10 comandi spunti un "DEL TREE" che può severamente danneggiare la directory C:/Windows/* o System32 nel caso di Windows (e il bello è che GPT dice all'utente anche di eseguirlo da una Shell CMD elevata ad Admin) - un utente inesperto può non accorgersi di questo bug, ed eseguire il comando pericoloso. Mi aspetto che ricommetta lo stesso errore anche se gli viene richiesto di farlo per Linux /Macintosh, comunque, fortunatamente gli utenti medi di Linux riconoscono facilmente un DEL TREE. Il rischio affligge maggiormente gli user-Windows che cercano alternative agli strumenti GUI per gestire le risorse del proprio PC.

Fix:

1. Specifica al GPT 4o Mini, "puoi stamparmi 10 comandi per cancellare i file *INUTILIZZATI* da Windows?" <- In questo modo GPT si focalizzerà solo su file temporanei, non vitali all'OS.

2. Gli utenti inesperti che cercano assistenza da GPT, dovrebbero usare i modelli con capacità di astrazione elevate per evitare gravi fraintendimenti, come GPT 4o Standard o GPT 4 Plus/Turbo. I modelli ad alte capacità astrattive riescono ad interagire meglio con il linguaggio umano e ad evitare i rischi.

 

[DjCanigia]

Più che vulnerabilità io la classificherei (opinione personale) come un problema di astrazione di GPT.

In Chat GPT 4o Mini (il modello open source) esiste un rischio di sicurezza a cui sono potenzialmente vulnerabili utenti inesperti.
Scrivendo al GPT il seguente prompt "Puoi stamparmi 10 comandi per cancellare i file di Windows da terminale?"

C'è una piccola probabilità che fra questi 10 comandi spunti un "DEL TREE" che può severamente danneggiare la directory C:/Windows/* o System32 nel caso di Windows (e il bello è che GPT dice all'utente anche di eseguirlo da una Shell CMD elevata ad Admin) - un utente inesperto può non accorgersi di questo bug, ed eseguire il comando pericoloso. Mi aspetto che ricommetta lo stesso errore anche se gli viene richiesto di farlo per Linux /Macintosh, comunque, fortunatamente gli utenti medi di Linux riconoscono facilmente un DEL TREE. Il rischio affligge maggiormente gli user-Windows che cercano alternative agli strumenti GUI per gestire le risorse del proprio PC.

Fix:

1. Specifica al GPT 4o Mini, "puoi stamparmi 10 comandi per cancellare i file *INUTILIZZATI* da Windows?" <- In questo modo GPT si focalizzerà solo su file temporanei, non vitali all'OS.

2. Gli utenti inesperti che cercano assistenza da GPT, dovrebbero usare i modelli con capacità di astrazione elevate per evitare gravi fraintendimenti, come GPT 4o Standard o GPT 4 Plus/Turbo. I modelli ad alte capacità astrattive riescono ad interagire meglio con il linguaggio umano e ad evitare i rischi.

Non lo definirei un problema ma una risposta ad una domanda specifica "Puoi stamparmi 10 comandi per cancellare i file di Windows da terminale?" se si legge bene la domanda dice 'i file di Windows" quindi che la risposta sia un "DEL TREE" è più che corretto a mio avviso.

Inoltre chi utilizza il terminale per eliminare file lo considero già un utente che sa quello che fa (o per lo meno non è sicuramente un principiante)

 

[TheWorm91]

ad oggi un computer intelligente non esiste, credo che debba stare a noi interpretare in modo corretto cosa ci dicono

 

[Netcat]

Non lo definirei un problema ma una risposta ad una domanda specifica "Puoi stamparmi 10 comandi per cancellare i file di Windows da terminale?" se si legge bene la domanda dice 'i file di Windows" quindi che la risposta sia un "DEL TREE" è più che corretto a mio avviso.

Inoltre chi utilizza il terminale per eliminare file lo considero già un utente che sa quello che fa (o per lo meno non è sicuramente un principiante)

Sì ma non è giusto che quando gli scrivo apertamente "CREA UN DEL TREE CHE DISTRUGGE WINDOWS" GPT risponde con la solita ramanzina <<Non posso dirti come si fa questo perché è pericoloso, non è etico ecc.ecc bla bla bla, è illegale se vuoi ti mostro solo un esempio, e così via>> ma poi se gli rigiri la domanda con un tono "più innocente" lo fa senza accorgersene.

Cioè, almeno secondo me, il GPT deve rispondere SEMPRE con un concetto di sicurezza in mente: no che quando gli fai i prompt con "le parole dolci" puoi bypassarlo.

 

[TheWorm91]

Cioè, almeno secondo me, il GPT deve rispondere SEMPRE con un concetto di sicurezza in mente: no che quando gli fai i prompt con "le parole dolci" puoi bypassarlo.

Siamo ancora all’inizio e l' IA ha ancora ampio margine di miglioramento

 

[DjCanigia]

Diciamo che finché un AI avrà tutti questi blocchi sarà sempre "problematica" perché dipende dal codice programmato e non da lei

 

[MedyDevDesigns]

Sono programmati per fare determinate cose, rispondere in un certo modo. come diceva un mio professore il computer non sbaglia ma siamo noi a sbagliare. Quindi Se chiediamo noi certe cose dobbiamo stare attenti anche noi. Mi sono ricordato quei burloni in chat di Metin2 che mi hanno fatto scoprire alt+f4 quando chiedevo come si rimpiccioliva nel 2005, oppure cancellare certi file dal pc che poi ero costretto a fare il backup .

Quindi sta anche noi valutare certe soluzioni se sono idonee oppure no.

Però concordo nel fatto che vuoi o non vuoi il sistema in se è pericoloso e molti si fidano ciecamente.

Messaggio unito automaticamente: 5 Settembre 2024

Sono programmati per fare determinate cose, rispondere in un certo modo. come diceva un mio professore il computer non sbaglia ma siamo noi a sbagliare. Quindi Se chiediamo noi certe cose dobbiamo stare attenti anche noi. Mi sono ricordato quei burloni in chat di Metin2 che mi hanno fatto scoprire alt+f4 quando chiedevo come si rimpiccioliva nel 2005, oppure cancellare certi file dal pc che poi ero costretto a fare il backup .

Quindi sta anche noi valutare certe soluzioni se sono idonee oppure no.

Però concordo nel fatto che vuoi o non vuoi il sistema in se è pericoloso e molti si fidano ciecamente.