Discussione domanda per chatgpt offline

gianfrancopierino

Utente Silver
13 Settembre 2018
146
33
12
85
ciao
chatgpt può essere usato offline?

io do al software, diciamo, 1000 pdf da analizzare, poi deve fare la stessa cosa che fa la versione ufficiale online
è possibile?
 

Shini°

Utente Gold
26 Febbraio 2009
380
57
107
273
ciao
chatgpt può essere usato offline?

io do al software, diciamo, 1000 pdf da analizzare, poi deve fare la stessa cosa che fa la versione ufficiale online
è possibile?

Non sono sicuro di aver compreso la domanda.
Attualmente ChatGPT gira solo su browser, non mi pare sia stata rilasciata una versione client ufficiale.
Di conseguenza per poterlo utilizzare dovrai essere connesso ad internet.
 
  • Mi piace
Reazioni: gianfrancopierino

DjCanigia

Moderatore
20 Agosto 2012
1,490
142
394
861
ciao
chatgpt può essere usato offline?

io do al software, diciamo, 1000 pdf da analizzare, poi deve fare la stessa cosa che fa la versione ufficiale online
è possibile?
ChatGpt è un intelligenza online che sfrutta il web per dare risposte coerenti per le domande, non è ancora sviluppata per analizzare documenti privati. E non esiste nessuna versione offline perché come ripeto ha bisogno di internet per poter generare risposte
 
  • Mi piace
Reazioni: gianfrancopierino

Shini°

Utente Gold
26 Febbraio 2009
380
57
107
273
ChatGpt è un intelligenza online che sfrutta il web per dare risposte coerenti per le domande, non è ancora sviluppata per analizzare documenti privati. E non esiste nessuna versione offline perché come ripeto ha bisogno di internet per poter generare risposte
In realtà se devo fare il pignolo è errato quello che dici, non viene sfruttato il web per generare risposte :)
 

DjCanigia

Moderatore
20 Agosto 2012
1,490
142
394
861
In realtà se devo fare il pignolo è errato quello che dici, non viene sfruttato il web per generare risposte :)
Si lo so che ha un database fermo ad un paio di anni fa, e non è connessa direttamente ad Internet. Ha comunque una rete "Interna" pensare di poterlo rendere offline su un proprio dispositivo è come prendere l'intero WEB fino al 2021 e "immagazinarlo" nel proprio smartphone
 

St3ve

Utente Jade
12 Ottobre 2011
2,384
5
1,736
683
ChatGpt è un intelligenza online che sfrutta il web per dare risposte coerenti per le domande, non è ancora sviluppata per analizzare documenti privati. E non esiste nessuna versione offline perché come ripeto ha bisogno di internet per poter generare risposte

Si lo so che ha un database fermo ad un paio di anni fa, e non è connessa direttamente ad Internet. Ha comunque una rete "Interna" pensare di poterlo rendere offline su un proprio dispositivo è come prendere l'intero WEB fino al 2021 e "immagazinarlo" nel proprio smartphone
Si è capito perfettamente quello che vuoi dire, ma per essere un po' più precisi possiamo dire che usa internet ma non ha accesso al word wide web. Usa internet nel senso che la parte di supervised learning adesso la sta facendo grazie ai sui utenti, ma non ha accesso al word wide web perché non cerca la risposta come faresti tu usando google ma la genera sul momento. Quanto pesa esattamente non si sa, ma plausibilmente si parla di una RNN con 175 miliardi di parametri. I 65 miliardi di parametri in LLaMA di Facebook (che hanno leakato su torrent) pesano circa 120GB, quindi plausibilmente GPT3.5 peserà al più tre volte tanto, sparo un 360GB circa. Sembra tanto, però ci sono videogiochi che pesano quasi la metà e alla fine con 40 euro ti compri un SSD da 512GB. I problemi però sono due:
  • sebbene l'azienda si chiama OpenAI, tutta questa roba è closed-source e la rete pre-allenata ce l'hanno solo loro e i pesi non li pubblicheranno mai;
  • anche se ci fosse un leak (e.g., scaricati LLaMA, che non è GPT3.5 ma è comunque roba seria) devi avere un computer in grado di far girare sta roba.
LLaMA gira sulle Nvidia A100 80GB, che hanno un prezzo che parte da 30k euro. Per GPT3.5 80GB non bastano quindi come minimo dovresti prenderne 4, andando a spendere 120 mila euro in solo per le GPU. Non escludo che si possa far girare anche su CPU spendendo molto meno (anche se sarà lentissima), però ecco... per quanto puoi puntare al risparmio, sono comunque cifre proibitive per i comuni mortali.