Un UNO in casa

Nota: non ho la minima intenzione di entrare nel tecnico con questo post – il suo scopo è prettamente ludico e di intrattenimento.
Comunque, se proprio vi interessa, ho usato le immagini docker del progetto localai ed i modelli che ho usato sono il tinylama ed il luna-ai-llama, entrambi presi da hugging face

In questi giorni a lavoro ho avuto occasione di sperimentare e giocherellare un po’ coi modelli di intelligenza artificiale (tranquilli, da domani si torna all’ordinaria amministrazione).
Per farla breve, se si paga un grosso provider (che sia openAI, microsoft o chi per loro) è abbastanza semplice generarsi il proprio piccolo chatGPT privato, e dandogli in pasto i propri documenti si può far si che risponda alle domande utilizzando le informazioni in essi contenute. Ciò è ovviamente molto utile ed ha grosse potenzialità, ma anche notevoli problematiche legate a costi e (sopratutto) alla privacy (chi avrà accesso alle mie informazioni private?)

Tutto molto interessante, certo… ma io sono un millennial italiano cresciuto negli anni ’90.

E quando leggo intelligenza artificiale, penso subito ad una cosa.

E da qui l’idea: è possibile farsi la propria piccola intelligenza artificiale, farla risiedere interamente sul proprio pc, in locale, ed chiacchierarci dei fatti propri come faceva il nostro papero mascherato preferito?

Ebbende, dopo alcune prove, posso dirvi che… si, è possibile.

In teoria.

Ho deciso quindi di provare ad installare due modelli: uno “pesante”, ciccione, ben addestrato, ed uno “leggero”, meno raffinato ma che promette di girare decentemente anche su pc domestici.
Il pc che uso per lavoro tra è già un bel mostro fuori dalla portata dei comuni mortali (per dire ha 64 gb di ram) e col modello leggero sono riuscito ad ottenere risposte in 5-10 secondi… ma sono risposte stupide.
Col modello un po’ più addestrato invece ottengo risposte decenti, ma ci mette 10-15 minuti a domanda.

Ok dai, non male come inizio.

Ho poi provato a dargli in pasto il manuale del giocatore di D&D – giusto per vedere se riusciva a rispondermi attingendo informazioni da lì e… funziona.
Ok non sono risposte che darebbe un maestro di grammatica, spesso contengono errori ma si capiscono: non sono male, per un modello casalingo addestrato in un’oretta con un solo file.

Anche se, al solito, tempi biblici.

Conclusioni dell’esperimento

Avere una piccola e limitata chatGPT totalmente in locale ed istruita coi propri documenti?
Si può fare, ma richiede risorse troppo elevate per essere alla portata di noi mortali.

Certo, basterebbe pagare quei 20$ al mese ad openAI per poter accedere al loro GPT4 ed istruirlo con quel che si vuole, con tutti i rischi di privacy del caso… ma allora dove sarebbe il bello? In ogni caso, ho capito che avendo i mezzi a disposizione in teoria si potrebbe fare. E se ci sono riuscito io (che non sono certo Evertt Ducklair) non è neanche troppo difficile… ma non ne vale la pena.

Io volevo solo vedere se potevo crearmi il mio piccolo UNO di pkna.

E sentirmi un po’ Everett