AI - per che cosa la usi, e quale piattaforma utilizzi

[jam]

Però ti faccio una domanda "ignorante".

Se la AI aziendale è un sistema chiuso, come cresce? Se è previsto che cresca.
O è solo un grande serbatoio in cui inserite i vostri dati e lei vi fa da "archivista" e vi permette di recuperarli ed elaborarli a vostro piacimento?

Se tra i dati c'è un errore, una discrepanza (es. due progetti della stessa cosa di cui uno è la correzione dell'altro o l'evoluzione dell'altro) se ne accorge o li prende entrambi per buoni? (ovviamente l'esempio è semplicistico).

Grazie

[tripla-m]

Nessuna domanda è ignorante

Noi di fatto non vogliamo che cresca, bensì che sia stabile, prevedibile, costante e soprattutto affidabile nel generare la risposta.
Una cosa che avevamo notato con ChatGPT, quando decidevano loro di aggiornare il modello (esempio da gpt 5.4 a gpt 5.5) senza alcun avviso, il modo con cui generava la risposta cambiava e la cosa non ci (mi) piaceva, perché questo voleva dire che dovevo riprovare tutto da un giorno ad un altro per confermare che andasse ancora bene senza possibilità di programmarmi il lavoro.

Al momento il modello scaricato e che è in uso nel pc locale è ministral 3, creato in Francia. Conosce bene le lingue europee, quindi anche l'italiano, è veloce e leggero, supporta lunghe conversazioni ed è pensato specificatamente per operare su hardware poco potente. Il modello è uscito nel dicembre 2025, ma è aggiornato solo fino a novembre 2024. Per l'utilizzo aziendale nostro può essere aggiornato anche al 1980, tanto deve usare solamente le informazioni che io gli do. Ogni nave ha la sua AI con i suoi regolamenti, sta al dipendente scegliere quella giusta, in caso contrario verrebbe comunque corretto dalla ai stessa.

Di base i regolamenti li dai per corretti, poiché sono forniti dal cantiere o dalle autorità competenti, poi sta a me caricarli all'ai correttamente. Al momento l'ai da per verità certa quello che trova scritto nel regolamento. In caso di discrepanze, dubbi, errori, informazioni poco chiare o mancanti che capita ogni tanto, è impostata per segnalarlo all'utente, dicendo anche il paragrafo/sezione/capito/pagina/nome documento. A quel punto starà all'umano verificare il problema ed eventualmente segnalarlo a me se reputa che l'ai ha sbagliato.

Al momento gli ingegneri che la stanno provando la reputano molto valida, sia come qualità della risposta, sia come velocità. Normalmente richiede dai 30 secondi ai 2 minuti per consultare tutto e dare una risposta completa e dettagliata, quando magari per la stessa cosa un umano ci avrebbe impiegato qualche ora e forse anche qualche riunione con il cantiere

[jam]

Molto interessante, fa il paio con quello che ho scritto io in precedenza, mi piace !!!

poi ovviamente occorre che uno ci metta la propria attenzione come ultimo filtro e soprattutto la propria testa per capire come utilizzare i dati

[tripla-m]

Infatti, adesso mi ritrovo con una responsabilità enorme

[jam]

Chiedi alla AI se ti può dare una martellata sulla sacca maronaia al posto tuo

[T.n.T.]

Un paio di domande da ignorante anche io, perché la cosa di far lavorare l'AI in locale è una figata: ma di che potenza di calcolo necessita? Immagino che, essendo "la base" già addestrata, non sia esorbitante (parli di pc datati), ma poi è rapida nel lavoro? E si può installare qualsiasi modello? Quanto costa (non credo che siano open source.. forse Mistral si, ma quelle ammmerigane dubito)?
Non parlo di farla da zero, come fa Giffissimo, ma di prendere un modello funzionante e installarlo in locale.

[chiccopaqe]

ce ne sono di varie misure (numero di parametri), e di conseguenza lavorano su macchine con potenze diverse. anche normali pc (o cellulari).
ci sono modelli open, anche americani. ad esempio la serie gemma di google. o cinesi (qwen)

[tripla-m]

Un paio di domande da ignorante anche io, perché la cosa di far lavorare l'AI in locale è una figata: ma di che potenza di calcolo necessita? Immagino che, essendo "la base" già addestrata, non sia esorbitante (parli di pc datati), ma poi è rapida nel lavoro? E si può installare qualsiasi modello? Quanto costa (non credo che siano open source.. forse Mistral si, ma quelle ammmerigane dubito)?
Non parlo di farla da zero, come fa Giffissimo, ma di prendere un modello funzionante e installarlo in locale.

I modelli sono già addestrati altrimenti altro che pc datati. Per fare l'inferenza (cioè che pensa e genera una risposta, per dirla terra terra) non servono componenti all'ultimo grido, purché si resti umili usando modelli AI anche essi non all'ultimo grido.
Il pc che ho realizzato in ufficio e composto così:

cpu: i9-9900k del 2018 (sostanzialmente inutile perché non viene usata per la risposta)
ram: 32gb (sostanzialmente inutile perché non viene usata per la risposta)
gpu: 3 nvidia quadro rtx4000 da 8gb del 2018 (queste sono essenziali, avevo iniziato con una gpu e sono salito rapidamente a 3 per motivi di spazio, 8gb sono pochi)
ssd: 1tb (il modello pesa circa 10GB, quindi oltre al sistema operativo non c'è altro dentro)

tutti i componenti li avevamo già in casa. Come costi, oltre al mio normale stipendio da dipendente e alla corrente, l'azienda non ha speso altro.

Ora, non è una scheggia e non posso usare gli ultimissimi algoritmi con le ultime ottimizzazioni perché i componenti del pc sono vecchi, ma funzionano bene e sono veloci

[T.n.T.]

Ok, grazie! Quindi ci vogliono comunque un po' di gpu: l'ideale sarebbe qualche vecchio pc da gaming. Io ne ho di vecchi da ufficio, ma mi sa che non sono adatti (non faccio disegno e hanno processori decenti ma come grafica sono inadeguati).

[tripla-m]

Anche una vecchia rtx 2060 da 6gb va bene se vuoi fare solo delle prove per curiosità, io a casa ho iniziato con quella. Poi se vuoi qualcosa di davvero utile allora devi passare a qualcosa di più carrozzato ecco.

[Babbano]

Sto stron.zi di Nvidia, è passato un periodo che le GeForce non erano nemmeno le più prestazionali

[boxer]

Ok, grazie! Quindi ci vogliono comunque un po' di gpu: l'ideale sarebbe qualche vecchio pc da gaming. Io ne ho di vecchi da ufficio, ma mi sa che non sono adatti (non faccio disegno e hanno processori decenti ma come grafica sono inadeguati).

Di modelli gratuiti da far girare in locale ce ne è quanti ne vuoi, a seconda dell'hardware puoi usare modelli più o meno grandi.
Per capire quale modello fa al tuo caso devi fare delle prove.

Qui puoi scaricare il necessario per farla girare in locale:
https://ollama.com/download

Questi sono modelli disponibili:
https://ollama.com/library

Per le GPU conviene comprare una scheda usata, con poche centinaia di euro ne prendi una con almeno 32Gb di ram.

Se vuoi fare delle prove con il cellulare puoi scaricare per il telefono android PocketPal AI
https://play.google.com/store/apps/details?id=com.pocketpalai

[T.n.T.]

Grazie!

[boxer]

Se vuoi approfondire il discorso, visto che abitiamo vicino, possiamo parlarne bevendoci una birra

[T.n.T.]

Per adesso me le studio un po', ma poi magari ci sentiamo, grazie!

[Def61toss]

Io uso ChtGpt per lavoro (al moneto versione free) con il software di BI Qlik sense, conosce bene le funzioni di Qlik e mi aiuta a scrivere, o correggere, qualche script.
Bisogna spiegare bene, anche più volte, ciò che si vuole ottenere, ogni tanto "esce di strada" ma comunque mi da una buona mano. Quando "sgarra" gli dico di studiare e che mi rivolgo alla concorrenza...
Ho provato anche Claude e Gemini, con quest'ultima ho risolto delle modifiche alla configurazione (riservate all'assistenza tecnica) che riscontravo con un inverter fotovoltaico Sungrow.

[leolito]

https://www.bbc.com/news/articles/c3ek3gvdnj3o

Arriva l'ora di Skynet?

[Giffissimo]

https://www.youtube.com/watch?v=v2jJwgmWEVw&t=4347s
Qui ne parlano se avete un po' di tempo ve lo consiglio

[PrinciLand]

Arrivata una nuova versione di cgp ... ha eliminato i limiti della precedente.. che per me riguardavano la mole di pdf che gli davo in pasto.. nella versione precedente interrompeva la lettura non leggeva integralmente.. martedi gli ho dato un centinaio di file pdf riguardanti tutta la storia edilizia di una casa che vogliamo acquistare mi ha mandato fuori bello e brutto.. ... non so se sia il modo intelligente di usarlo... ma cavolacci mi fa dei riassunti che il bignami gli fa una sega... e poi gli faccio tutte le domande del cazzz che voglio e lui tra leggi e leggine mi risponde.. POI VERIFICO ovviamente.. ma intanto una bella scrematura me la da... pensate ai contratti con le agenzie.. inesattezze mappali sigle.. oo questo non si dimentica un azz....

della settimana scorsa un mio dipendente Matteo ha deciso di usare Cloud per fare un sito veloce della mia tipografia... azz è venuto anche bene... io mi sono fatto fare un sito rapido di mabe.. mi hanno preso un migliaio di euro ed è anche peggio...

Bisogna dire la verità.. questa AI toglie lavoro a tanti inventati dell'ultima generazione... quelli che fanno siti ad es. gli interpreti.. chi fa commercio online sporco compra da una parte e vende dall'altra... pensate che sto istruendo un agente ai per delle operazioni abbastanza meccaniche in realtà ma per il quale adesso ho un operatore fisso per 8 ore al giorno... quell'operatore lo metterò sul furgone a fare i ritiri e le consegne di quello che gli combina l'agente... con buona pace mia che invece non ho più voglia di fare un emerito CAZZZZZZ

per non parlare della verifica di fattibilità dell'anatocismo.. sto controllando un decennio di dati dell'azienda di mia sorella per capire quale banca posso rompergli i maroni.. e sono già a buon punto .. lo studio sta verificando.. ma è già molto preoccupato dei risultati ottenuti... anche lui vuole capirne di più ha personale che paga per fare questo tipo di conteggi... che cgp fa in modo automatico e quasi GRATIS..

[T.n.T.]

Ma si è uno strumento pazzesco e cambierà il mondo... per alcuni in peggio, per altri in meglio, al solito.
Io ad esempio m'immagino un mondo in cui non bisogna più pagare fantastiliardi a consulenti per fare qualsiasi cosa (che sia un commercialista, un consulente sulla sicurezza, ecc.).

Se a 20 anni avessi avuto un'AI a disposizione, probabilmente sarei diventato più nerd di quello che sono, ma avrei "conquistato il mondo"... Penso a tutte quelle idee e progetti che poi sono caduti nel vuoto perché ti scontravi con la realtà, che spesso richiedeva investimenti enormi, solo per fare il primo passo. Con un'AI è come se avessi un ufficio strutturato al tuo servizio.

Comunque in questi giorni sto provando ad automatizzare alcuni processi complessi della mia azienda (del lavoro che faccio io, così posso andare in vacanza senza che imploda tutto ) e per ora, Opus di Claude, fa ancora fatica. Dopo decine di ore di "prompt" non ho ancora cavato un ragno dal buco... non ho però provato Fable, il modello più potente (mi hanno regalato dei crediti, ma il suo uso costa caro).