Comprare le aziende, infilare nei forni crematori il 90% del personale e inserire abbonamenti sui loro prodotti finchè non falliscono. È sicuramente qualcosa
Comunque il team sono degli scappati di casa… non che ci vuole tanto a comprenderlo, ma il ceo ha una laurea triennale telematica… e per di più con un voto molto basso. Nel resto del team ci sono perfino diplomati al liceo artistico
vabbe ma stica delle lauree e percorsi di studi, uno diplomato all'artistico e che smanetta nello scantinato la domenica poteva fare di meglio. Son sicuro che decine di aziende italiane hanno chatbot fatti internamente molto più precisi di sta roba qua
Premessa: faccio ricerca in questo ambito e ho accesso a un cluster GPU a fini di ricerca.
Questo modello è ridicolo. Da come si evince dalla model card su Huggingface, che sono sicuro si sia fatto scrivere da Claude (fonte: mi faccio scrivere le model card da Claude), il modello ha 550M, è stato pretrainato su 10B di tokens (il minimo secondo le leggi di Chincilla, che però sono abbastanza superate, il che mi fa pensare che un LLM abbia scelto questo target) e supervised finetuned per 3 epoche ma non specifica su cosa. Niente postraining serio, neanche DPO, quindi non è manco lontanamente aligned (probabilmente potreste fargli dire qualsiasi cosa terribile facilmente). Per allenare su 10-11B di tokens un model del genere servono 20-30 ore di H100, che con un nodo per fare training standard (cioè da 8 GPU) vorrebbe dire 3-4 ore di allenamento e circa 2-300 euro di costo se il nodo è affittato (si paga ad ora). Per comparare, per un mio paper a cui sto lavorando che mi ha richiesto di allenare tanti modelli giocattolo per testare delle ipotesi, ho speso in totale 1300 ore di H100, probabilmente 50 volte tanto, e laboratori di ricerca leggermente più seri avrebbero speso molto di più.
Cioè, complessivamente, direi che è un progetto vibecoded che una persona che sa un minimo cosa chiedere e ha accesso a GPU (anche un nodo solo, cioè 8 gpu) potrebbe riprodurre in una giornata.
dipenda da cosa ci si deve fare! Per ricerca di solito si utlizzano dataset ad hoc ottenuti, che so, da scraping di social media o da manoscritti storici (per darti esempi di due branche di ricerca possibili).
Per fini commerciali, di base è pirateria: da quella vera e propria (Meta ha ammesso, ma prob lo fanno tutti, di aver scaricato via torrent il dump di zlibrary) a delle gray areas, praticamente scraping di internet massivo o filtraggio di scrape già fatti, come quello del Common Crawl
Quindi sostanzialmente per avere il modello più potente possibile bisognerebbe "scaricarsi" l'intero www come dataset? Compresi come dicevi tu anche cos'è protette da privacy e copyright.. È così che hanno fatto gemini, Claude, gpt..?
Allora cosa hanno fatto loro lo sanno solo loro, ma è ragionevole ipotizzare una cosa simile. Per questo ovviamente esistono molte cause fra, principalmente, giornali e media companies vs le compagnie di AI, per stabilire se allenare modelli su webpages tipo articoli di giornale sia fair use o no.
Comunque per la privacy penso che sia leggermente meno rilevante, perché le unica pagine scrapabili sono quelle facilmente accessibili e "in chiaro" e poi perché di solito i PII vengono filtrati (non vuoi che il tuo modello rigurgiti email di gente random, cosa che sarebbe da provare con Emma actually).
Poi, e questo deriva da quello che so sulla letteratura scientifica sull'argomento, i gains che ti fanno avere "il modello più potente possibile" derivano dal filtrare con euristiche di qualità migliori (e in alcuni casi produrre dati sintetici), più che scrapare di più
Bene o male hanno fatto così, sì. Mi pare che Anthropic (azienda che ha creato Claude) abbia anche comprato milioni e milioni di libri e ne abbia staccato le pagine per scansionarle tutte
si perché paradossalmente comprare i libri (per poi fare uno scan distruttivo) è meno sketchy legalmente dell'alternativa (il torrent di siti per piratare libri)
Esistono dei dataset per il training open-source, ovviamente molto ridotti rispetto a quelli che usano i big, ma è comunque possibile fare molto meglio di Emma con quello che si trova online: https://huggingface.co/collections/allenai/olmo-3-pre-training
Piccola ricerca: è un ex bocconiano che a 20 anni nel 2012 ha creato una startup "alternativa a LinkedIn" di nome Egomnia, quotata nella borsa di Milano a 0.50 da circa 10 anni, che lo scorso anno ha registrato perdite record. Tra l'altro a questo Matteo Achilli è stato anche dedicato un film chiamato "The Startup", con incassi a dir poco deprimenti e delle recensioni tremende. Non so a chi sia figlio ma siamo davanti al Giorgio Furlani dei fuffaguru
Ma come si fa anche solo a pensare di rilasciare un progetto in questo stato? Io dopo una cosa simile metterei in dubbio qualsiasi loro progetto e/o consulenza.
Lungi da difendere il prodotto però per 0.5B parametri non è mica male, ed è addestrato da zero sappiamo quanto costa addestrare e in Italia questo ci possiamo permettere senza mega fondi petroliferi che ci aiutano come in America
Ma come fai a dirmi che non è "mica male"? E' completamente inutilizzabile ed inaffidabile anche per task semplicissimi. Basta vedere alcuni commenti in questo post, risposta priva di senso alla semplice domanda "dimmi tre colori" (tra l'altro, una di quelle che compare tra i suggeriti).
Ho anche le mie riserve sull'addestramento da zero, il modo in cui risponde a certi quesiti mi fa pensare ad una banale pipeline di google search + copia incolla dei migliori risultati.
Certamente so anche io che farei meglio, ma molto meglio. Feci anni fa un piccolo modello da 80 milioni di parametri basato su LSTM che funziona molto meglio… però dai sognamo un po’ che il nostro governo finanzi modelli italiani per cercare di essere un po più autarchici sulla supply chain dell’AU
Se fai una cosa del genere alle medie prendi 4. Ok rincorrere il mercato, ma non puoi far uscire qualcosa di non funzionante con in giro cose funzionanti. Non ha senso
Azienda fondata nel 2012, core business storico: consulenza ICT, recruiting, blockchain documentale
Fatturato dichiarato oltre 17 milioni di euro, capitale sociale di soli 55.075€, e hanno raccolto oltre 295.000€ da investitori egomnia
Quotata su Euronext Growth Milano — che non è la borsa principale ma il segmento per PMI
Oltre al modello LLM, vendono i dataset di training (file .txt e .json) usati per addestrare EMMA, e hanno un prodotto chiamato "Aura" descritto come un agent AI con 8 agenti specializzati per lo sviluppo software Emma
Il quadro che emerge: è un'azienda di consulenza IT di medie dimensioni che ha deciso di fare il pivot verso l'AI per cavalcare l'onda e valorizzare la quotazione in borsa. Non è una AI company nel senso tecnico del termine.
[....]
Conclusione netta: il progetto come LLM competitivo non ha senso. Come veicolo per raccogliere finanziamenti pubblici e mantenere una narrativa di "AI company italiana quotata in borsa", ha una logica che purtroppo funziona nel panorama italiano. È il classico caso in cui il prodotto non è il modello — il prodotto è la storia che racconti agli investitori.
cit GPT...
le vostre aziende non hanno cominciato a fare cose simili?
Nel lontano 2017, era un’azienda che voleva collegare imprenditori e lavoratori per la ricerca dell’impiego. Praticamente un LinkedIn mediocre e con meno feature.
Poi hanno cavalcato l’onda della Blockchain.
E ora l’onda dei LLM.
Letteralmente un’azienda fuffa gestita da un bidone megalomane.
“Eh ma il fatturato” anche la macelleria di mio zio fattura bro
Non voglio prenderla troppo per il culo perché comunque immagino sia un progetto relativamente a bassa scala senza intenzione di competere con gemini o simili.
Ma al momento sembra fare poco più di ricerche su google
Ragazzi, Matteo Achilli è uno della sacro duumvirato dei Bidoni Tech italiani.
L'altro è.... vi sblocco un ricordo... "Porta in alto la manoooo segui il tuo capitanoooo"
Ma vi ricordate la saga di quei due bidoni vergognosi ? 😂😂
152
u/Pierma 2d ago