Mettiti l’LLM in tasca: AI generativa offline su smartphone con Flutter

I Large Language Models sono oggi quasi sempre utilizzati tramite servizi cloud, con costi, latenza e implicazioni sulla privacy. Ma è davvero necessario essere sempre connessi?

In questo talk vedremo come eseguire LLM direttamente su smartphone, completamente offline, utilizzando Flutter e il framework Cactus. Analizzeremo vantaggi e limiti dell’inferenza on-device e mostreremo una demo reale di un’app Flutter che integra un modello linguistico locale.