Snowflake, l’AI Data Cloud company, ha annunciato che metterà a disposizione in Snowflake Cortex AI la libreria di Large Language Models (LLM) multilingue open source, Llama 3.1, per permettere alle aziende di utilizzare e sviluppare facilmente efficaci applicazioni in ambiente Enterprise.
Questa offerta include il più grande e performante LLM open source di Meta, Llama 3.1 405B. In questo progetto, Snowflake si è occupata di sviluppare e rendere open source il sistema di inferenza in modo da poterlo utilizzare in tempo reale e inoltre democratizzare ulteriormente le potenti applicazioni di linguaggio generativo.
Il team di ricerca AI di Snowflake ha ottimizzato Llama 3.1 405B sia per l’inferenza sia per il fine-tuning, supportando un’enorme ‘contex window’ di 128K fin dal primo giorno e consentendo l’inferenza in tempo reale con una latenza end-to-end fino a 3 volte inferiore e un throughput 1,4 volte superiore rispetto alle soluzioni open source esistenti. Inoltre, consente di eseguire il fine-tuning del modello utilizzando un singolo nodo GPU direttamente all’interno di Cortex AI, eliminando costi e sprechi a sviluppatori e clienti.
Grazie alla collaborazione con Meta, Snowflake offre alle aziende clienti un modo semplice, efficiente e affidabile per accedere, ottimizzare e distribuire senza problemi i modelli più recenti di Meta nell’AI Data Cloud, con un approccio globale di protezione e sicurezza integrato sin dalle basi.
