Databricks expande Mosaic AI para ajudar empresas a construirem com LLMs

Um ano atrás, a Databricks adquiriu a MosaicML por US$ 1,3 bilhão. Agora renomeada como Mosaic AI, a plataforma se tornou fundamental para as soluções de IA da Databricks. Hoje, na Data + AI Summit da empresa, está lançando uma série de novos recursos para o serviço. Antes dos anúncios, falei com os co-fundadores da Databricks, CEO Ali Ghodsi e CTO Matei Zaharia. A Databricks está lançando cinco novas ferramentas Mosaic AI em sua conferência: Mosaic AI Agent Framework, Mosaic AI Agent Evaluation, Mosaic AI Tools Catalog, Mosaic AI Model Training e Mosaic AI Gateway. "Foi um ano incrível - grandes desenvolvimentos em Gen AI. Todos estão entusiasmados com isso", disse Ghodsi. "Mas as coisas que todo mundo se preocupa ainda são as mesmas três coisas: como fazemos a qualidade ou confiabilidade desses modelos aumentar? Em segundo lugar, como garantimos que seja eficiente em custos? E há uma enorme variação de custos entre os modelos aqui - uma diferença gigantesca, em ordens de magnitude, no preço. E terceiro, como fazemos isso de forma a manter a privacidade de nossos dados?" Os lançamentos de hoje visam abordar a maioria dessas preocupações dos clientes da Databricks. Zaharia também observou que as empresas que estão implantando modelos de linguagem grandes (LLMs) em produção estão usando sistemas que têm vários componentes. Isso muitas vezes significa que fazem várias chamadas a um modelo (ou talvez vários modelos, também), e usam uma variedade de ferramentas externas para acessar bancos de dados ou fazer recuperação gerada por geração (RAG). Esses sistemas compostos aceleram as aplicações baseadas em LLM, economizam dinheiro usando modelos mais baratos para consultas específicas ou armazenando em cache os resultados e, talvez o mais importante, tornam os resultados mais confiáveis e relevantes ao ampliar os modelos de base com dados proprietários. Falando sobre o Unity Catalog (que a empresa está agora também gradualmente abrindo o código-fonte), vale ressaltar que a Databricks agora está estendendo este sistema para permitir que as empresas governem quais ferramentas e funções de IA esses LLMs podem chamar ao gerar respostas. Este catálogo, segundo a Databricks, também tornará esses serviços mais descobríveis em toda a empresa.