Uma análise dos principais pontos discutidos no 2º episódio do podcast AI Business Asia com Lewis Liu, gerente de produtos do grupo Google Gemini e Vertex AI.

Se você quiser conferir o episódio → Spotify | Maçã 

No mundo acelerado da inteligência artificial (IA), particularmente em modelos de linguagem grande (LLMs), os avanços estão acontecendo em uma taxa sem precedentes. Esta recapitulação explora os desenvolvimentos recentes na abordagem do Google para LLMs, incluindo a mudança para lançamentos incrementais, a integração de recursos inovadores e o cenário competitivo com modelos globais. Também nos aprofundamos no papel dos dados, nas vantagens dos dados primários e no que uma experiência de IA pronta para empresas requer.

Avanços do Google em LLMs

No ano passado, a equipe do Google acelerou significativamente o ritmo dos lançamentos de LLM, entregando aproximadamente 200 atualizações em comparação com os 20-30 lançamentos dos anos anteriores, um aumento de dez vezes. Essa mudança reflete uma mudança de lançamentos tradicionais em larga escala para uma abordagem mais ágil e incremental. 

Características inovadoras

• Geração Controlada: O Google introduziu um recurso de geração controlada com decodificação controlada. Esse recurso permite que os desenvolvedores forneçam um esquema ao modelo, garantindo que os objetos JSON gerados sejam 100% precisos e estejam em conformidade com os esquemas especificados. Esse recurso foi entregue pela primeira vez com o modelo Gemini 1.5 Pro e foi adotado recentemente pela OpenAI.
• Cache de contexto: Outra inovação é o cache de contexto, que ajuda a gerenciar janelas de contexto extensas, com o Google sendo pioneiro em uma janela de contexto de até 2 milhões de tokens. Esses avanços destacam o comprometimento do Google em aprimorar os recursos do modelo e as experiências do usuário.

Posicionamento competitivo

Em meio a percepções de que o Google não tem vantagem competitiva, a empresa tem se concentrado em inovação rápida e em responder aos avanços globais em IA. A discussão também aborda os desafios e oportunidades apresentados por modelos emergentes da China, onde os avanços no tratamento de contexto longo e no ajuste fino para idiomas chineses são notáveis.

O panorama global dos modelos de IA

Modelos da China

Modelos desenvolvidos na China estão ganhando atenção por suas capacidades, particularmente em lidar com contextos longos e adaptar respostas para idiomas chineses. A conversa revela que, embora o Google monitore esses desenvolvimentos, a empresa não se envolve diretamente com o mercado chinês devido a restrições regulatórias.

Identidade e Nacionalidade na IA

Um tópico significativo de discussão é se os LLMs devem ter identidades nacionais ou ser influenciados por limites geográficos. O consenso é que, embora os modelos reflitam os vieses e identidades de seus criadores, um investimento extensivo em modelos nacionais pode não ser necessário. Em vez disso, o ajuste fino para casos de uso específicos pode ser mais prático.

O papel dos dados no desenvolvimento do LLM

Importância de dados de alta qualidade

Dados de alta qualidade continuam sendo a pedra angular do treinamento de LLMs eficazes. No reino da IA generativa, a qualidade e a diversidade dos dados influenciam diretamente a capacidade do modelo de gerar saídas precisas, relevantes e sensíveis ao contexto. Dados sintéticos, quando integrados de forma ponderada, podem expandir os limites do que os LLMs podem alcançar, especialmente em cenários onde dados do mundo real podem ser limitados ou tendenciosos. A progressão dos LLMs é cada vez mais impulsionada por diversas fontes de dados, incluindo interações humano-computador, que aumentam a capacidade dos modelos de raciocinar, planejar e gerar respostas mais matizadas.

Dados e infraestrutura de primeira parte

• Desafios para Startups: Startups enfrentam desafios significativos ao competir com grandes empresas que têm acesso a grandes quantidades de dados primários. A ênfase em dados proprietários e infraestrutura robusta por empresas como o Google ressalta o papel crítico que esses elementos desempenham na criação de aplicativos LLM diferenciados. Para startups, a falta de acesso a dados primários pode ser um obstáculo considerável, tornando essencial explorar abordagens inovadoras para aquisição de dados e treinamento de modelos.
• Conformidade regulatória: Aterrar a IA com informações factuais e confiáveis é crucial para o desenvolvimento de soluções prontas para empresas. No contexto da IA generativa, o aterramento garante que as saídas produzidas pelo modelo não sejam apenas precisas, mas também alinhadas com o contexto e as regulamentações do mundo real. Isso é particularmente importante em aplicativos empresariais onde os riscos são altos e o custo das imprecisões pode ser significativo. Aderir à conformidade regulatória é outro aspecto essencial, pois garante que as soluções de IA operem dentro das estruturas legais dos setores que atendem, reduzindo o risco de complicações legais e promovendo a confiança entre os usuários.

Construindo uma experiência de IA pronta para empresas

A adoção de IA empresarial requer consideração cuidadosa de vários fatores-chave para garantir uma implementação bem-sucedida e criação de valor: 

1. Capacidades da plataforma: As empresas precisam de mais do que apenas um modelo ou API. Uma plataforma abrangente deve dar suporte ao ajuste fino, avaliação e destilação do modelo. Recursos colaborativos são cruciais, permitindo que as equipes trabalhem juntas em prompts e rastreiem mudanças de forma eficiente.
2. Segurança e privacidade: Medidas de segurança robustas são primordiais. O Google, por exemplo, implementa criptografia forte para garantir que os dados do cliente permaneçam inacessíveis aos funcionários. Esse nível de proteção de dados é essencial para manter a confiança e a conformidade com os regulamentos1.
3. Escalabilidade: A capacidade de implementar modelos em escala é essencial para aplicativos empresariais. Isso inclui considerações sobre custo-efetividade e otimização de desempenho.
4. Factualidade e Fundamentação: As empresas exigem sistemas de IA que forneçam informações precisas e factuais. Técnicas como Retrieval Augmented Generation (RAG) podem ajudar a fundamentar respostas de IA em fontes de dados verificadas, reduzindo alucinações e melhorando a confiabilidade.
5. Integração com sistemas existentes: Para máxima eficiência, a IA deve se integrar perfeitamente às ferramentas e fluxos de trabalho existentes de uma organização. A abordagem do Google de incorporar o Gemini em aplicativos amplamente usados, como Gmail e Calendar, exemplifica essa estratégia.
6. Personalização e ajuste fino: A capacidade de adaptar modelos a necessidades específicas da indústria ou dados da empresa é crucial. Isso permite que as empresas aproveitem a IA para seus casos de uso exclusivos e informações proprietárias.
7. Conformidade e adesão regulatória: As soluções de IA empresarial devem ser projetadas tendo em mente os requisitos regulatórios, garantindo que atendam aos padrões específicos do setor e às leis de proteção de dados.
8. Gestão de custos: Embora alguns recursos de LLM estejam se tornando commodities, as empresas devem equilibrar qualidade, latência e custo ao selecionar e implementar soluções de IA.
9. Avaliação Contínua: Dado o ritmo acelerado do desenvolvimento da IA, as empresas devem implementar estruturas para avaliação contínua de modelos de IA usando seus próprios dados e casos de uso, em vez de depender apenas de benchmarks públicos.
10. Considerações éticas: O desenvolvimento e a implementação responsáveis da IA devem ser uma prioridade, abordando potenciais preconceitos e garantindo o uso justo e ético das tecnologias de IA

Aqui estão alguns estudos de caso do Google Cloud GenAI:

Banco Federal

• Interação aprimorada do Chatbot:Usamos o Vertex AI para tornar o chatbot, Feddy, mais humano e personalizado.
• Suporte multilíngue 24 horas por dia, 7 dias por semana: Implementou IA para atendimento ao cliente multilíngue e 24 horas por dia.
• Integração de API: Desenvolveu um portal de API para otimizar as colaborações de FinTech e melhorar a segurança.
• Eficiência dos funcionários: Criei um aplicativo móvel com o Firebase para aumentar a produtividade dos funcionários.
• Segurança de dados: Usou o Cloud Armor para proteger contra ataques DDoS e garantir a conformidade dos dados.

Misticamente

• Integração do cliente: Criou o Mystic, um chatbot de IA que usa o Vertex AI, para agilizar a integração de usuários e reduzir a necessidade de suporte de agentes.
• Autoatendimento aprimorado: O Mystic lida com consultas complexas, melhorando a satisfação do usuário.
• Escalabilidade: O chatbot de IA gerencia várias consultas ao mesmo tempo e encaminha problemas não resolvidos para agentes humanos.

Cobertura

• Desenvolvimento BharatGPT: Construímos uma plataforma de IA multilíngue usando o Vertex AI, permitindo que as marcas conversem com os clientes em idiomas nativos.
• Personalização e Segurança: Oferece uso flexível de dados com a infraestrutura segura do Google.
• Escalabilidade: Usou o dimensionamento automático do Kubernetes Engine para gerenciar o tráfego de pico com eficiência.
• Colaboração inovadora: Fez parceria com o Google Cloud para inovação contínua e soluções focadas no cliente.

Conselhos para Startups e Executivos

Para Startups

Seja ágil: A rápida evolução da tecnologia de IA exige que as startups permaneçam ágeis e responsivas. Desenvolver um roteiro de longo prazo pode ser desafiador, dada a natureza imprevisível dos avanços tecnológicos. As startups devem se concentrar em se adaptar rapidamente a novos desenvolvimentos e experimentar tecnologias emergentes.

Para Executivos

Avaliar casos de uso: Os executivos são encorajados a olhar além do hype e dos benchmarks ao implementar estratégias de IA. É crucial avaliar modelos com base em casos de uso práticos e avaliá-los com seus dados. Os benchmarks públicos nem sempre refletem o desempenho de um modelo em cenários do mundo real, então testes práticos são essenciais.

Conclusão

O cenário de grandes modelos de linguagem está evoluindo rapidamente, com avanços significativos vindos tanto de players estabelecidos como o Google quanto de modelos emergentes globalmente. Inovações como geração controlada e cache de contexto estão definindo novos padrões para recursos de LLM. À medida que a tecnologia de IA continua a avançar, entender o papel dos dados, o impacto das influências geográficas e a importância do desenvolvimento ágil será fundamental para permanecer à frente neste campo dinâmico. 

Para startups e executivos, permanecer ágil e focado em aplicações práticas será crucial para navegar no futuro da IA e garantir implementações bem-sucedidas.

Certifique-se de estar inscrito para receber notificações sobre nossos futuros episódios de podcast → YouTube | Spotify | Maçã  | RSS