Navegando na pilha LLM e GenAI: oportunidades e desafios para startups e empresas asiáticas

Apresentando as opiniões de Leo

Como ex-CDO da Huawei Cloud e tendo construído um dos maiores ecossistemas de startups da região, tive acesso direto a:

1. Organização e equipe que estão desenvolvendo chipsets de GPU, LLMs (Large language model) e outros LMs (larges models);   
2. Empresas que estão embarcando em sua jornada de transformação de IA; e   
3. Startups de IA do Oriente e do Ocidente desenvolvendo ferramentas e aplicativos de LLM e GenAI.

Como isso é relevante para você?

• Se você é um executivo ou profissional de negócios, este artigo fornecerá a você uma visão abrangente do cenário atual de tecnologia de LLM e GenAI e insights práticos sobre os riscos e oportunidades subjacentes.
• Se você é um fundador ou investidor, este artigo ajudará você a entender as armadilhas e oportunidades reais em sua busca pela IA.

As opiniões de Leo abaixo são minhas, derivadas de uma combinação de minha experiência e estudo de due diligence de mercado, incluindo workshops, entrevistas e discussões com profissionais no espaço relevante. Esses profissionais incluem analistas de pesquisa, desenvolvedores, executivos empresariais e fundadores, garantindo uma perspectiva completa e confiável.

O cenário atual para GenAI e LLMs

A pilha de tecnologia GenAI e LLM se estabilizou, e cada uma das camadas a seguir tem seu próprio modelo de negócios, desafios e oportunidades. Entender essas camadas é crucial para navegar no cenário de IA e tomar decisões comerciais informadas.

Camada 0 (Nuvem e Infraestrutura) – “Onde está o dinheiro”

Esta camada é o metal nu que sustenta toda a pilha GenAI. Ela é responsável por impressionantes 80%+ do valor total do GenAI economia. Embora a Nvidia esteja certamente dominando, com quase 95% do mercado de fabricantes de chips (Nvidia supera Apple com 3T de capitalização de mercado), o mercado está atraindo outros grandes nomes, por exemplo Huawei. Jensen Huang identificou a Huawei como uma das rivais “formidáveis” da NVIDIA, particularmente no mercado de chips de IA. Enquanto isso, também atrai startups, inovadores, por exemplo Grogue, que estão chegando ao mercado com chips desenvolvidos especificamente, LPUs (unidades de processamento de linguagem), que se concentram no desempenho e na precisão da inferência de IA. 

Opinião de Leo: O maior fosso que a Nvidia tem não são apenas os poderosos chipsets, mas o ecossistema Cuda que ela construiu ao longo dos anos. Ela dá suporte aos desenvolvedores com:

• Linguagem e APIs diferentes; 
• Biblioteca e estrutura para diferentes tarefas de domínio; 
• Ferramentas de desenvolvimento; e 
• Parceiros do ecossistema

Enquanto outras como Huawei e AMD oferecem produtos similares, a usabilidade e a riqueza de seus ecossistemas estão em escalas diferentes. Isso faz com que os desenvolvedores precisem de muito mais esforço para construir modelos que funcionem com o chip subjacente, tornando o custo de migrar da Nvidia para outros fabricantes de chips um obstáculo significativo. Para uma empresa listada como a AMD, a decisão de focar no desenvolvimento do ecossistema é desafiadora, pois requer investimento de longo prazo e não renderá retornos de curto a médio prazo. A Huawei, sendo uma empresa não pública, tem uma vantagem aqui, mas as sanções dos EUA também impedem seu progresso.  

Camada 1 (Modelos Fundamentais e LLMs) – “Quem pode construir a maior bomba?”

O mecanismo da pilha GenAI que alimenta todos os aplicativos GenAI, que são conduzidos por aqueles que podem criar os modelos mais capazes, e isso acontece tanto internacionalmente quanto internamente, especialmente nos EUA e na China.     

• Corrida entre Anthropic e OpenAI – O modelo Claude 3.5 Sonnet supera os modelos concorrentes; e
• Corrida entre LLM de código fechado e LLM de código aberto e a lacuna é fechada com 6 a 10 meses de atraso.

Fonte: Linkedin

• A “Guerra de Centenas de LLM na China” — a guerra de preços entre centenas de fabricantes de LLM na China é intensificando. A Bytedance ofereceu seu modelo por 10% do preço de mercado no final de maio deste ano, seguida pelos modelos Alibaba Cloud e Baidu com preços semelhantes. 

E estamos começando a ver uma “Guerra Fria da IA” entre o Ocidente e o Oriente. 

• A OpenAI planeja bloquear o acesso à API na China a partir de 9 de julho, levando os fabricantes chineses de LLM a oferecer alternativas a dezenas de milhares de desenvolvedores. A China implementou Medidas Interinas para a Administração do Serviço de Inteligência Artificial Generativa em 2023, o que elevou o nível do desenvolvimento de LLM(s) estrangeiros na China. 
• Resolução liderada pela China sobre inteligência artificial é aprovada na Assembleia Geral das Nações Unidas, está alavancando o poder brando para defender o desenvolvimento da IA em um ambiente "livre, aberto, inclusivo e não discriminatório", em resposta à crescente tensão entre os EUA e a China. 

Opinião de Leo: A natureza da competição LLM não é apenas sobre tecnologia, mas também sobre o “ser-inteligência” que está profundamente enraizado na cultura e na língua do país ou região. Por exemplo, o investimento de SGD $70M de Cingapura em seu Programa Nacional Multimodal Large Language Model (LLM), conhecido como Sea-lion, é uma prova de esse.

Tecnicamente, o cenário do LLM eventualmente convergirá para um punhado de modelos, incluindo código fechado e código aberto. O líder, como o OpenAI, pode manter um salto de 6 a 12 meses à frente dos outros. Os modelos de código aberto estão fechando a lacuna rapidamente, dado que a maioria das empresas prefere ter a opção de modelos de código aberto, com o desejo de manter o controle e a privacidade. O resultado da pesquisa no fórum de IA da Economist Intelligence Network, com o qual falei em Cingapura no ano passado, mostra mais de 70% de níveis C abertos para LLMs de código aberto. 

Fonte: AI Business Asia, The Economist Intelligence AI forum Singapura, 2023 

As empresas não estão mais avaliando a “potência” do(s) LLM(s); elas têm acelerado sua transformação GenAI com PoCs rápidos desde o início de 2024, embora ainda seja o mainstream para um PoC gratuito ou com um orçamento entre $50K ~ $100K. Isso está criando uma “tempestade perfeita” para as camadas acima e convergência de novas camadas. 

Camadas emergentes e camada de modelo de domínio – “O campo de batalha das startups B2B” 

O modelo como serviço (MaaS) é uma camada híbrida de infraestrutura e uma camada de modelo fundamental. Ele oferece às empresas acesso fácil ao poder dos LLMs com modelos pré-treinados e reduz os custos de capital humano. A camada de operações do LLM é a camada de ferramentas que ajuda as empresas a otimizar o processo de desenvolvimento de aplicativos e a construir modelos específicos de domínio. Os modelos específicos de domínio são treinados (ajustados) para um setor ou tarefa específica. 

Opinião de Leo: Este é o campo de batalha das startups B2B, que estão coletivamente tentando resolver um problema: como criar aplicativos GenAI com eficiência ideal? 

A jornada de desenvolvimento e operação de um aplicativo GenAI é complexa e atraiu milhares de startups B2B que entraram neste espaço até 2024, que acreditam na ideia de "vender pás durante a corrida do ouro". Muitas delas estão indo bem, por exemplo, Langchain, Flowiseai. No entanto, as camadas emergentes são espaços voláteis, principalmente devido ao ritmo do desenvolvimento da camada do modelo fundamental (LLM). Os limites e recursos do LLM (s) estão evoluindo, o que tornou a versão inicial do LLM obsoleta, por exemplo, o GPT3.5 está sendo depreciado, e novos recursos e capacidades que podem se sobrepor a algumas dessas ferramentas estão sendo adicionados. 

Os provedores de serviços de nuvem estão entrando no espaço do MaaS, que oferecem modelos de código aberto pré-treinados como uma API; no final, é uma competição de Tokens por Segundo e custos associados. Dito isso, players como Huggingface, que construíram seus modelos e curaram uma ótima comunidade de desenvolvedores, ainda estão prosperando; por exemplo, estima-se que a Huggingface gerou $70M ARR no ano passado. Eu apoio isso, mas acredito que essa receita é amplamente atribuída ao seu parceiro AWS em vez dos desenvolvedores com base na participação na receita de inferência de IA. 

Então, qual é a lição aqui? De todas as cinco camadas, este é meu espaço favorito, e tenho imenso respeito pelos construtores e fundadores neste espaço. Eles são aqueles que criam os “múltiplos” que ajudam todo o ecossistema a render melhores resultados e valor. Enquanto isso, o risco é bastante alto para startups e investidores, mas a recompensa também. 

Então, seja você um fundador ou investidor, acredito que os três principais fatores de sucesso (siga esta sequência) são:

1. O público em primeiro lugar; 
2. O problema vem em segundo lugar; e
3. Finalmente, seu produto.      

É importante notar que seu público não é necessariamente seu cliente. Em muitos casos, você pode precisar aumentar sua comunidade de público primeiro e gerar receita de outras fontes, como visto no caso do Huggingface.

Camada 3 (Aplicativos GenAI) – “A necessidade de velocidade”

Esta é a camada mais implacável de todas as camadas, impulsionada principalmente por aplicativos e ferramentas B2C GenAI. a16z publicou os 50 principais produtos da web GenAI; com base em visitas mensais, mostra que mais de 40 por cento das empresas na lista são novas, em comparação com nosso relatório inicial de setembro de 2023. Esse tipo de rotatividade afeta a capacidade e a velocidade da empresa de concluir o ajuste produto-mercado (PMF). Isso leva a maioria dessas empresas B2C a envolver alguns LLMs bem conhecidos, como GPT4 e Llama3, que os investidores costumam criticar por serem uma empresa wrapper. 

Fonte: a16z

Opinião de Leo: Não há vergonha em ser uma empresa de wrapper, pois o produto final que encanta seu cliente é o que mais importa. Como os LLMs subjacentes estão se tornando uma commodity, a maneira como você orquestra a IA, por exemplo, latência, integração de fluxo de trabalho e UI, importa mais. Nessa frente, a agência humana é o prêmio do produto. 

Entrevistei mais de 100 startups de IA, do estágio inicial ao unicórnio, entre o Ocidente (por exemplo, EUA e UE) e o Oriente (por exemplo, China e Cingapura) desde 2023. Os dois lados mostram abordagens muito diferentes para o lançamento no mercado; as startups dos EUA são muito centradas no produto, enquanto as startups chinesas são muito mais flexíveis com o serviço. O principal motivo é que o mercado asiático exige mais personalização. Este é um dos fatores de agência humana que importa para o sucesso das empresas de aplicativos. Para isso, não quero dizer criar um aplicativo que seja tão personalizável que você possa escalá-lo, mas a capacidade de rapidamente criar um aplicativo específico para recursos e atender a um nicho de espaço ou público. A China não é mais a fábrica mundial que você conhece, fabricando os produtos de consumo que você usa diariamente. Agora, ela está se preparando para ser a fábrica mundial de aplicativos de IA, especialmente devido à proliferação de aplicativos GenAI.

Confira minha postagem, “Uma mudança de paradigma na construção de uma startup de um milhão de dólares em menos de um ano se você adotar a abordagem certa.”     

Qual é a fonte secreta por trás do sucesso deles? 

Impacto em startups e empresas da Ásia

A avaliação de LLM e GenAI é de longe a progressão tecnológica de ritmo mais rápido na história da humanidade, e não está desacelerando, mas acelerando. Os maiores desafios entre os níveis C e fundadores não são escolher os modelos e aplicativos, mas abordar as lacunas de conhecimento cada vez maiores e construir uma estratégia e execução para garantir que a IA funcione para eles.

A Ásia é um mercado desafiador e promissor, sendo o continente mais populoso e não homogêneo. No entanto, ele geralmente recebe menos atenção dos fabricantes de IA nos EUA. Por exemplo, a OpenAI só abriu seu primeiro escritório em Tóquio este ano, e a maioria das startups de IA dos EUA com as quais conversei estão focadas exclusivamente nos EUA e na UE. A Huggingface, por exemplo, tem apenas alguns funcionários na Ásia. Essa situação apresenta um problema e uma oportunidade para os fundadores e empresas da Ásia, e é crucial estar ciente dessas dinâmicas.