Navigieren im LLM & GenAI Stack: Chancen und Herausforderungen für asiatische Startups und Unternehmen

Wir stellen vor: Leo's Takes

Als ehemaliger CDO von Huawei Cloud und als Entwickler eines der größten Startup-Ökosysteme in der Region hatte ich direkten Zugriff auf:

1. Organisation und Team, die GPU-Chipsätze, LLMs (Large Language Model) und andere LMs (Large Models) entwickeln;   
2. Unternehmen, die sich auf den Weg zur KI-Transformation begeben; und   
3. KI-Startups aus Ost und West entwickeln LLM- und GenAI-Tools und -Anwendungen.

Welche Relevanz hat das für Sie?

• Wenn Sie ein Geschäftsführer oder FachmannDieser Artikel bietet Ihnen einen umfassenden Überblick über die aktuelle LLM- und GenAI-Technologielandschaft sowie praktische Einblicke in die zugrunde liegenden Risiken und Chancen.
• Wenn Sie ein Gründer oder InvestorDieser Artikel hilft Ihnen, die Fallstricke und echten Chancen bei Ihrer Suche nach KI zu verstehen.

Die folgenden Ansichten von Leo sind meine Meinungen, die sich aus einer Kombination meiner Erfahrung und einer Due-Diligence-Studie zum Markt ergeben, einschließlich Workshops, Interviews und Diskussionen mit Praktikern im jeweiligen Bereich. Zu diesen Praktikern gehören Research-Analysten, Entwickler, Unternehmensleiter und Gründer, was eine umfassende und glaubwürdige Perspektive gewährleistet.

Die aktuelle Lage für GenAI und LLMs

Der GenAI- und LLM-Technologie-Stack hat sich stabilisiert und jede der folgenden Schichten hat ihr eigenes Geschäftsmodell, ihre eigenen Herausforderungen und Chancen. Das Verständnis dieser Schichten ist entscheidend, um sich in der KI-Landschaft zurechtzufinden und fundierte Geschäftsentscheidungen zu treffen.

Ebene 0 (Cloud & Infrastruktur) – „Wo das Geld ist“

Diese Schicht ist das nackte Metall, das dem gesamten GenAI-Stack zugrunde liegt. Sie macht unglaubliche 80%+ des Gesamtwerts von GenAI aus. Wirtschaft. Obwohl Nvidia mit fast 95 % des Chipherstellermarktes sicherlich dominiert (Nvidia schlägt Apple mit 3 Billionen Marktkapitalisierung), zieht der Markt andere große Jungs an, z. B. Huawei. Jensen Huang bezeichnete Huawei als einen der „gewaltige“ Rivalen für NVIDIA, insbesondere im KI-Chip-Markt. Mittlerweile zieht es auch Startups, Innovatoren an, z. B. Grog, die mit speziell entwickelten Chips, so genannten LPUs (Language Processing Units), auf den Markt kommen, bei denen der Schwerpunkt auf Leistung und Präzision der KI-Inferenz liegt. 

Leos Meinung: Der größte Vorteil von Nvidia sind nicht nur die leistungsstarken Chipsätze, sondern auch das Cuda-Ökosystem, das das Unternehmen im Laufe der Jahre aufgebaut hat. Es unterstützt Entwickler mit:

• Andere Sprachen und APIs; 
• Bibliothek und Framework für verschiedene Domänenaufgaben; 
• Entwicklertools; und 
• Ökosystempartner

Andere wie Huawei und AMD bieten zwar ähnliche Produkte an, aber die Benutzerfreundlichkeit und der Umfang ihrer Ökosysteme sind unterschiedlich. Das führt dazu, dass Entwickler wesentlich mehr Aufwand betreiben müssen, um Modelle zu entwickeln, die mit dem zugrunde liegenden Chip funktionieren, was die Kosten für die Abkehr von Nvidia zu anderen Chipherstellern zu einer erheblichen Hürde macht. Für ein börsennotiertes Unternehmen wie AMD ist die Entscheidung, sich auf die Entwicklung von Ökosystemen zu konzentrieren, eine Herausforderung, da dies langfristige Investitionen erfordert und keine kurzfristigen bis mittelfristigen Gewinne abwirft. Huawei hat als nicht börsennotiertes Unternehmen hier einen Vorteil, aber die US-Sanktionen behindern auch seinen Fortschritt.  

Ebene 1 (Grundlagenmodelle & LLMs) – „Wer kann die größte Bombe bauen?“

Der Motor des GenAI-Stacks, der alle GenAI-Apps antreibt, wird von denjenigen gesteuert, die die leistungsfähigsten Modelle entwickeln können. Dies geschieht sowohl international als auch im Inland, insbesondere in den USA und China.     

• Wettlauf zwischen Anthropischer und OpenAI – Das Modell Claude 3.5 Sonnet übertrifft die Konkurrenzmodelle; Und
• Wettlauf zwischen Closed-Source-LLM und Open-Source-LLM und die Lücke wird mit 6 – 10 Monaten Verzögerung geschlossen.

Quelle: Linkedin

• Der „LLM-Krieg der Hunderte in China“ – der Preiskampf zwischen Hunderten von LLM-Herstellern in China ist IntensivierungBytedance bot sein Modell Ende Mai dieses Jahres zu 101 TP3T des Marktpreises an, gefolgt von Modellen von Alibaba Cloud und Baidu mit ähnlichen Preisen. 

Und wir erleben gerade die ersten Anzeichen eines „KI-Kalten Krieges“ zwischen dem Westen und dem Osten. 

• OpenAI plant, ab dem 9. Juli den API-Zugriff in China zu blockieren, was die chinesischen LLM-Hersteller dazu veranlasst, Zehntausenden von Entwicklern Alternativen anzubieten. China hat bereits 2023 vorläufige Maßnahmen für die Verwaltung des Dienstes für generative künstliche Intelligenz umgesetzt, die die Messlatte für die Entwicklung ausländischer LLM-Abschlüsse in China höher gelegt haben. 
• Von China angestoßene Resolution zu künstlicher Intelligenz in der Generalversammlung der Vereinten Nationen verabschiedetAls Reaktion auf die zunehmenden Spannungen zwischen den USA und China nutzt es Soft Power, um die Entwicklung von KI in einem „freien, offenen, integrativen und diskriminierungsfreien“ Umfeld zu propagieren. 

Leos Meinung: Bei dem LLM-Wettbewerb geht es nicht nur um Technologie, sondern auch um das „Intelligenzwesen“, das tief in der Kultur und Sprache des Landes oder der Region verwurzelt ist. So ist beispielsweise Singapurs Investition von $70M SGD in sein National Multimodal Large Language Model (LLM) Programme, bekannt als Sea-lion, ein Beweis dafür, Das.

Technisch gesehen wird sich die LLM-Landschaft schließlich auf eine Handvoll Modelle konzentrieren, darunter Closed-Source und Open-Source. Der Marktführer, wie OpenAI, könnte den anderen einen Vorsprung von 6 bis 12 Monaten verschaffen. Open-Source-Modelle schließen die Lücke schnell, da die meisten Unternehmen die Option von Open-Source-Modellen bevorzugen, da sie Kontrolle und Privatsphäre behalten möchten. Das Umfrageergebnis beim Economist Intelligence Network AI Forum, bei dem ich letztes Jahr in Singapur gesprochen habe, zeigt, dass über 701.000 Führungskräfte für Open-Source-LLMs offen sind. 

Quelle: AI Business Asia, The Economist Intelligence AI Forum Singapur, 2023 

Unternehmen bewerten die „Leistung“ der LLM(s) nicht mehr; sie beschleunigen ihre GenAI-Transformation seit Anfang 2024 mit schnellen PoCs, obwohl dies für einen kostenlosen PoC oder mit einem Budget zwischen $50K und $100K immer noch der Mainstream ist. Dies schafft einen „perfekten Sturm“ für die oben genannten Schichten und die Konvergenz neuer Schichten. 

Neue Schichten und Domänenmodellschicht – „Das Schlachtfeld der B2B-Startups“ 

Model-as-a-Service (MaaS) ist eine hybride Infrastrukturschicht und eine grundlegende Modellschicht. Es bietet Unternehmen einfachen Zugriff auf die Leistungsfähigkeit von LLMs mit vorab trainierten Modellen und reduziert die Personalkosten. Die LLM-Ops-Schicht ist die Tooling-Schicht, die Unternehmen dabei hilft, den App-Entwicklungsprozess zu optimieren und domänenspezifische Modelle zu erstellen. Die domänenspezifischen Modelle werden speziell für eine bestimmte Branche oder Aufgabe trainiert (fein abgestimmt). 

Leos Meinung: Dies ist das Schlachtfeld der B2B-Startups, die gemeinsam versuchen, ein Problem zu lösen: Wie lassen sich GenAI-Apps mit optimaler Effizienz erstellen? 

Die Entwicklung und der Betrieb einer GenAI-App ist ein komplexer Prozess und hat Tausende von B2B-Startups angezogen, die bis 2024 in diesen Bereich einsteigen und alle an die Idee glauben, „während des Goldrauschs Schaufeln zu verkaufen“. Viele von ihnen sind erfolgreich, z. B. Langchain und Flowiseai. Die neu entstehenden Schichten sind jedoch volatile Bereiche, hauptsächlich aufgrund des Entwicklungstempos der Schicht des Gründungsmodells (LLM). Die Grenzen und Funktionen von LLM(s) entwickeln sich weiter, was die frühe Version von LLM überflüssig gemacht hat, z. B. wird GPT3.5 abgewertet und es werden neue Funktionen und Fähigkeiten hinzugefügt, die sich mit einigen dieser Tools überschneiden können. 

Anbieter von Cloud-Diensten betreten den MaaS-Bereich, indem sie vorab trainierte Open-Source-Modelle als API anbieten. Letztendlich handelt es sich um einen Wettbewerb um Tokens pro Sekunde und die damit verbundenen Kosten. Dennoch sind Akteure wie Huggingface, die ihre Modelle entwickelt und eine großartige Entwickler-Community aufgebaut haben, immer noch erfolgreich. Schätzungen zufolge hat Huggingface im vergangenen Jahr beispielsweise $70M ARR generiert. Ich unterstütze dies, bin jedoch der Ansicht, dass dieser Umsatz größtenteils seinem Partner AWS und nicht den Entwicklern zuzuschreiben ist, basierend auf dem Umsatzanteil durch KI-Inferenz. 

Was ist also das Fazit hier? Von allen fünf Ebenen ist dies mein Lieblingsbereich, und ich habe großen Respekt vor den Erbauern und Gründern in diesem Bereich. Sie sind diejenigen, die die „Multiples“ schaffen, die dem gesamten Ökosystem helfen, bessere Ergebnisse und Werte zu erzielen. Gleichzeitig ist das Risiko für Startups und Investoren ziemlich hoch, aber auch die Belohnung. 

Egal, ob Sie Gründer oder Investor sind, ich bin davon überzeugt, dass die drei wichtigsten Erfolgsfaktoren (folgen Sie dieser Reihenfolge) folgende sind:

1. Das Publikum zuerst; 
2. Das Problem kommt an zweiter Stelle.
3. Endlich Ihr Produkt.      

Es ist wichtig zu beachten, dass Ihr Publikum nicht unbedingt Ihr Kunde ist. In vielen Fällen müssen Sie zunächst Ihr Publikum vergrößern und Einnahmen aus anderen Quellen generieren, wie im Fall von Huggingface zu sehen ist.

Ebene 3 (GenAI-Apps) – „Das Bedürfnis nach Geschwindigkeit“

Dies ist die härteste Schicht von allen Schichten, die hauptsächlich von B2C GenAI-Apps und -Tools angetrieben wird. a16z hat die Top 50 GenAI-Webprodukte veröffentlicht; basierend auf monatlichen Besuchen zeigt es, dass über 40 Prozent der Unternehmen auf der Liste neu sind, verglichen mit unserem ersten Bericht vom September 2023. Diese Art von Fluktuation hat Auswirkungen auf die Fähigkeit und Geschwindigkeit des Unternehmens, die Produkt-Markt-Anpassung (PMF) abzuschließen. Dies zwingt die meisten dieser B2C-Unternehmen dazu, sich um einige bekannte LLM(s) zu wickeln, wie z. B. GPT4 und Llama3, die von Investoren oft dafür kritisiert werden, ein Wrapper-Unternehmen zu sein. 

Quelle: a16z

Leos Meinung: Es ist keine Schande, ein Wrapper-Unternehmen zu sein, denn das Endprodukt, das Ihren Kunden begeistert, ist das Wichtigste. Da zugrunde liegende LLMs zu einer Massenware werden, wird die Art und Weise, wie Sie KI orchestrieren, z. B. Latenz, Workflow-Integration und Benutzeroberfläche, am wichtigsten sein. In dieser Hinsicht steht menschliches Handeln im Vordergrund des Produkts. 

Ich habe seit 2023 über 100 KI-Startups, von der Seed-Phase bis zum Unicorn, im Westen (z. B. USA und EU) und im Osten (z. B. China und Singapur) interviewt. Die beiden Seiten zeigen sehr unterschiedliche Ansätze bei der Markteinführung; US-Startups sind sehr produktzentriert, während chinesische Startups beim Service viel flexibler sind. Der Hauptgrund dafür ist, dass der asiatische Markt mehr Anpassung verlangt. Dies ist einer der menschlichen Handlungsfaktoren, die für den Erfolg von App-Unternehmen ausschlaggebend sind. Damit meine ich nicht die Erstellung einer App, die so anpassbar ist, dass man sie skalieren kann, sondern die Fähigkeit, schnell eine App zu erstellen, die funktionsspezifisch ist und auf eine Nische oder ein Publikum zugeschnitten ist. China ist nicht mehr die Weltfabrik, die Sie kennen und die die Konsumprodukte herstellt, die Sie täglich verwenden. Es bereitet sich jetzt darauf vor, die Weltfabrik für KI-Apps zu werden, insbesondere angesichts der Verbreitung von GenAI-Apps.

Sehen Sie sich meinen Beitrag an: „Ein Paradigmenwechsel beim Aufbau eines Millionen-Dollar-Startups in weniger als einem Jahr, wenn Sie den richtigen Ansatz wählen.”     

Was ist die geheime Quelle ihres Erfolgs? 

Auswirkungen auf asiatische Startups und Unternehmen

Die LLM- und GenAI-Evaluierung ist der mit Abstand am schnellsten voranschreitende technologische Fortschritt in der Menschheitsgeschichte, und er verlangsamt sich nicht, sondern beschleunigt sich. Die größten Herausforderungen für die Führungsebene und die Gründer sind nicht die Auswahl der Modelle und Apps, sondern die Beseitigung der immer größer werdenden Wissenslücken sowie die Entwicklung einer Strategie und Umsetzung, um sicherzustellen, dass KI für sie funktioniert.

Asien ist ein einzigartig herausfordernder und vielversprechender Markt, da es der bevölkerungsreichste Kontinent und inhomogen ist. Von den KI-Herstellern in den USA erhält er jedoch oft weniger Aufmerksamkeit. So hat OpenAI beispielsweise erst in diesem Jahr sein erstes Büro in Tokio eröffnet, und die Mehrheit der US-KI-Startups, mit denen ich gesprochen habe, konzentriert sich ausschließlich auf die USA und die EU. Huggingface beispielsweise hat nur wenige Mitarbeiter in Asien. Diese Situation stellt für Gründer und Unternehmen in Asien sowohl ein Problem als auch eine Chance dar, und es ist wichtig, sich dieser Dynamik bewusst zu sein.