Menavigasi Tumpukan LLM & GenAI: Peluang dan Tantangan bagi Perusahaan Rintisan dan Perusahaan Asia

Memperkenalkan Leo's Takes

Sebagai mantan CDO Huawei Cloud, dan telah membangun salah satu ekosistem startup terbesar di wilayah ini, saya memiliki akses langsung ke:

1. Organisasi dan tim yang mengembangkan chipset GPU, LLM (Model bahasa besar), dan LM (model besar) lainnya;   
2. Perusahaan yang memulai perjalanan transformasi AI mereka; dan   
3. Perusahaan rintisan AI dari Timur dan Barat membangun peralatan dan aplikasi LLM, GenAI.

Bagaimana ini relevan bagi Anda?

• Jika Anda seorang eksekutif bisnis atau profesional, artikel ini akan membekali Anda dengan pandangan komprehensif tentang lanskap teknologi LLM dan GenAI saat ini serta wawasan praktis tentang risiko dan peluang yang mendasarinya.
• Jika Anda seorang pendiri atau investor, artikel ini akan membantu Anda memahami jebakan dan peluang nyata dalam upaya Anda mengembangkan AI.

Berikut ini adalah pendapat saya, yang berasal dari gabungan pengalaman saya dan studi uji tuntas pasar, termasuk lokakarya, wawancara, dan diskusi dengan para praktisi di bidang yang relevan. Para praktisi ini termasuk analis riset, pengembang, eksekutif perusahaan, dan pendiri, yang memastikan perspektif yang menyeluruh dan kredibel.

Kondisi Saat Ini untuk GenAI dan LLM

Tumpukan teknologi GenAI dan LLM telah stabil, dan masing-masing lapisan berikut memiliki model bisnis, tantangan, dan peluangnya sendiri. Memahami lapisan-lapisan ini sangat penting untuk menavigasi lanskap AI dan membuat keputusan bisnis yang tepat.

Lapisan 0 (Cloud & Infrastruktur) – “Di Mana Uang Berada”

Lapisan ini adalah logam polos yang menopang seluruh tumpukan GenAI. Lapisan ini menyumbang 80%+ dari total nilai GenAI ekonomi. Meskipun Nvidia jelas mendominasi, dengan pangsa pasar pembuat chip hampir 95% (Nvidia mengalahkan Apple dengan Kapitalisasi Pasar 3T), pasar tersebut menarik perusahaan-perusahaan besar lainnya, misalnya HuaweiJensen Huang mengidentifikasi Huawei sebagai salah satu pesaing “tangguh” NVIDIA, terutama di pasar chip AI. Sementara itu, hal ini juga menarik para pemula, inovator misalnya Minuman keras, yang mendekati pasar dengan chip yang dibuat khusus, LPU (unit pemrosesan bahasa), yang berfokus pada kinerja dan ketepatan inferensi AI. 

Pendapat Leo: Keunggulan terbesar Nvidia bukan hanya chipset yang tangguh, tetapi juga ekosistem Cuda yang dibangunnya selama bertahun-tahun. Ekosistem ini mendukung para pengembang dengan:

• Bahasa & API yang berbeda; 
• Pustaka dan kerangka kerja untuk berbagai tugas domain; 
• Alat pengembang; dan 
• Mitra ekosistem

Sementara perusahaan lain seperti Huawei dan AMD menawarkan produk serupa, kegunaan dan kekayaan ekosistem mereka berada pada skala yang berbeda. Hal ini mengakibatkan pengembang membutuhkan upaya yang jauh lebih besar untuk membangun model yang berfungsi dengan chip yang mendasarinya, sehingga biaya migrasi dari Nvidia ke pembuat chip lain menjadi kendala yang signifikan. Bagi perusahaan yang terdaftar seperti AMD, keputusan untuk fokus pada pengembangan ekosistem merupakan tantangan karena memerlukan investasi jangka panjang dan tidak akan menghasilkan keuntungan jangka pendek hingga menengah. Huawei, sebagai perusahaan nonpublik, memang memiliki keuntungan di sini, tetapi sanksi AS juga menghambat kemajuannya.  

Lapisan 1 (Model Dasar & LLM) – “Siapa yang dapat membuat bom terbesar?”

Mesin tumpukan GenAI yang menggerakkan semua aplikasi GenAI, digerakkan oleh mereka yang dapat membangun model paling mumpuni, dan ini terjadi secara internasional maupun domestik, khususnya di AS dan China.     

• Perlombaan antara Anthropic dan OpenAI – Model Claude 3.5 Sonnet mengungguli model pesaing; Dan
• Perlombaan antara LLM sumber tertutup dan LLM sumber terbuka dan kesenjangannya ditutup dengan jeda waktu 6 ~ 10 bulan.

Sumber: Linkedin

• “Perang LLM Ratusan di Tiongkok”—perang harga antara ratusan pembuat LLM di Tiongkok adalah mengintensifkanBytedance menawarkan modelnya pada 10% dari harga pasar pada akhir Mei tahun ini, diikuti oleh model Alibaba Cloud dan Baidu dengan titik harga yang sama. 

Dan kita mulai melihat “Perang Dingin AI” antara Barat dan Timur. 

• OpenAI berencana untuk memblokir akses API di Tiongkok mulai 9 Juli, yang mendorong para pembuat LLM Tiongkok untuk menawarkan alternatif kepada puluhan ribu pengembang. Tiongkok menerapkan Langkah Sementara untuk Administrasi Layanan Kecerdasan Buatan Generatif pada tahun 2023, yang meningkatkan standar pengembangan LLM asing di Tiongkok. 
• Resolusi yang dipimpin Tiongkok tentang kecerdasan buatan disahkan di Majelis Umum Perserikatan Bangsa-Bangsa, ia memanfaatkan kekuatan lunak untuk mengadvokasi pengembangan AI dalam lingkungan yang 'bebas, terbuka, inklusif, dan tidak diskriminatif', sebagai respons terhadap meningkatnya ketegangan antara AS dan China. 

Pendapat Leo: Sifat dari kompetisi LLM bukan hanya tentang teknologi, tetapi juga tentang “kecerdasan-makhluk” yang berakar dalam budaya dan bahasa suatu negara atau wilayah. Misalnya, investasi Singapura sebesar SGD $70 juta ke dalam Program Model Bahasa Besar Multimoda Nasional (LLM), yang dikenal sebagai Sea-lion, merupakan bukti ini.

Secara teknis, lanskap LLM pada akhirnya akan menyatu menjadi beberapa model, termasuk model sumber tertutup dan model sumber terbuka. Pemimpin, seperti OpenAI, mungkin akan terus maju 6 – 12 bulan dari yang lain. Model sumber terbuka menutup kesenjangan dengan cepat, mengingat sebagian besar perusahaan lebih suka memiliki opsi model sumber terbuka, dengan keinginan untuk mempertahankan kendali dan privasi. Hasil jajak pendapat di forum AI Economist Intelligence Network yang saya hadiri di Singapura tahun lalu – menunjukkan lebih dari 70% C-level terbuka untuk LLM sumber terbuka. 

Sumber: AI Business Asia, Forum AI The Economist Intelligence Singapura, 2023 

Perusahaan tidak lagi mengevaluasi “tenaga kuda” LLM (s); mereka telah mempercepat transformasi GenAI mereka dengan PoC cepat sejak awal tahun 2024, meskipun masih menjadi arus utama untuk PoC gratis atau dengan anggaran antara $50K ~ $100K. Hal ini menciptakan “badai yang sempurna” untuk lapisan di atas dan konvergensi lapisan baru. 

Lapisan yang muncul dan lapisan model domain – “Medan pertempuran startup B2B” 

Model-as-a-service (MaaS) adalah lapisan hibrida infrastruktur dan lapisan model dasar. Layanan ini menawarkan akses mudah bagi perusahaan ke kekuatan LLM dengan model yang telah dilatih sebelumnya dan mengurangi biaya modal manusia. Lapisan operasi LLM adalah lapisan perkakas yang membantu perusahaan menyederhanakan proses pengembangan aplikasi dan membangun model khusus domain. Model khusus domain dilatih untuk tujuan tertentu (disesuaikan) untuk industri atau tugas tertentu. 

Pendapat Leo: Inilah medan pertempuran perusahaan rintisan B2B, yang secara kolektif mencoba memecahkan satu masalah – bagaimana membangun aplikasi GenAI dengan efisiensi optimal? 

Perjalanan mengembangkan dan mengoperasikan aplikasi GenAI itu rumit, dan telah menarik ribuan perusahaan rintisan B2B yang memasuki bidang ini pada tahun 2024, yang semuanya percaya pada gagasan "menjual sekop selama demam emas". Banyak dari mereka yang berhasil, misalnya Langchain, Flowiseai. Namun, lapisan yang muncul adalah ruang yang mudah berubah, terutama karena kecepatan pengembangan lapisan model dasar (LLM). Batasan dan fitur LLM terus berkembang, yang membuat versi awal LLM menjadi usang, misalnya GPT3.5 mulai ditinggalkan, dan fitur serta kemampuan baru yang mungkin tumpang tindih dengan beberapa alat ini sedang ditambahkan. 

Penyedia layanan cloud memasuki ruang MaaS, yang menawarkan model open-source yang telah dilatih sebelumnya sebagai API; pada akhirnya, ini adalah persaingan Token per Detik dan biaya terkait. Meskipun demikian, pemain seperti Huggingface, yang membangun model mereka dan menyusun komunitas pengembang yang hebat, masih berkembang pesat; misalnya, diperkirakan Huggingface menghasilkan $70M ARR tahun lalu. Saya mendukung ini, tetapi saya percaya pendapatan ini sebagian besar dikaitkan dengan mitranya AWS, bukan pengembang berdasarkan pembagian pendapatan inferensi AI. 

Jadi, apa yang bisa diambil dari sini? Dari kelima lapisan tersebut, ini adalah ruang favorit saya, dan saya sangat menghormati para pembangun dan pendiri di ruang ini. Mereka adalah orang-orang yang menciptakan "multiples" yang membantu seluruh ekosistem menghasilkan hasil dan nilai yang lebih baik. Sementara itu, risikonya cukup tinggi bagi perusahaan rintisan dan investor, tetapi begitu pula imbalannya. 

Jadi, apakah Anda seorang pendiri atau investor, saya percaya tiga faktor kunci kesuksesan (ikuti urutan ini) adalah:

1. Penonton pertama; 
2. Masalah kedua adalah; dan
3. Terakhir, produk Anda.      

Penting untuk dicatat bahwa audiens Anda belum tentu pelanggan Anda. Dalam banyak kasus, Anda mungkin perlu mengembangkan komunitas audiens Anda terlebih dahulu dan menghasilkan pendapatan dari sumber lain, seperti yang terlihat dalam kasus Huggingface.

Lapisan 3 (Aplikasi GenAI) – “Kebutuhan akan Kecepatan”

Ini adalah lapisan yang paling ketat dari semua lapisan, yang utamanya didorong oleh aplikasi dan alat GenAI B2C. a16z menerbitkan 50 produk web GenAI teratas; berdasarkan kunjungan bulanan, terlihat lebih dari 40 persen perusahaan dalam daftar tersebut adalah perusahaan baru, dibandingkan dengan laporan awal kami pada September 2023. Jenis omzet ini bergantung pada kemampuan dan kecepatan perusahaan untuk menyelesaikan kesesuaian produk dengan pasar (PMF). Hal ini mendorong sebagian besar perusahaan B2C ini untuk membungkus beberapa LLM (s) yang terkenal, seperti GPT4 dan Llama3, yang sering dikritik oleh investor karena menjadi perusahaan pembungkus. 

Sumber: a16z

Pendapat Leo: Tidak ada salahnya menjadi perusahaan pembungkus, karena produk akhir yang memuaskan pelanggan Anda adalah yang terpenting. Karena LLM yang mendasarinya menjadi komoditas, cara Anda mengatur AI, misalnya, latensi, integrasi alur kerja, dan UI, akan menjadi yang terpenting. Dalam hal itu, peran manusia merupakan hal terpenting dalam produk. 

Bahasa Indonesia: Saya telah mewawancarai lebih dari 100 perusahaan rintisan AI, dari tahap awal hingga unicorn, antara Barat (misalnya AS & UE) dan Timur (misalnya Cina & Singapura) sejak 2023. Kedua belah pihak menunjukkan pendekatan yang sangat berbeda untuk masuk ke pasar; perusahaan rintisan AS sangat berpusat pada produk, sedangkan perusahaan rintisan Cina jauh lebih fleksibel dengan layanan. Alasan utamanya adalah bahwa pasar Asia menuntut lebih banyak penyesuaian. Ini adalah salah satu faktor agensi manusia yang penting bagi keberhasilan perusahaan aplikasi. Untuk itu, yang saya maksud bukanlah membuat aplikasi yang sangat dapat disesuaikan sehingga Anda dapat meningkatkannya, tetapi kemampuan untuk dengan cepat memunculkan aplikasi yang spesifik fitur dan diperuntukkan bagi ruang atau audiens khusus. Cina bukan lagi pabrik dunia yang Anda kenal, yang membuat produk konsumen yang Anda gunakan setiap hari. Sekarang sedang bersiap untuk menjadi pabrik dunia aplikasi AI, terutama mengingat proliferasi aplikasi GenAI.

Periksa postingan saya, “Perubahan paradigma dalam membangun startup bernilai jutaan dolar dalam waktu kurang dari satu tahun jika Anda mengambil pendekatan yang tepat.”     

Apa sumber rahasia di balik kesuksesan mereka? 

Dampak terhadap Startup dan Perusahaan Asia

Evaluasi LLM dan GenAI sejauh ini merupakan perkembangan teknologi tercepat dalam sejarah manusia, dan tidak melambat tetapi malah semakin cepat. Tantangan terbesar di antara para C level dan pendiri bukanlah memilih model dan aplikasi, tetapi mengatasi kesenjangan pengetahuan yang terus meningkat dan membangun strategi dan pelaksanaan untuk memastikan bahwa AI berfungsi bagi mereka.

Asia adalah pasar yang unik, menantang, dan menjanjikan, karena merupakan benua yang paling padat penduduknya dan tidak homogen. Namun, pasar ini sering kali kurang mendapat perhatian dari para pembuat AI di AS. Misalnya, OpenAI baru membuka kantor pertamanya di Tokyo tahun ini, dan mayoritas perusahaan rintisan AI AS yang pernah saya ajak bicara hanya berfokus pada AS dan UE. Huggingface, misalnya, hanya memiliki beberapa karyawan di Asia. Situasi ini menghadirkan masalah sekaligus peluang bagi para pendiri dan perusahaan di Asia, dan sangat penting untuk menyadari dinamika ini.