Tinjauan tentang poin-poin utama yang dibahas dalam episode ke-2 Podcast AI Business Asia bersama Lewis Liu, Manajer Produk Grup di Google Gemini dan Vertex AI.

Jika Anda ingin melihat episodenya → Aplikasi Spotify | Apel 

Dalam dunia kecerdasan buatan (AI) yang bergerak cepat, khususnya dalam model bahasa besar (LLM), kemajuan terjadi pada tingkat yang belum pernah terjadi sebelumnya. Rangkuman ini membahas perkembangan terkini dalam pendekatan Google terhadap LLM, termasuk peralihan ke peluncuran bertahap, integrasi fitur inovatif, dan lanskap kompetitif dengan model global. Kami juga membahas peran data, keuntungan data pihak pertama, dan apa saja yang dibutuhkan pengalaman AI yang siap untuk perusahaan.

Kemajuan Google dalam LLM

Selama setahun terakhir, tim Google telah mempercepat laju peluncuran LLM secara signifikan, dengan menghadirkan sekitar 200 pembaruan dibandingkan dengan 20-30 peluncuran pada tahun-tahun sebelumnya, peningkatan sepuluh kali lipat. Pergeseran ini mencerminkan perpindahan dari rilis tradisional berskala besar ke pendekatan yang lebih gesit dan bertahap. 

Fitur Inovatif

• Pembangkitan Terkendali: Google memperkenalkan fitur pembangkitan terkendali dengan dekode terkendali. Kemampuan ini memungkinkan pengembang untuk menyediakan skema pada model, memastikan bahwa objek JSON yang dihasilkan akurat dan sesuai dengan skema yang ditentukan. Fitur ini pertama kali dikirimkan dengan model Gemini 1.5 Pro dan baru-baru ini diadopsi oleh OpenAI.
• Caching Konteks: Inovasi lainnya adalah context caching, yang membantu mengelola jendela konteks yang luas, dengan Google memelopori jendela konteks hingga 2 juta token. Kemajuan ini menyoroti komitmen Google untuk meningkatkan kemampuan model dan pengalaman pengguna.

Posisi Kompetitif

Di tengah persepsi bahwa Google kurang memiliki keunggulan kompetitif, perusahaan tersebut telah berfokus pada inovasi yang cepat dan menanggapi kemajuan global dalam bidang AI. Diskusi tersebut juga membahas tantangan dan peluang yang dihadirkan oleh model-model baru dari Tiongkok, di mana kemajuan dalam penanganan konteks panjang dan penyempurnaan untuk bahasa Tiongkok patut diperhatikan.

Lanskap Global Model AI

Model dari Tiongkok

Model yang dikembangkan di Tiongkok menarik perhatian karena kemampuannya, khususnya dalam menangani konteks yang panjang dan menyesuaikan respons dengan bahasa Tiongkok. Percakapan tersebut mengungkap bahwa meskipun Google memantau perkembangan ini, perusahaan tersebut tidak terlibat langsung dengan pasar Tiongkok karena kendala regulasi.

Identitas dan Kebangsaan dalam AI

Topik diskusi yang penting adalah apakah LLM harus memiliki identitas nasional atau dipengaruhi oleh batas geografis. Konsensusnya adalah bahwa meskipun model mencerminkan bias dan identitas pembuatnya, investasi besar-besaran dalam model nasional mungkin tidak diperlukan. Sebaliknya, penyempurnaan untuk kasus penggunaan tertentu mungkin lebih praktis.

Peran Data dalam Pengembangan LLM

Pentingnya Data Berkualitas Tinggi

Data berkualitas tinggi tetap menjadi landasan pelatihan LLM yang efektif. Dalam ranah AI generatif, kualitas dan keragaman data secara langsung memengaruhi kemampuan model untuk menghasilkan keluaran yang akurat, relevan, dan sesuai konteks. Data sintetis, jika diintegrasikan dengan cermat, dapat memperluas batasan pencapaian LLM, terutama dalam skenario di mana data dunia nyata mungkin terbatas atau bias. Perkembangan LLM semakin didorong oleh sumber data yang beragam, termasuk interaksi manusia-komputer, yang meningkatkan kemampuan model untuk bernalar, merencanakan, dan menghasilkan respons yang lebih bernuansa.

Data dan Infrastruktur Pihak Pertama

• Tantangan bagi Startup: Startup menghadapi tantangan signifikan saat bersaing dengan perusahaan besar yang memiliki akses ke sejumlah besar data pihak pertama. Penekanan pada data kepemilikan dan infrastruktur yang kuat oleh perusahaan seperti Google menggarisbawahi peran penting elemen-elemen ini dalam menciptakan aplikasi LLM yang berbeda. Bagi startup, kurangnya akses ke data pihak pertama dapat menjadi rintangan yang cukup besar, sehingga penting untuk mengeksplorasi pendekatan inovatif terhadap akuisisi data dan pelatihan model.
• Kepatuhan terhadap Peraturan: Membumikan AI dengan informasi faktual dan andal sangat penting untuk pengembangan solusi yang siap digunakan perusahaan. Dalam konteks AI generatif, pembumian memastikan bahwa keluaran yang dihasilkan oleh model tidak hanya akurat tetapi juga selaras dengan konteks dan peraturan dunia nyata. Hal ini khususnya penting dalam aplikasi perusahaan yang taruhannya tinggi, dan biaya ketidakakuratan dapat menjadi signifikan. Mematuhi kepatuhan terhadap peraturan adalah aspek penting lainnya, karena memastikan bahwa solusi AI beroperasi dalam kerangka hukum industri yang dilayaninya, mengurangi risiko komplikasi hukum dan menumbuhkan kepercayaan di antara pengguna.

Membangun Pengalaman AI yang Siap untuk Perusahaan

Penerapan AI perusahaan memerlukan pertimbangan cermat terhadap beberapa faktor utama untuk memastikan keberhasilan implementasi dan penciptaan nilai: 

1. Kemampuan Platform: Perusahaan memerlukan lebih dari sekadar model atau API. Platform yang komprehensif harus mendukung penyempurnaan, evaluasi, dan penyulingan model. Fitur kolaboratif sangat penting, yang memungkinkan tim untuk bekerja sama dalam menanggapi permintaan dan melacak perubahan secara efisien.
2. Keamanan dan Privasi: Langkah-langkah keamanan yang kuat sangatlah penting. Google, misalnya, menerapkan enkripsi yang kuat untuk memastikan data pelanggan tetap tidak dapat diakses oleh karyawan. Tingkat perlindungan data ini sangat penting untuk menjaga kepercayaan dan kepatuhan terhadap peraturan1.
3. Skalabilitas: Kemampuan untuk menerapkan model dalam skala besar sangat penting bagi aplikasi perusahaan. Ini mencakup pertimbangan untuk efektivitas biaya dan pengoptimalan kinerja.
4. Faktualitas dan Landasan: Perusahaan memerlukan sistem AI yang menyediakan informasi akurat dan faktual. Teknik seperti Retrieval Augmented Generation (RAG) dapat membantu mendasarkan respons AI pada sumber data terverifikasi, mengurangi halusinasi, dan meningkatkan keandalan.
5. Integrasi dengan Sistem yang Ada: Demi efisiensi maksimal, AI harus terintegrasi dengan lancar dengan alat dan alur kerja organisasi yang sudah ada. Pendekatan Google dalam menggabungkan Gemini ke dalam aplikasi yang banyak digunakan seperti Gmail dan Kalender merupakan contoh strategi ini.
6. Kustomisasi dan Penyempurnaan: Kemampuan untuk mengadaptasi model ke kebutuhan industri tertentu atau data perusahaan sangatlah penting. Hal ini memungkinkan perusahaan untuk memanfaatkan AI untuk kasus penggunaan unik dan informasi kepemilikan mereka.
7. Kepatuhan dan Kepatuhan Peraturan: Solusi AI perusahaan harus dirancang dengan mempertimbangkan persyaratan peraturan, memastikan solusi tersebut memenuhi standar khusus industri dan undang-undang perlindungan data.
8. Manajemen Biaya: Sementara beberapa kemampuan LLM menjadi komoditas, perusahaan harus menyeimbangkan kualitas, latensi, dan biaya saat memilih dan menerapkan solusi AI.
9. Evaluasi Berkelanjutan: Mengingat pesatnya laju pengembangan AI, perusahaan harus menerapkan kerangka kerja untuk evaluasi berkelanjutan model AI dengan menggunakan data dan kasus penggunaan mereka sendiri, daripada hanya mengandalkan tolok ukur publik.
10. Pertimbangan Etis: Pengembangan dan penerapan AI yang bertanggung jawab harus menjadi prioritas, mengatasi potensi bias dan memastikan penggunaan teknologi AI yang adil dan etis.

Berikut adalah beberapa Studi Kasus Google Cloud GenAI:

Bank Federal

• Interaksi Chatbot yang Ditingkatkan: Menggunakan Vertex AI untuk membuat chatbot, Feddy, lebih mirip manusia dan personal.
• Dukungan Multibahasa 24/7: Menerapkan AI untuk layanan pelanggan multibahasa sepanjang waktu.
• Integrasi API: Mengembangkan portal API untuk menyederhanakan kolaborasi FinTech dan meningkatkan keamanan.
• Efisiensi Karyawan: Membuat aplikasi seluler dengan Firebase untuk meningkatkan produktivitas karyawan.
• Keamanan Data: Menggunakan Cloud Armor untuk melindungi dari serangan DDoS dan memastikan kepatuhan data.

secara misterius

• Pendaftaran Pelanggan: Menciptakan Mystic, chatbot AI yang menggunakan Vertex AI, untuk menyederhanakan proses orientasi pengguna dan mengurangi kebutuhan akan dukungan agen.
• Layanan Mandiri yang Ditingkatkan: Mystic menangani pertanyaan yang rumit dan meningkatkan kepuasan pengguna.
• Skalabilitas: Chatbot AI mengelola beberapa pertanyaan sekaligus dan meningkatkan masalah yang belum terselesaikan ke agen manusia.

penjelajah

• Pengembangan BharatGPT: Membangun platform AI multibahasa menggunakan Vertex AI, yang memungkinkan merek berkomunikasi dengan pelanggan dalam bahasa asli.
• Kustomisasi dan Keamanan: Menawarkan penggunaan data yang fleksibel dengan infrastruktur aman Google.
• Skalabilitas: Menggunakan penskalaan otomatis Kubernetes Engine untuk mengelola lalu lintas puncak secara efisien.
• Kolaborasi Inovatif: Bermitra dengan Google Cloud untuk inovasi berkelanjutan dan solusi yang berfokus pada pelanggan.

Saran untuk Startup dan Eksekutif

Untuk Startup

Jadilah Lincah: Evolusi teknologi AI yang cepat mengharuskan perusahaan rintisan untuk tetap tangkas dan responsif. Mengembangkan peta jalan jangka panjang dapat menjadi tantangan mengingat sifat kemajuan teknologi yang tidak dapat diprediksi. Perusahaan rintisan harus fokus untuk beradaptasi dengan cepat terhadap perkembangan baru dan bereksperimen dengan teknologi yang sedang berkembang.

Untuk Eksekutif

Mengevaluasi Kasus Penggunaan: Para eksekutif didorong untuk melihat lebih jauh dari sekadar sensasi dan tolok ukur saat menerapkan strategi AI. Sangat penting untuk menilai model berdasarkan kasus penggunaan praktis dan mengevaluasinya dengan data mereka. Tolok ukur publik mungkin tidak selalu mencerminkan kinerja model dalam skenario dunia nyata, jadi pengujian langsung sangat penting.

Kesimpulan

Lanskap model bahasa besar berkembang pesat, dengan kemajuan signifikan yang datang dari pemain mapan seperti Google dan model yang baru muncul secara global. Inovasi seperti pembuatan terkontrol dan penyimpanan konteks menetapkan standar baru untuk kemampuan LLM. Seiring dengan kemajuan teknologi AI, memahami peran data, dampak pengaruh geografis, dan pentingnya pengembangan tangkas akan menjadi kunci untuk tetap unggul dalam bidang yang dinamis ini. 

Bagi perusahaan rintisan dan eksekutif, tetap tangkas dan fokus pada aplikasi praktis akan sangat penting dalam menavigasi masa depan AI dan memastikan implementasi yang sukses.

Pastikan Anda berlangganan untuk mendapatkan pemberitahuan tentang podcast kami mendatang. episode → Youtube | Aplikasi Spotify | Apel  | RSS