Lanskap adopsi Kecerdasan Buatan (AI) perusahaan saat ini mencerminkan pergeseran signifikan menuju integrasi yang lebih definitif ke dalam operasi bisnis.

Survei terkini menunjukkan bahwa 771 perusahaan menggunakan atau mengeksplorasi AI, dengan 831 perusahaan menganggapnya sebagai prioritas utama dalam rencana strategis mereka. Hal ini menandai peningkatan substansial dari tahun-tahun sebelumnya, yang menunjukkan semakin diakuinya potensi AI untuk meningkatkan keunggulan kompetitif.

Menurut survei Andressen Horowitz, anggaran untuk AI generatif telah meroket, di mana perusahaan ingin menghabiskan 2 sampai 5 kali anggaran tahun lalu untuk mendukung lebih banyak eksperimen genAI. Meskipun masih ada beberapa keraguan, dan itu wajar saja, para pemimpin perusahaan memperluas jumlah kasus penggunaan yang beralih dari tahap eksperimen ke skala produksi yang lebih kecil. 

Dalam artikel ini, kami membahas secara mendalam tiga kerangka kerja LLM paling populer yang telah menghasilkan daya tarik penting dalam mendukung bisnis yang mengembangkan Aplikasi GenAI mereka dengan studi kasus. 

Langchain vs. LlamaIndex vs. deepset

LangChain, LlamaIndex, dan deepset menawarkan solusi berbeda yang disesuaikan untuk berbagai kebutuhan perusahaan. Ini dikenal sebagai alat LLMOps yang membantu perusahaan menyederhanakan proses pengembangan aplikasi mereka. 

Di bawah ini adalah perbandingan komprehensif ketiga kerangka kerja tersebut berdasarkan fitur dan kemampuan utama, opsi penyesuaian, dan studi kasus masing-masing.

Rantai Lang

Diluncurkan pada bulan Oktober 2022 sebagai proyek sumber terbuka, Langchain dengan cepat menjadi salah satu yang terpopuler dengan ratusan pengguna Github yang memberikan kontribusi berupa peningkatan dan membangun komunitas yang dinamis dengan tutorial dan pertemuan yang dibuat pengguna. Dalam 20 bulan terakhir, Langchain telah berhasil mengumpulkan $35 juta dalam dua putaran dari investor seperti Sequoia Capital dan Benchmark. 

Indeks Llama

Dirilis pada November 2022 sebagai proyek sumber terbuka, LlamaIndex adalah kerangka kerja data sumber terbuka untuk menghubungkan kumpulan data khusus dengan model bahasa besar (LLM), yang bertujuan untuk menyederhanakan pembangunan aplikasi LLM yang padat pengetahuan. LlamaIndex baru mengumpulkan 1 putaran pendanaan sebesar $8,5 juta dari investor seperti Greylock dan Dropbox Ventures hingga Juni 2023.

Deepset (tumpukan jerami)

Didirikan pada bulan Juni 2018 di Jerman, deepset adalah vendor perangkat lunak perusahaan yang menyediakan alat bagi pengembang untuk membangun sistem pemrosesan bahasa alami (NLP) yang siap produksi. Penawarannya yang paling terkenal adalah Haystack, kerangka kerja Python sumber terbuka untuk membangun aplikasi khusus dengan model bahasa yang besar. Sejak saat itu, deepset telah mengumpulkan $45,6 juta melalui tiga putaran dari investor seperti Google Ventures dan Balderton Capital.  

Perbandingan Fitur dan Kemampuan Utama

Rantai Lang

• Arsitektur Modular: LangChain menawarkan kerangka kerja modular dan dapat disusun yang memungkinkan pengembang membangun aplikasi canggih dengan menggabungkan berbagai komponen seperti model bahasa, sumber data, dan langkah pemrosesan. Modularitas ini meningkatkan penggunaan kembali kode dan pembuatan prototipe yang cepat.
• Integrasi dengan LLM: LangChain berfungsi sebagai jembatan antara LLM dan aplikasi dunia nyata, menyediakan antarmuka terpadu yang mengabstraksikan kompleksitas interaksi dengan berbagai model. Ia mendukung beberapa LLM dari berbagai penyedia, seperti OpenAI dan Hugging Face.
• Aplikasi dan Kasus Penggunaan: LangChain digunakan untuk berbagai macam aplikasi, termasuk chatbot, pencarian cerdas, sistem tanya jawab, ringkasan teks, dan banyak lagi. Fleksibilitasnya memungkinkannya untuk diterapkan di berbagai industri, mulai dari perawatan kesehatan hingga pemasaran.
• Alat dan Komponen: TKerangka kerja ini mencakup berbagai alat seperti LangGraph untuk membangun aplikasi stateful, LangServe untuk menyebarkan aplikasi sebagai API, dan LangSmith untuk memantau dan men-debug aplikasi LLM. Kerangka kerja ini juga dilengkapi komponen seperti templat prompt, retriever, dan parser output untuk meningkatkan tugas pemrosesan bahasa.

Indeks Llama

• Integrasi Data: LlamaIndex menawarkan berbagai konektor data melalui LlamaHub, yang memungkinkan penyerapan data yang lancar dari berbagai sumber seperti API, basis data, PDF, dan banyak lagi. Integrasi ini membantu dalam menciptakan aplikasi yang kaya konteks dengan menjembatani data eksternal dengan LLM.
• Pengindeksan dan Pengambilan: Kerangka kerja ini mendukung beberapa metode pengindeksan, termasuk indeks vektor, pohon, daftar, dan kata kunci, untuk mengatur dan mengambil data secara efisien. Indeks-indeks ini memfasilitasi pengambilan informasi yang relevan berdasarkan permintaan pengguna, sehingga meningkatkan kinerja sistem Retrieval-Augmented Generation (RAG).
• Antarmuka Kueri: LlamaIndex menyediakan antarmuka kueri tingkat lanjut yang memungkinkan interaksi bahasa alami dengan data. Fitur ini penting untuk aplikasi seperti chatbot, sistem tanya jawab, dan ekstraksi data terstruktur, yang memungkinkan pengguna untuk mengkueri data dengan cara percakapan.
• Dukungan Multi-Modal: Kerangka kerja ini dapat menangani dokumen multimoda, yang memungkinkan pemrosesan berbagai jenis data seperti gambar dan teks. Kemampuan ini memperluas cakupan aplikasi LlamaIndex, sehingga cocok untuk lingkungan data yang kompleks.
• Kustomisasi dan Fleksibilitas: LlamaIndex memungkinkan pengembang untuk menyesuaikan komponen seperti templat prompt, model penyematan, dan mesin kueri. Fleksibilitas ini membuatnya mudah beradaptasi dengan kasus penggunaan tertentu dan meningkatkan integrasinya dengan kerangka kerja lain seperti LangChain dan API OpenAI.

Kedalaman

• Tumpukan jerami: Haystack memungkinkan pengembang membuat alur kerja khusus untuk tugas-tugas seperti pengambilan dokumen, pencarian semantik, pembuatan teks, dan menjawab pertanyaan. Haystack terintegrasi dengan berbagai platform seperti Hugging Face Transformers, Elasticsearch, dan OpenAI, dan lain-lain.
• Awan yang dalam: Ini adalah platform SaaS komersial yang menyediakan versi Haystack yang terkelola. Platform ini mendukung seluruh siklus pengembangan aplikasi NLP, mulai dari pembuatan prototipe hingga penerapan dan pemantauan. Deepset Cloud dirancang agar mudah digunakan, bahkan bagi mereka yang tidak terlalu ahli dalam NLP, dan mencakup fitur-fitur seperti penskalaan dan pemantauan otomatis untuk memfasilitasi pengembangan aplikasi kelas perusahaan.
• Fokus Perusahaan: deepset menargetkan pelanggan perusahaan, menyediakan alat yang sesuai dengan standar industri seperti SOC 2 dan GDPR. Platformnya dirancang untuk menangani aplikasi NLP skala besar yang memerlukan infrastruktur dan fitur keamanan yang tangguh.
• Aplikasi dan Kasus Penggunaan: Teknologi deepset diterapkan di berbagai industri, termasuk keuangan, kesehatan, dan sektor hukum. Teknologi ini mendukung aplikasi seperti chatbot, mesin pencari semantik, dan sistem AI untuk lingkungan kritis seperti penerbangan.

Perbandingan Opsi Kustomisasi & Studi Kasus

Rantai Lang

• Fleksibilitas dan Modularitas: LangChain dirancang dengan tingkat fleksibilitas tinggi, yang memungkinkan pengembang untuk membuat aplikasi yang sangat sesuai. Arsitektur modularnya memungkinkan pengguna untuk menyesuaikan berbagai komponen, seperti rantai, perintah, dan model, agar sesuai dengan kebutuhan tertentu.
• Rantai dan Komponen Kustom: Pengguna dapat membuat rantai kustom menggunakan LangChain Expression Language (LCEL), yang memungkinkan konfigurasi lanjutan seperti eksekusi paralel, fallback, dan metode asinkron. Kemampuan ini membuatnya cocok untuk alur kerja yang kompleks.
• Integrasi dengan Sumber Data: LangChain mendukung integrasi dengan berbagai sumber data dan API, yang memungkinkan pengembang untuk menyempurnakan perilaku LLM dan terhubung ke kumpulan data khusus dengan mulus.
• Kustomisasi Perilaku LLM: Pengembang dapat memodifikasi perilaku model bahasa secara ekstensif, termasuk menyesuaikan perintah dan logika pemrosesan, yang memungkinkan pengalaman pengguna yang lebih disesuaikan.

Studi Kasus: Ayden

Adyen, sebuah platform teknologi finansial, menghadapi tantangan seiring dengan pesatnya perdagangan global, yang mengakibatkan peningkatan volume transaksi dan tekanan pada tim dukungan mereka. Untuk mengatasi hal ini, Adyen mencari solusi teknologi untuk meningkatkan skala operasi tanpa perlu menambah jumlah tim. Mereka mengumpulkan tim ilmuwan data dan teknisi pembelajaran mesin di Tech Hub baru mereka di Madrid untuk meningkatkan efisiensi dan kepuasan tim dukungan.

Solusinya melibatkan penerapan dua aplikasi utama menggunakan LangChain: (1) sistem perutean tiket pintar Dan (2) seorang kopilot agen pendukungSistem perutean tiket pintar bertujuan untuk mengarahkan tiket ke personel pendukung yang tepat dengan cepat, berdasarkan analisis konten. Kopilot agen pendukung memberikan tanggapan yang disarankan kepada agen, sehingga meningkatkan kecepatan dan keakuratan penanganan tiket. Kerangka kerja LangChain memungkinkan Adyen untuk bereksperimen dengan berbagai model tanpa terpaku pada satu model, sehingga memastikan fleksibilitas dan kustomisasi.

Hasil: Adyen mencapai perutean tiket yang lebih efisien dan akurat, yang memungkinkan pedagang untuk segera menerima dukungan dari pakar teknis yang paling sesuai. Dalam waktu empat bulan, mereka mengembangkan basis data dokumen yang komprehensif untuk pencarian informasi yang efektif, yang secara signifikan mengungguli metode pencarian tradisional. Hal ini menghasilkan waktu respons dukungan yang lebih cepat dan peningkatan kepuasan di antara agen dukungan, yang memvalidasi efektivitas sistem baru.

Indeks Llama

• API Tingkat Rendah untuk Pengguna Tingkat Lanjut: LlamaIndex menyediakan API tingkat rendah yang memungkinkan pengguna tingkat lanjut untuk menyesuaikan dan memperluas berbagai modul, termasuk konektor data, indeks, dan mesin kueri. Fleksibilitas ini bermanfaat bagi pengembang yang ingin membangun aplikasi yang lebih kompleks.
• Lapisan Penyimpanan yang Dapat Ditukar: LlamaIndex memungkinkan pengguna untuk menyesuaikan lapisan penyimpanan tempat dokumen dan metadata yang diproses disimpan. Fitur ini memungkinkan perusahaan untuk memilih solusi manajemen data yang mereka sukai.
• Kemudahan Penggunaan untuk Pemula: Untuk pengguna yang kurang berpengalaman, LlamaIndex menawarkan API tingkat tinggi yang menyederhanakan proses penyerapan dan pengambilan data, sehingga mudah untuk memulai tanpa kustomisasi yang ekstensif.
• Fokus pada Pengindeksan dan Pengambilan: Sementara LlamaIndex mendukung penyesuaian, fokus utamanya adalah pada pengindeksan dan pengambilan data yang efisien, yang dapat membatasi tingkat penyesuaian tingkat aplikasi dibandingkan dengan LangChain.

Studi Kasus: Scaleport AI

Scaleport AI, sebuah perusahaan yang mengkhususkan diri dalam teknologi AI untuk industri seperti Hukum, eCommerce, Real Estat, dan Keuangan, menghadapi tantangan signifikan dalam proses pengembangan mereka. Tantangan tersebut meliputi jangka waktu pengembangan yang panjang untuk prototipe teknis, kesulitan dalam menunjukkan nilai kepada klien, pengaturan penyerapan data yang rumit, dan kinerja OCR yang tidak memadai. Kendala ini menghambat kemampuan mereka untuk memberikan solusi AI secara efisien dan melibatkan klien secara efektif.

Untuk mengatasi masalah ini, Scaleport AI mengadopsi LlamaCloud, sebuah platform pengembangan AI yang komprehensif. LlamaCloud menyediakan antarmuka pengetahuan terpusat yang menyederhanakan manajemen data dan mengurangi waktu yang dihabiskan untuk mengolah data. Alat LlamaParse pada platform ini meningkatkan akurasi dan efisiensi OCR secara signifikan. Selain itu, kemampuan pengindeksan dan pengambilan data tingkat lanjut dari LlamaCloud memfasilitasi integrasi yang fleksibel dengan berbagai sumber data, sehingga meningkatkan aksesibilitas data. Platform ini juga menawarkan pembuatan prototipe yang cepat dan transisi yang lancar dari UI ke kode, sehingga mempercepat proses pengembangan.

Hasil: LlamaCloud mempercepat waktu pengembangan, sehingga Scaleport AI dapat membuat prototipe teknis dengan cepat dan menunjukkan nilai nyata kepada klien, sehingga meningkatkan hasil penjualan. Performa OCR yang ditingkatkan dan kemampuan penanganan data yang fleksibel menghasilkan hasil berkualitas tinggi yang disampaikan dengan lebih efisien.

Secara keseluruhan, LlamaCloud terbukti menjadi pengubah permainan, mengurangi jam pengembangan hingga 50-60% dan secara signifikan meningkatkan efisiensi operasional dan keterlibatan klien Scaleport AI.

terbenam dalam

• Pencarian dan Pengambilan yang Dapat Disesuaikan: deepset menyediakan berbagai alat yang memungkinkan perusahaan untuk menyesuaikan proses pencarian dan pengambilan data mereka. Pengguna dapat mengadaptasi model dan alur kerja yang mendasarinya agar sesuai dengan persyaratan domain tertentu.
• Integrasi dengan Sistem yang Ada: Platform ini memungkinkan integrasi dengan sistem data yang ada, sehingga pengguna dapat menyesuaikan cara data diserap dan ditanyakan.
• Kontrol Butiran Halus Terbatas: Meskipun deepset menawarkan opsi penyesuaian, namun mungkin tidak menyediakan tingkat kontrol yang sama terperinci atas perilaku LLM seperti LangChain, lebih berfokus pada peningkatan kemampuan pencarian ketimbang penyesuaian aplikasi yang ekstensif.

Studi Kasus: Airbus

Airbus menghadapi tantangan untuk mengambil informasi secara efisien dari Flight Crew Operating Manual (FCOM) mereka yang sangat penting bagi pilot selama pelatihan dan operasi dalam penerbangan. Manual yang terdiri dari ribuan halaman ini berisi teks dan tabel, sehingga menyulitkan pilot untuk segera menemukan informasi yang diperlukan menggunakan sistem pencarian berbasis kata kunci yang ada. Sistem ini mengharuskan pilot untuk mengetahui istilah-istilah yang digunakan dalam manual tersebut, yang dapat menunda pencarian solusi dalam situasi kritis.

Untuk mengatasi hal ini, Airbus berkolaborasi dengan deepset untuk menerapkan sistem tanya jawab (QA) yang canggih menggunakan kerangka HaystackSistem ini memadukan kemampuan QA teks dan tabel, memanfaatkan model seperti TaPas Google untuk data tabel. Solusi ini menggunakan jalur pengambil-pembaca ganda, memproses kueri melalui model QA teks dan tabel, serta menggabungkan hasil berdasarkan tingkat keyakinan. Pengaturan ini memungkinkan sistem menangani kueri kompleks secara efisien dan memberikan jawaban yang tepat, terlepas dari apakah informasi tersebut berbentuk teks atau tabel.

Hasil: Sistem ini meningkatkan kecepatan dan keakuratan pencarian informasi secara signifikan. Meskipun masih dalam tahap percobaan untuk skenario kritis, sistem ini telah menunjukkan potensi untuk aplikasi yang lebih luas dalam bidang teknik dan pelatihan pilot, yang menunjukkan nilai teknologi NLP tingkat lanjut dalam bidang teknis.

Kesimpulan

Jelas bahwa masing-masing kerangka kerja ini memiliki kelebihan dan kekurangannya. Berikut adalah tabel perbandingan yang merangkum perbedaan antara fitur dan kemampuan utama di antara ketiga kerangka kerja tersebut:

Panduan pembanding kerangka kerja LLM: Langchain, Llamaindex dan deepset

LangChain dirancang untuk membangun aplikasi yang memerlukan interaksi model bahasa yang kompleks. Ia unggul dalam pembuatan dialog, pembuatan konten, dan pengaturan beberapa LLM untuk melakukan tugas-tugas tertentu. Ia ideal untuk aplikasi yang memerlukan kemampuan percakapan dinamis atau alur kerja kompleks yang melibatkan beberapa LLM. Terkait hal itu, LangChain mungkin lebih cocok untuk proyek-proyek yang memerlukan fleksibilitas dalam menangani berbagai interaksi LLM dan menghasilkan keluaran yang kompleks.

Di sisi lain, LlamaIndex berfokus pada pengindeksan dan pengambilan data yang efisien, sehingga cocok untuk aplikasi yang memerlukan akses data yang cepat dan akurat. LlamaIndex paling cocok untuk proyek yang sangat membutuhkan akses cepat ke kumpulan data besar, seperti mesin pencari atau aplikasi yang banyak datanya. Meskipun LlamaIndex dioptimalkan untuk skenario yang mengutamakan kecepatan dan akurasi pengambilan data, LlamaIndex mungkin tidak menawarkan tingkat kemampuan NLP yang sama seperti LangChain.

Terakhir, Haystack adalah kerangka kerja yang tangguh untuk membangun sistem pencarian dan aplikasi QA. Kerangka kerja ini mendukung berbagai tugas NLP, termasuk pengambilan dokumen dan menjawab pertanyaan, dengan fokus kuat pada integrasi dengan sistem data yang ada. Kerangka kerja ini paling cocok untuk perusahaan yang ingin menerapkan kemampuan pencarian tingkat lanjut atau sistem QA yang terintegrasi dengan mulus dengan infrastruktur data yang ada. Haystack sangat bermanfaat bagi organisasi yang membutuhkan solusi pencarian dan QA yang komprehensif, memanfaatkan kemampuannya untuk menangani kueri yang kompleks dan terintegrasi dengan berbagai sumber data.

Pilihan kerangka kerja LLM Anda harus selalu bergantung pada kebutuhan spesifik Anda: LangChain untuk interaksi bahasa yang kompleks, LlamaIndex untuk pengambilan data yang efisien, dan deepset untuk kemampuan pencarian dan QA tingkat lanjut.