企業における人工知能 (AI) の導入の現状は、ビジネス業務へのより明確な統合に向けた大きな変化を反映しています。

最近の調査によると、77% の企業が AI を使用しているか検討しており、83% が AI を戦略計画の最優先事項と見なしています。これは前年と比べて大幅に増加しており、競争上の優位性を高める AI の可能性に対する認識が高まっていることを示しています。

アンドレセン・ホロウィッツの調査によると、生成AIへの予算は急増しており、企業は 2～5回 昨年の予算の 10% を、より多くの genAI 実験をサポートするために割り当てました。当然のことながら、まだいくらか留保は残っていますが、企業のリーダーたちは、実験段階から小規模な本番環境での展開へと移行するユースケースの数を増やしています。 

この記事では、GenAI アプリを開発する企業をサポートする上で注目に値する 3 つの最も人気のある LLM フレームワークについて、ケース スタディを交えて詳しく説明します。 

Langchain 対 LlamaIndex 対 deepset

LangChain、LlamaIndex、deepset は、さまざまな企業のニーズに合わせてカスタマイズされた独自のソリューションを提供しています。これらは、企業がアプリ開発プロセスを合理化できるように支援する LLMOps ツールとして知られています。 

以下は、主要な機能と性能、カスタマイズ オプション、およびそれぞれのケース スタディに基づいた、これら 3 つのフレームワークの包括的な比較です。

ランチェーン

2022年10月にオープンソースプロジェクトとして立ち上げられたLangchainは、何百人ものGithubユーザーが改善に貢献し、ユーザー生成のチュートリアルやミートアップで活気のあるコミュニティを確立したことで、すぐに最も人気のあるプロジェクトの1つになりました。過去20か月以内に、LangchainはSequoia CapitalやBenchmarkなどの投資家から2回の資金調達で$35百万ドルを調達しました。 

ラマインデックス

2022年11月にオープンソースプロジェクトとしてリリースされたLlamaIndexは、カスタムデータセットを大規模言語モデル（LLM）に接続するためのオープンソースデータフレームワークであり、知識集約型LLMアプリケーションの構築を簡素化することを目的としています。LlamaIndexは、2023年6月現在、GreylockやDropbox Venturesなどの投資家から1ラウンドで$850万を調達しただけです。

ディープセット（ヘイスタック）

2018 年 6 月にドイツで設立された deepset は、開発者に本番環境対応の自然言語処理 (NLP) システムを構築するためのツールを提供するエンタープライズ ソフトウェア ベンダーです。最もよく知られているのは、大規模な言語モデルを使用してカスタム アプリケーションを構築するためのオープンソースの Python フレームワークである Haystack です。deepset はその後、Google Ventures や Balderton Capital などの投資家から 3 回の資金調達で $4560 万ドルを調達しました。  

主な機能と性能の比較

ランチェイン

• モジュラーアーキテクチャ: LangChain は、モジュール式で構成可能なフレームワークを提供します。これにより、開発者は言語モデル、データ ソース、処理手順などのさまざまなコンポーネントを組み合わせて、高度なアプリケーションを構築できます。このモジュール性により、コードの再利用性と迅速なプロトタイピングが促進されます。
• LLM との統合: LangChain は、LLM と実際のアプリケーション間の橋渡しとして機能し、さまざまなモデルとのやり取りの複雑さを抽象化する統合インターフェースを提供します。OpenAI や Hugging Face など、さまざまなプロバイダーの複数の LLM をサポートします。
• アプリケーションとユースケース: LangChainは、チャットボット、インテリジェント検索、質問応答システム、テキスト要約など、幅広いアプリケーションに使用されています。その柔軟性により、ヘルスケアからマーケティングまで、さまざまな業界に適用できます。
• ツールとコンポーネント: Tこのフレームワークには、ステートフルアプリケーションを構築するためのLangGraph、アプリケーションをAPIとして展開するためのLangServe、LLMアプリケーションを監視およびデバッグするためのLangSmithなどのさまざまなツールが含まれています。また、言語処理タスクを強化するためのプロンプトテンプレート、リトリーバー、出力パーサーなどのコンポーネントも備えています。

ラマインデックス

• データ統合: LlamaIndex は、LlamaHub を通じて幅広いデータ コネクタを提供しており、API、データベース、PDF などのさまざまなソースからデータをシームレスに取り込むことができます。この統合により、外部データを LLM と連携させて、コンテキストが豊富なアプリケーションを作成できます。
• インデックス作成と検索: このフレームワークは、ベクター、ツリー、リスト、キーワード インデックスなど、複数のインデックス作成方法をサポートしており、データを効率的に整理して取得できます。これらのインデックスにより、ユーザーのクエリに基づいて関連情報を簡単に取得でき、検索拡張生成 (RAG) システムのパフォーマンスが向上します。
• クエリ インターフェース: LlamaIndex は、データとの自然言語による対話を可能にする高度なクエリ インターフェースを提供します。この機能は、チャットボット、質問応答システム、構造化データ抽出などのアプリケーションにとって非常に重要であり、ユーザーは会話形式でデータをクエリできます。
• マルチモーダルサポート: このフレームワークはマルチモーダル ドキュメントを処理できるため、画像やテキストなどのさまざまなデータ タイプを処理できます。この機能により、LlamaIndex の適用範囲が広がり、複雑なデータ環境にも適したものになります。
• カスタマイズと柔軟性: LlamaIndex を使用すると、開発者はプロンプト テンプレート、埋め込みモデル、クエリ エンジンなどのコンポーネントをカスタマイズできます。この柔軟性により、特定のユース ケースに適応できるようになり、LangChain や OpenAI の API などの他のフレームワークとの統合が強化されます。

深い悲しみ

• 干し草の山: Haystack を使用すると、開発者はドキュメント検索、セマンティック検索、テキスト生成、質問への回答などのタスク用のカスタム パイプラインを作成できます。Hugging Face Transformers、Elasticsearch、OpenAI などのさまざまなプラットフォームと統合されます。
• ディープセットクラウド: これは、Haystack のマネージド バージョンを提供する商用 SaaS プラットフォームです。プロトタイピングから展開、監視まで、NLP アプリケーション開発のライフサイクル全体をサポートします。Deepset Cloud は、NLP に精通していない人でも使いやすいように設計されており、自動スケーリングや監視などの機能を備えており、エンタープライズ グレードのアプリケーションの開発を容易にします。
• エンタープライズフォーカス: deepset は企業顧客をターゲットにしており、SOC 2 や GDPR などの業界標準に準拠したツールを提供しています。同社のプラットフォームは、堅牢なインフラストラクチャとセキュリティ機能を必要とする大規模な NLP アプリケーションを処理できるように設計されています。
• アプリケーションとユースケース: deepsetの技術は、金融、医療、法律分野など、さまざまな業界に適用されています。航空などの重要な環境向けのチャットボット、セマンティック検索エンジン、AIシステムなどのアプリケーションをサポートしています。

カスタマイズオプションの比較とケーススタディ

ランチェイン

• 柔軟性とモジュール性: LangChain は高度な柔軟性を備えて設計されており、開発者は高度にカスタマイズされたアプリケーションを作成できます。モジュール式アーキテクチャにより、ユーザーはチェーン、プロンプト、モデルなどのさまざまなコンポーネントを特定のニーズに合わせてカスタマイズできます。
• カスタム チェーンとコンポーネント: ユーザーは、並列実行、フォールバック、非同期メソッドなどの高度な構成を可能にする LangChain Expression Language (LCEL) を使用してカスタム チェーンを作成できます。この機能により、複雑なワークフローに適しています。
• データ ソースとの統合: LangChain は幅広いデータ ソースおよび API との統合をサポートしており、開発者は LLM の動作を微調整し、カスタム データセットにシームレスに接続できます。
• LLM 動作のカスタマイズ: 開発者は、プロンプトや処理ロジックの調整など、言語モデルの動作を大幅に変更できるため、よりカスタマイズされたユーザー エクスペリエンスを実現できます。

ケーススタディ: エイデン

金融テクノロジー プラットフォームの Adyen は、グローバル商取引の加速により取引量が増加し、サポート チームへの負担が増大する中で課題に直面しました。これに対処するため、Adyen はチーム規模を拡大せずに業務を拡大できる技術的ソリューションを求めました。同社は、サポート チームの効率と満足度を高めるために、マドリードの新しいテック ハブにデータ サイエンティストと機械学習エンジニアのチームを編成しました。

このソリューションでは、LangChain を使用して 2 つの主要なアプリケーションを実装しました。 （１）スマートチケットルーティングシステム そして (2) サポートエージェントの副操縦士スマート チケット ルーティング システムは、コンテンツ分析に基づいて、チケットを適切なサポート担当者に迅速に転送することを目的としていました。サポート エージェント コパイロットはエージェントに推奨応答を提供し、チケット処理の速度と精度を向上させました。LangChain のフレームワークにより、Adyen は 1 つのモデルに縛られることなくさまざまなモデルを試すことができ、柔軟性とカスタマイズ性が確保されました。

結果: Adyen は、より効率的で正確なチケットルーティングを実現し、販売業者が最適な技術専門家から迅速にサポートを受けられるようにしました。4 か月以内に、効果的な情報検索のための包括的なドキュメント データベースを開発し、従来の検索方法を大幅に上回りました。これにより、サポート応答時間が短縮され、サポート エージェントの満足度が向上し、新しいシステムの有効性が実証されました。

ラマインデックス

• 上級ユーザー向けの低レベル API: LlamaIndex は、データ コネクタ、インデックス、クエリ エンジンなどのさまざまなモジュールを上級ユーザーがカスタマイズおよび拡張できるようにする低レベル API を提供します。この柔軟性は、より複雑なアプリケーションを構築しようとしている開発者にとって有益です。
• スワップ可能なストレージ レイヤー: LlamaIndex を使用すると、取り込んだドキュメントとメタデータが保存されるストレージ レイヤーをユーザーがカスタマイズできます。この機能により、企業は好みのデータ管理ソリューションを選択できます。
• 初心者でも使いやすい: 経験の浅いユーザー向けに、LlamaIndex はデータの取り込みとクエリのプロセスを簡素化する高レベルの API を提供しており、大幅なカスタマイズを行わなくても簡単に始めることができます。
• インデックス作成と検索に重点を置く: LlamaIndex はカスタマイズをサポートしていますが、その主な焦点は効率的なデータのインデックス作成と取得にあるため、LangChain と比較するとアプリケーション レベルのカスタマイズの範囲が制限される可能性があります。

ケーススタディ: Scaleport AI

法務、eコマース、不動産、金融などの業界向けの AI テクノロジーを専門とする Scaleport AI は、開発プロセスで大きな課題に直面していました。これには、技術プロトタイプの開発期間の長さ、クライアントへの価値の実証の難しさ、複雑なデータ取り込み設定、不十分な OCR パフォーマンスなどが含まれます。これらの障害により、AI ソリューションを効率的に提供し、クライアントと効果的に関わることができませんでした。

これらの問題を克服するために、Scaleport AIは包括的なAI開発プラットフォームであるLlamaCloudを採用しました。LlamaCloud データ管理を合理化し、データラングリングに費やす時間を削減する集中化された知識インターフェースを提供しました。プラットフォームの LlamaParse ツールにより、OCR の精度と効率が大幅に向上しました。さらに、LlamaCloud の高度なインデックス作成および検索機能により、さまざまなデータ ソースとの柔軟な統合が可能になり、データのアクセシビリティが向上しました。また、このプラットフォームでは、迅速なプロトタイピングと UI からコードへのシームレスな移行が提供され、開発プロセスが迅速化されました。

結果: LlamaCloud によって開発期間が短縮され、Scaleport AI は技術プロトタイプを迅速に作成して顧客に具体的な価値を示すことができ、販売成果が向上しました。OCR パフォーマンスの向上と柔軟なデータ処理機能により、高品質の結果がより効率的に提供されるようになりました。

全体として、LlamaCloud はゲームチェンジャーであることが証明され、開発時間を 50 ～ 60% 削減し、Scaleport AI の運用効率とクライアント エンゲージメントを大幅に向上させました。

深い動揺

• カスタマイズ可能な検索と取得: deepset は、企業が検索および取得プロセスをカスタマイズできるツールを提供します。ユーザーは、基盤となるモデルとパイプラインを特定のドメイン要件に合わせて調整できます。
• 既存システムとの統合: このプラットフォームでは既存のデータ システムとの統合が可能であり、ユーザーはデータの取り込み方法やクエリ方法をカスタマイズできます。
• 限定されたきめ細かな制御: deepset はカスタマイズ オプションを提供しますが、LangChain と同じレベルの LLM 動作のきめ細かな制御は提供せず、広範なアプリケーションのカスタマイズよりも検索機能の強化に重点を置いています。

ケーススタディ: エアバス

エアバスは、パイロットの訓練や飛行中の操作に不可欠な、膨大なフライト クルー操作マニュアル (FCOM) から情報を効率的に取得するという課題に直面していました。数千ページに及ぶこのマニュアルにはテキストと表の両方が含まれており、既存のキーワードベースの検索システムを使用してパイロットが必要な情報をすばやく見つけることは困難でした。このシステムでは、パイロットがマニュアルで使用されている用語を正確に知る必要があり、重大な状況で解決策を見つけるのが遅れる可能性がありました。

これに対処するために、エアバスはディープセットと協力し、 Haystackフレームワークを使用して洗練された質問応答（QA）システムを実装するこのシステムは、テキストと表の両方の QA 機能を統合し、表データ用の Google の TaPas などのモデルを活用します。このソリューションは、デュアル リトリーバー リーダー パイプラインを採用し、テキストと表の両方の QA モデルでクエリを処理し、信頼度に基づいて結果を組み合わせます。この設定により、システムは複雑なクエリを効率的に処理し、情報がテキスト形式か表形式かに関係なく、正確な回答を提供できます。

結果: システムにより、情報検索の速度と精度が大幅に向上しました。生命に関わるシナリオではまだ実験段階ですが、このシステムはエンジニアリングやパイロットの訓練でより幅広い用途に使用できる可能性を示しており、技術分野における高度な NLP 技術の価値を実証しています。

結論

これらのフレームワークにはそれぞれ長所と短所があることは明らかです。以下は、3 つのフレームワーク間の主な機能と能力の違いをまとめた比較表です。

LLM フレームワークの比較ガイド: Langchain、Llamaindex、deepset

LangChain は、複雑な言語モデルのインタラクションを必要とするアプリケーションを構築するために設計されています。ダイアログ生成、コンテンツ作成、および特定のタスクを実行するための複数の LLM のオーケストレーションに優れています。動的な会話機能や複数の LLM が関与する複雑なワークフローを必要とするアプリケーションに最適です。その点では、LangChain は、さまざまな LLM インタラクションの処理と複雑な出力の生成に柔軟性が求められるプロジェクトに適しているかもしれません。

一方、LlamaIndex は効率的なデータ インデックス作成と取得に重点を置いているため、高速で正確なデータ アクセスを必要とするアプリケーションに適しています。検索エンジンやデータ量の多いアプリケーションなど、大規模なデータセットへの迅速なアクセスが重要なプロジェクトに最適です。LlamaIndex はデータ取得の速度と精度が最も重要であるシナリオ向けに最適化されていますが、LangChain と同じレベルの NLP 機能を提供しない可能性があります。

最後に、Haystack は、検索システムと QA アプリケーションを構築するための堅牢なフレームワークです。ドキュメント検索や質問への回答など、さまざまな NLP タスクをサポートし、既存のデータ システムとの統合に重点を置いています。これは、既存のデータ インフラストラクチャとシームレスに統合される高度な検索機能や QA システムの実装を検討している企業に最適です。Haystack は、複雑なクエリを処理し、さまざまなデータ ソースと統合する機能を活用し、包括的な検索および QA ソリューションを必要とする組織にとって特に有益です。

LLM フレームワークの選択は、常に特定のニーズに応じて異なります。複雑な言語インタラクションには LangChain、効率的なデータ取得には LlamaIndex、高度な検索と QA 機能には deepset を使用します。