기업이 인공지능(AI)을 도입하는 현재 환경은 비즈니스 운영에 대한 보다 확실한 통합을 향한 상당한 변화를 보여줍니다.

최근 조사에 따르면 77%의 회사가 AI를 사용하거나 탐색하고 있으며, 83%는 이를 전략 계획의 최우선 순위로 간주하고 있습니다. 이는 전년 대비 상당한 증가를 나타내며 AI가 경쟁 우위를 강화할 수 있는 잠재력을 점점 더 인식하고 있음을 보여줍니다.

Andressen Horowitz의 조사에 따르면 기업들이 지출하고자 하는 생성 AI 예산이 급증하고 있습니다. 2~5회 작년 예산의 genAI 실험을 더 많이 지원하기 위해. 여전히 몇 가지 보류 사항이 남아 있지만, 당연히도 기업 리더들은 실험 단계에서 더 작은 프로덕션 규모로 배포되는 사용 사례 수를 확대하고 있습니다. 

이 기사에서는 사례 연구를 통해 GenAI 앱을 개발하는 기업을 지원하는 데 있어 주목할 만한 성과를 보인 가장 인기 있는 세 가지 LLM 프레임워크에 대해 자세히 알아보겠습니다. 

Langchain 대 LlamaIndex 대 deepset

LangChain, LlamaIndex 및 deepset은 다양한 기업 요구에 맞게 맞춤화된 고유한 솔루션을 제공합니다. 이는 LLMOps 도구로 알려져 있으며, 회사가 앱 개발 프로세스를 간소화하는 데 도움이 됩니다. 

다음은 주요 특징과 성능, 사용자 정의 옵션, 해당 사례 연구를 기반으로 세 가지 프레임워크를 포괄적으로 비교한 것입니다.

랭체인

2022년 10월 오픈소스 프로젝트로 출시된 Langchain은 수백 명의 Github 사용자가 개선 사항을 기여하고 사용자가 만든 튜토리얼과 미팅으로 활기찬 커뮤니티를 구축하면서 빠르게 가장 인기 있는 프로젝트 중 하나가 되었습니다. 지난 20개월 동안 Langchain은 Sequoia Capital과 Benchmark와 같은 투자자로부터 두 라운드에서 $3500만 달러를 모금했습니다. 

라마인덱스

2022년 11월 오픈소스 프로젝트로 출시된 LlamaIndex는 사용자 정의 데이터 세트를 대규모 언어 모델(LLM)과 연결하기 위한 오픈소스 데이터 프레임워크로, 지식 집약적 LLM 애플리케이션의 구축을 간소화하는 것을 목표로 합니다. LlamaIndex는 2023년 6월 현재 Greylock, Dropbox Ventures와 같은 투자자로부터 $8.5백만의 1라운드만 모금했습니다.

딥셋(Haystack)

2018년 6월 독일에서 설립된 deepset은 개발자에게 프로덕션에 적합한 자연어 처리(NLP) 시스템을 구축할 수 있는 도구를 제공하는 엔터프라이즈 소프트웨어 공급업체입니다. 가장 잘 알려진 제품은 대규모 언어 모델로 사용자 지정 애플리케이션을 구축하기 위한 오픈소스 Python 프레임워크인 Haystack입니다. deepset은 그 후 Google Ventures와 Balderton Capital과 같은 투자자로부터 3회에 걸쳐 $45.6백만 달러를 모금했습니다.  

주요 기능 및 역량 비교

랭체인

• 모듈형 아키텍처: LangChain은 개발자가 언어 모델, 데이터 소스, 처리 단계와 같은 다양한 구성 요소를 결합하여 정교한 애플리케이션을 빌드할 수 있는 모듈식 및 구성 가능한 프레임워크를 제공합니다. 이러한 모듈성은 코드 재사용성과 신속한 프로토타입 제작을 촉진합니다.
• LLM과의 통합: LangChain은 LLM과 실제 애플리케이션 간의 브리지 역할을 하며, 다양한 모델과 상호 작용하는 복잡성을 추상화하는 통합 인터페이스를 제공합니다. OpenAI 및 Hugging Face와 같은 다양한 공급업체의 여러 LLM을 지원합니다.
• 응용 프로그램 및 사용 사례: LangChain은 챗봇, 지능형 검색, 질문-답변 시스템, 텍스트 요약 등을 포함한 광범위한 애플리케이션에 사용됩니다. 유연성 덕분에 헬스케어에서 마케팅에 이르기까지 다양한 산업에 적용할 수 있습니다.
• 도구 및 구성 요소: T이 프레임워크에는 상태 저장 애플리케이션을 빌드하기 위한 LangGraph, 애플리케이션을 API로 배포하기 위한 LangServe, LLM 애플리케이션을 모니터링하고 디버깅하기 위한 LangSmith와 같은 다양한 도구가 포함되어 있습니다. 또한 언어 처리 작업을 향상시키기 위한 프롬프트 템플릿, 검색기, 출력 파서와 같은 구성 요소도 제공합니다.

라마인덱스

• 데이터 통합: LlamaIndex는 LlamaHub를 통해 광범위한 데이터 커넥터를 제공하여 API, 데이터베이스, PDF 등 다양한 소스에서 데이터를 원활하게 수집할 수 있습니다. 이러한 통합은 외부 데이터를 LLM과 연결하여 컨텍스트가 풍부한 애플리케이션을 만드는 데 도움이 됩니다.
• 인덱싱 및 검색: 이 프레임워크는 벡터, 트리, 목록 및 키워드 인덱스를 포함한 여러 인덱싱 방법을 지원하여 데이터를 효율적으로 구성하고 검색합니다. 이러한 인덱스는 사용자 쿼리에 따라 관련 정보를 검색하는 것을 용이하게 하여 Retrieval-Augmented Generation(RAG) 시스템의 성능을 향상시킵니다.
• 쿼리 인터페이스: LlamaIndex는 데이터와 자연어 상호작용을 가능하게 하는 고급 쿼리 인터페이스를 제공합니다. 이 기능은 챗봇, 질의응답 시스템, 구조화된 데이터 추출과 같은 애플리케이션에 필수적이며, 사용자가 대화 방식으로 데이터를 쿼리할 수 있도록 합니다.
• 다중 모달 지원: 이 프레임워크는 다중 모달 문서를 처리할 수 있어 이미지와 텍스트와 같은 다양한 데이터 유형을 처리할 수 있습니다. 이 기능은 LlamaIndex의 적용 범위를 넓혀 복잡한 데이터 환경에 적합하게 만듭니다.
• 사용자 정의 및 유연성: LlamaIndex를 사용하면 개발자가 프롬프트 템플릿, 임베딩 모델, 쿼리 엔진과 같은 구성 요소를 사용자 정의할 수 있습니다. 이러한 유연성 덕분에 특정 사용 사례에 적응할 수 있으며 LangChain 및 OpenAI의 API와 같은 다른 프레임워크와의 통합이 향상됩니다.

딥셋

• 커다란 건초 더미: Haystack은 개발자가 문서 검색, 의미 검색, 텍스트 생성, 질의 응답과 같은 작업을 위한 사용자 정의 파이프라인을 만들 수 있도록 합니다. Hugging Face Transformers, Elasticsearch, OpenAI 등 다양한 플랫폼과 통합됩니다.
• deepset 클라우드: 이것은 Haystack의 관리형 버전을 제공하는 상용 SaaS 플랫폼입니다. 프로토타입부터 배포 및 모니터링까지 NLP 애플리케이션 개발의 전체 라이프사이클을 지원합니다. Deepset Cloud는 NLP에 정통하지 않은 사람에게도 사용자 친화적으로 설계되었으며, 자동 스케일링 및 모니터링과 같은 기능을 포함하여 엔터프라이즈급 애플리케이션 개발을 용이하게 합니다.
• 기업 중심: deepset은 기업 고객을 대상으로 SOC 2 및 GDPR과 같은 산업 표준을 준수하는 도구를 제공합니다. 해당 플랫폼은 견고한 인프라와 보안 기능이 필요한 대규모 NLP 애플리케이션을 처리하도록 설계되었습니다.
• 응용 프로그램 및 사용 사례: deepset의 기술은 금융, 의료, 법률 분야를 포함한 다양한 산업에 적용됩니다. 항공과 같은 중요한 환경을 위한 챗봇, 의미 검색 엔진, AI 시스템과 같은 애플리케이션을 지원합니다.

사용자 정의 옵션 및 사례 연구 비교

랭체인

• 유연성과 모듈성: LangChain은 높은 수준의 유연성으로 설계되어 개발자가 고도로 맞춤화된 애플리케이션을 만들 수 있습니다. 모듈형 아키텍처를 통해 사용자는 체인, 프롬프트, 모델과 같은 다양한 구성 요소를 특정 요구 사항에 맞게 사용자 정의할 수 있습니다.
• 사용자 정의 체인 및 구성 요소: 사용자는 LangChain Expression Language(LCEL)를 사용하여 사용자 정의 체인을 만들 수 있으며, 이를 통해 병렬 실행, 폴백 및 비동기 메서드와 같은 고급 구성이 가능합니다. 이 기능은 복잡한 워크플로에 적합합니다.
• 데이터 소스와의 통합: LangChain은 광범위한 데이터 소스 및 API와의 통합을 지원하여 개발자가 LLM 동작을 미세하게 조정하고 사용자 정의 데이터 세트에 원활하게 연결할 수 있도록 합니다.
• LLM 행동의 사용자 정의: 개발자는 프롬프트 조정 및 처리 논리를 포함하여 언어 모델의 동작을 광범위하게 수정할 수 있으며, 이를 통해 더욱 맞춤화된 사용자 경험을 제공할 수 있습니다.

사례 연구: Ayden

금융 기술 플랫폼인 Adyen은 글로벌 상거래가 가속화되면서 어려움에 직면했고, 거래량이 증가하고 지원 팀에 압박이 가해졌습니다. 이를 해결하기 위해 Adyen은 팀 규모를 확대하지 않고도 운영을 확장할 수 있는 기술 솔루션을 모색했습니다. 그들은 마드리드의 새로운 Tech Hub에 데이터 과학자와 머신 러닝 엔지니어 팀을 구성하여 지원 팀의 효율성과 만족도를 높였습니다.

이 솔루션에는 LangChain을 사용하여 두 가지 핵심 애플리케이션을 구현하는 것이 포함되었습니다. (1) 스마트 티켓 라우팅 시스템 그리고 (2) 지원 에이전트 조종사. 스마트 티켓 라우팅 시스템은 콘텐츠 분석을 기반으로 티켓을 적절한 지원 담당자에게 신속하게 전달하는 것을 목표로 했습니다. 지원 에이전트 조종사는 에이전트에게 제안된 응답을 제공하여 티켓 처리의 속도와 정확성을 개선했습니다. LangChain의 프레임워크를 통해 Adyen은 하나에 갇히지 않고 다양한 모델을 실험하여 유연성과 사용자 정의를 보장할 수 있었습니다.

결과: Adyen은 더 효율적이고 정확한 티켓 라우팅을 달성하여 상인이 가장 적합한 기술 전문가로부터 즉시 지원을 받을 수 있게 했습니다. 4개월 만에 효과적인 정보 검색을 위한 포괄적인 문서 데이터베이스를 개발하여 기존 검색 방법보다 상당히 우수한 성과를 거두었습니다. 이를 통해 지원 응답 시간이 빨라지고 지원 담당자의 만족도가 높아져 새로운 시스템의 효과가 검증되었습니다.

라마인덱스

• 고급 사용자를 위한 하위 수준 API: LlamaIndex는 고급 사용자가 데이터 커넥터, 인덱스, 쿼리 엔진을 포함한 다양한 모듈을 사용자 정의하고 확장할 수 있는 하위 수준 API를 제공합니다. 이러한 유연성은 더 복잡한 애플리케이션을 구축하려는 개발자에게 유익합니다.
• 교체 가능한 스토리지 계층: LlamaIndex를 사용하면 사용자가 수집된 문서와 메타데이터가 저장되는 스토리지 계층을 사용자 지정할 수 있습니다. 이 기능을 통해 기업은 선호하는 데이터 관리 솔루션을 선택할 수 있습니다.
• 초보자를 위한 사용 편의성: 경험이 부족한 사용자를 위해 LlamaIndex는 데이터 수집 및 쿼리 프로세스를 단순화하는 고수준 API를 제공하므로 광범위한 사용자 정의 없이 쉽게 시작할 수 있습니다.
• 인덱싱 및 검색에 집중: LlamaIndex는 사용자 정의를 지원하지만, 주된 초점은 효율적인 데이터 인덱싱과 검색에 맞춰져 있기 때문에 LangChain에 비해 애플리케이션 수준의 사용자 정의 범위가 제한될 수 있습니다.

사례 연구: Scaleport AI

법률, 전자상거래, 부동산, 금융과 같은 산업을 위한 AI 기술을 전문으로 하는 회사인 Scaleport AI는 개발 프로세스에서 상당한 어려움에 직면했습니다. 여기에는 기술 프로토타입의 긴 개발 일정, 고객에게 가치를 입증하는 데 어려움, 복잡한 데이터 수집 설정, 부적절한 OCR 성능이 포함되었습니다. 이러한 장애물은 AI 솔루션을 효율적으로 제공하고 고객을 효과적으로 참여시키는 능력을 방해했습니다.

이러한 문제를 극복하기 위해 Scaleport AI는 포괄적인 AI 개발 플랫폼인 LlamaCloud를 채택했습니다. LlamaCloud 데이터 관리를 간소화하고 데이터 정리에 소요되는 시간을 줄여주는 중앙 집중식 지식 인터페이스를 제공했습니다.. 플랫폼의 LlamaParse 도구는 OCR 정확도와 효율성을 크게 개선했습니다. 또한 LlamaCloud의 고급 인덱싱 및 검색 기능은 다양한 데이터 소스와의 유연한 통합을 용이하게 하여 데이터 접근성을 향상시켰습니다. 또한 이 플랫폼은 UI에서 코드로의 빠른 프로토타입 제작과 원활한 전환을 제공하여 개발 프로세스를 가속화했습니다.

결과: LlamaCloud는 개발 일정을 가속화하여 Scaleport AI가 기술 프로토타입을 신속하게 만들고 고객에게 실질적인 가치를 입증하여 판매 실적을 개선할 수 있었습니다. 향상된 OCR 성능과 유연한 데이터 처리 기능으로 고품질의 결과를 보다 효율적으로 제공할 수 있었습니다.

전반적으로 LlamaCloud는 획기적인 솔루션임이 입증되어 개발 시간을 50-60% 단축하고 Scaleport AI의 운영 효율성과 고객 참여를 크게 향상시켰습니다.

딥셋

• 사용자 정의 가능한 검색 및 검색: deepset은 기업이 검색 및 검색 프로세스를 사용자 정의할 수 있는 도구를 제공합니다. 사용자는 기본 모델과 파이프라인을 특정 도메인 요구 사항에 맞게 조정할 수 있습니다.
• 기존 시스템과의 통합: 이 플랫폼을 사용하면 기존 데이터 시스템과 통합하여 사용자가 데이터를 수집하고 쿼리하는 방법을 사용자 정의할 수 있습니다.
• 제한된 세부 제어: deepset은 사용자 정의 옵션을 제공하지만 LangChain만큼 LLM 동작에 대한 세부적인 제어 수준을 제공하지 못할 수 있으며, 광범위한 애플리케이션 사용자 정의보다는 검색 기능 향상에 더 중점을 둡니다.

사례 연구: 에어버스

에어버스는 조종사가 훈련과 비행 중 운항에 필수적인 방대한 Flight Crew Operating Manual(FCOM)에서 효율적으로 정보를 검색하는 과제에 직면했습니다. 수천 페이지에 달하는 이 매뉴얼에는 텍스트와 표가 모두 포함되어 있어 조종사가 기존 키워드 기반 검색 시스템을 사용하여 필요한 정보를 빠르게 찾는 데 어려움을 겪었습니다. 이 시스템은 조종사가 매뉴얼에 사용된 정확한 용어를 알아야 했기 때문에 중요한 상황에서 해결책을 찾는 데 시간이 걸릴 수 있었습니다.

이를 해결하기 위해 Airbus는 deepset과 협력했습니다. Haystack 프레임워크를 사용하여 정교한 질문 답변(QA) 시스템 구현. 이 시스템은 텍스트와 테이블 QA 기능을 모두 통합하여 테이블 데이터에 대한 Google의 TaPas와 같은 모델을 활용합니다. 이 솔루션은 이중 검색기-리더 파이프라인을 사용하여 텍스트와 테이블 QA 모델을 통해 쿼리를 처리하고 신뢰 수준에 따라 결과를 결합합니다. 이 설정을 통해 시스템은 정보가 텍스트이든 테이블이든 관계없이 복잡한 쿼리를 효율적으로 처리하고 정확한 답변을 제공할 수 있습니다.

결과: 이 시스템은 정보 검색의 속도와 정확성을 크게 개선했습니다. 생명에 중대한 시나리오에서는 아직 실험적이지만, 이 시스템은 엔지니어링 및 조종사 훈련에서 더 광범위한 응용 분야에 대한 잠재력을 보여주었으며, 기술 분야에서 고급 NLP 기술의 가치를 입증했습니다.

결론

이러한 프레임워크 각각에는 강점과 약점이 있다는 것은 분명합니다. 아래는 세 프레임워크 간의 주요 기능과 역량의 차이점을 요약한 비교 표입니다.

LLM 프레임워크 비교 가이드: Langchain, Llamaindex 및 deepset

LangChain은 복잡한 언어 모델 상호작용이 필요한 애플리케이션을 구축하도록 설계되었습니다. 대화 생성, 콘텐츠 생성 및 여러 LLM을 조정하여 특정 작업을 수행하는 데 탁월합니다. 동적 대화 기능이 필요한 애플리케이션이나 여러 LLM이 관련된 복잡한 워크플로에 이상적입니다. 그런 의미에서 LangChain은 다양한 LLM 상호작용을 처리하고 복잡한 출력을 생성하는 데 유연성이 필요한 프로젝트에 더 적합할 수 있습니다.

반면, LlamaIndex는 효율적인 데이터 인덱싱 및 검색에 중점을 두어 빠르고 정확한 데이터 액세스가 필요한 애플리케이션에 적합합니다. 검색 엔진이나 데이터 중심 애플리케이션과 같이 대용량 데이터 세트에 대한 빠른 액세스가 중요한 프로젝트에 가장 적합합니다. LlamaIndex는 데이터 검색 속도와 정확도가 가장 중요한 시나리오에 최적화되어 있지만 LangChain과 동일한 수준의 NLP 기능을 제공하지 않을 수 있습니다.

마지막으로, Haystack은 검색 시스템 및 QA 애플리케이션을 구축하기 위한 강력한 프레임워크입니다. 기존 데이터 시스템과의 통합에 중점을 두고 문서 검색 및 질의 응답을 포함한 다양한 NLP 작업을 지원합니다. 기존 데이터 인프라와 원활하게 통합되는 고급 검색 기능 또는 QA 시스템을 구현하려는 기업에 가장 적합합니다. Haystack은 복잡한 쿼리를 처리하고 다양한 데이터 소스와 통합하는 기능을 활용하여 포괄적인 검색 및 QA 솔루션이 필요한 조직에 특히 유용합니다.

LLM 프레임워크를 선택할 때는 항상 구체적인 요구 사항에 맞춰야 합니다. 복잡한 언어 상호 작용을 위해서는 LangChain, 효율적인 데이터 검색을 위해서는 LlamaIndex, 고급 검색 및 QA 기능을 위해서는 deepset이 필요합니다.