Google Gemini와 Vertex AI의 그룹 제품 관리자인 Lewis Liu와 함께 진행한 AI Business Asia 팟캐스트 2회에서 논의된 주요 사항을 검토해 보겠습니다.

에피소드를 확인하고 싶다면 → 스포티파이 | 사과 

빠르게 움직이는 인공 지능(AI)의 세계에서, 특히 대규모 언어 모델(LLM)에서 전례 없는 속도로 발전이 이루어지고 있습니다. 이 요약에서는 점진적 출시로의 전환, 혁신적인 기능의 통합, 글로벌 모델과의 경쟁 환경을 포함하여 LLM에 대한 Google의 접근 방식에서 최근 발생한 사항을 살펴봅니다. 또한 데이터의 역할, 퍼스트파티 데이터의 이점, 엔터프라이즈에 적합한 AI 경험에 필요한 사항에 대해서도 살펴봅니다.

LLM 분야에서의 구글의 발전

작년에 Google 팀은 LLM 출시 속도를 상당히 가속화하여 이전 몇 년 동안 20~30개 출시에 비해 약 200개의 업데이트를 제공했습니다. 이는 10배 증가한 수치입니다. 이러한 변화는 기존의 대규모 출시에서 보다 민첩하고 점진적인 접근 방식으로의 전환을 반영합니다. 

혁신적인 기능

• 제어된 발전: Google은 제어된 디코딩을 갖춘 제어된 생성 기능을 도입했습니다. 이 기능을 통해 개발자는 모델에 스키마를 제공하여 생성된 JSON 객체가 100% 정확하고 지정된 스키마를 준수하도록 할 수 있습니다. 이 기능은 Gemini 1.5 Pro 모델과 함께 처음 제공되었으며 최근 OpenAI에서 채택했습니다.
• 컨텍스트 캐싱: 또 다른 혁신은 컨텍스트 캐싱으로, 광범위한 컨텍스트 윈도우를 관리하는 데 도움이 되며, Google은 최대 200만 토큰의 컨텍스트 윈도우를 개척했습니다. 이러한 발전은 모델 기능과 사용자 경험을 향상하려는 Google의 노력을 강조합니다.

경쟁적 위치

Google이 경쟁 우위가 부족하다는 인식 속에서, 이 회사는 신속한 혁신에 집중하고 AI의 글로벌 발전에 대응해 왔습니다. 토론은 또한 중국의 새로운 모델이 제시하는 과제와 기회에 대해서도 언급하는데, 여기서는 중국어에 대한 장문맥 처리와 미세 조정의 발전이 주목할 만합니다.

AI 모델의 글로벌 환경

중국 출신 모델

중국에서 개발된 모델은 특히 긴 컨텍스트를 처리하고 중국어에 대한 응답을 맞춤화하는 능력으로 주목을 받고 있습니다. 대화에 따르면 Google은 이러한 개발을 모니터링하지만 규제 제약으로 인해 중국 시장과 직접 교류하지 않습니다.

AI에서의 정체성과 국적

중요한 논의 주제는 LLM이 국가적 정체성을 가져야 하는지 아니면 지리적 경계에 영향을 받아야 하는지에 대한 것입니다. 합의된 의견은 모델이 제작자의 편견과 정체성을 반영하는 반면, 국가 모델에 대한 광범위한 투자는 필요하지 않을 수 있다는 것입니다. 대신 특정 사용 사례에 대한 미세 조정이 더 실용적일 수 있습니다.

LLM 개발에서 데이터의 역할

고품질 데이터의 중요성

고품질 데이터는 효과적인 LLM을 훈련하는 데 있어 여전히 초석입니다. 생성적 AI의 영역에서 데이터의 품질과 다양성은 모델의 정확하고 관련성 있고 맥락을 인식하는 출력을 생성하는 능력에 직접적인 영향을 미칩니다. 신중하게 통합된 합성 데이터는 LLM이 달성할 수 있는 것의 경계를 확장할 수 있으며, 특히 실제 데이터가 제한적이거나 편향될 수 있는 시나리오에서 그렇습니다. LLM의 진행은 인간-컴퓨터 상호 작용을 포함한 다양한 데이터 소스에 의해 점점 더 주도되고 있으며, 이는 모델의 추론, 계획 및 보다 미묘한 응답 생성 능력을 향상시킵니다.

퍼스트파티 데이터 및 인프라

• 스타트업의 과제: 스타트업은 방대한 양의 퍼스트파티 데이터에 액세스할 수 있는 대기업과 경쟁할 때 상당한 어려움에 직면합니다. Google과 같은 회사가 독점 데이터와 견고한 인프라를 강조하는 것은 이러한 요소가 차별화된 LLM 애플리케이션을 만드는 데 중요한 역할을 한다는 것을 강조합니다. 스타트업의 경우 퍼스트파티 데이터에 액세스할 수 없다는 것은 상당한 장애물이 될 수 있으므로 데이터 수집 및 모델 교육에 대한 혁신적인 접근 방식을 모색하는 것이 필수적입니다.
• 규정 준수: AI를 사실적이고 신뢰할 수 있는 정보로 접지하는 것은 기업용 솔루션 개발에 매우 중요합니다. 생성적 AI의 맥락에서 접지는 모델에서 생성된 출력이 정확할 뿐만 아니라 실제 세계 맥락과 규정과 일치하도록 보장합니다. 이는 특히 위험이 높고 부정확성의 비용이 상당할 수 있는 엔터프라이즈 애플리케이션에서 중요합니다. 규정 준수를 준수하는 것은 또 다른 필수적인 측면으로, AI 솔루션이 서비스를 제공하는 산업의 법적 틀 내에서 작동하여 법적 합병증의 위험을 줄이고 사용자 간의 신뢰를 강화하도록 보장합니다.

엔터프라이즈에 적합한 AI 경험 구축

기업 AI 도입에는 성공적인 구현과 가치 창출을 보장하기 위해 몇 가지 핵심 요소를 신중하게 고려해야 합니다. 

1. 플랫폼 기능: 기업에는 모델이나 API 이상이 필요합니다. 포괄적인 플랫폼은 모델 미세 조정, 평가 및 증류를 지원해야 합니다. 협업 기능은 팀이 프롬프트에서 함께 작업하고 변경 사항을 효율적으로 추적할 수 있도록 하는 데 필수적입니다.
2. 보안 및 개인정보 보호: 강력한 보안 조치가 가장 중요합니다. 예를 들어 Google은 강력한 암호화를 구현하여 직원이 고객 데이터에 액세스할 수 없도록 합니다. 이러한 수준의 데이터 보호는 신뢰를 유지하고 규정을 준수하는 데 필수적입니다.1
3. 확장성: 모델을 대규모로 배포하는 능력은 엔터프라이즈 애플리케이션에 필수적입니다. 여기에는 비용 효율성과 성능 최적화에 대한 고려 사항이 포함됩니다.
4. 사실성과 근거: 기업은 정확하고 사실적인 정보를 제공하는 AI 시스템이 필요합니다. 검색 증강 생성(RAG)과 같은 기술은 검증된 데이터 소스에서 AI 응답을 기반으로 하여 환각을 줄이고 신뢰성을 개선하는 데 도움이 될 수 있습니다.
5. 기존 시스템과의 통합: 최대의 효율성을 위해 AI는 조직의 기존 도구 및 워크플로와 완벽하게 통합되어야 합니다. Gmail 및 Calendar와 같은 널리 사용되는 애플리케이션에 Gemini를 통합하는 Google의 접근 방식은 이 전략을 잘 보여줍니다.
6. 사용자 정의 및 미세 조정: 특정 산업 요구 사항이나 회사 데이터에 모델을 적용하는 능력은 매우 중요합니다. 이를 통해 기업은 고유한 사용 사례와 독점 정보에 AI를 활용할 수 있습니다.
7. 규정 준수 및 규제 준수: 기업용 AI 솔루션은 업계별 표준 및 데이터 보호법을 충족하도록 규제 요구 사항을 염두에 두고 설계되어야 합니다.
8. 비용 관리: 일부 LLM 역량이 상품화되고 있지만, 기업은 AI 솔루션을 선택하고 구현할 때 품질, 지연 시간, 비용의 균형을 맞춰야 합니다.
9. 지속적인 평가: AI 개발의 빠른 속도를 감안할 때, 기업은 공개 벤치마크에만 의존하기보다는, 자체 데이터와 사용 사례를 활용하여 AI 모델을 지속적으로 평가할 수 있는 프레임워크를 구현해야 합니다.
10. 윤리적 고려 사항: 책임 있는 AI 개발 및 배포는 우선 순위가 되어야 하며 잠재적 편견을 해결하고 AI 기술의 공정하고 윤리적인 사용을 보장해야 합니다.

다음은 Google Cloud GenAI 사례 연구입니다.

연방은행

• 향상된 챗봇 상호작용: Vertex AI를 사용하여 챗봇 Feddy를 보다 인간답고 개인화되게 만들었습니다.
• 다국어 24/7 지원: 24시간 다국어 고객 서비스를 위해 AI를 구현했습니다.
• API 통합: FinTech 협업을 간소화하고 보안을 강화하기 위해 API 포털을 개발했습니다.
• 직원 효율성: 직원 생산성을 높이기 위해 Firebase를 활용한 모바일 앱을 만들었습니다.
• 데이터 보안: DDoS 공격으로부터 보호하고 데이터 규정 준수를 보장하기 위해 Cloud Armor를 사용했습니다.

신비의 파리

• 고객 온보딩: Vertex AI를 사용하여 AI 챗봇인 Mystic을 제작하여 사용자 온보딩을 간소화하고 상담원 지원의 필요성을 줄였습니다.
• 향상된 셀프 서비스: Mystic은 복잡한 쿼리를 처리하여 사용자 만족도를 향상시킵니다.
• 확장성: AI 챗봇은 여러 문의를 동시에 처리하고, 해결되지 않은 문제는 인간 상담원에게 전달합니다.

코로버

• BharatGPT 개발: Vertex AI를 활용해 다국어 AI 플랫폼을 구축하여 브랜드가 고객과 모국어로 대화할 수 있도록 했습니다.
• 사용자 정의 및 보안: Google의 안전한 인프라를 통해 유연한 데이터 사용을 제공합니다.
• 확장성: Kubernetes Engine의 자동 확장을 사용하여 최대 트래픽을 효율적으로 관리합니다.
• 혁신적인 협업: 지속적인 혁신과 고객 중심 솔루션을 위해 Google Cloud와 협력했습니다.

스타트업과 임원을 위한 조언

스타트업을 위한

민첩해지세요: AI 기술의 급속한 발전으로 인해 스타트업은 민첩하고 대응력이 있어야 합니다. 기술 발전의 예측 불가능한 특성을 감안할 때 장기 로드맵을 개발하는 것은 어려울 수 있습니다. 스타트업은 새로운 개발에 빠르게 적응하고 신기술을 실험하는 데 집중해야 합니다.

임원을 위해

사용 사례 평가: 임원들은 AI 전략을 구현할 때 과장된 광고와 벤치마크를 넘어볼 것을 권장합니다. 실제 사용 사례에 따라 모델을 평가하고 데이터로 평가하는 것이 중요합니다. 공개 벤치마크가 항상 실제 시나리오에서 모델의 성능을 반영하는 것은 아니므로, 직접 테스트하는 것이 필수적입니다.

결론

대규모 언어 모델의 풍경은 빠르게 진화하고 있으며, Google과 같은 기존 플레이어와 전 세계적으로 떠오르는 모델 모두에서 상당한 발전이 이루어지고 있습니다. 제어된 생성 및 컨텍스트 캐싱과 같은 혁신은 LLM 역량에 대한 새로운 표준을 설정하고 있습니다. AI 기술이 계속 발전함에 따라 데이터의 역할, 지리적 영향의 영향 및 민첩한 개발의 중요성을 이해하는 것이 이 역동적인 분야에서 앞서 나가는 데 중요할 것입니다. 

스타트업과 임원 모두 민첩하게 대응하고 실용적인 응용 분야에 집중하는 것이 AI의 미래를 개척하고 성공적인 구현을 보장하는 데 매우 중요합니다.

향후 팟캐스트에 대한 알림을 받으려면 구독하세요. 에피소드 → 유튜브 | 스포티파이 | 사과  | RSS