식품 및 음료(F&B) 유통 플랫폼 초코(Choco)가 OpenAI의 API를 활용해 식품 공급망 전반의 주문 프로세스를 자동화하는 데 성공했다. 초코는 이 기술을 통해 연간 880만 건 이상의 주문을 처리하며, 수동 주문 입력 작업을 50% 감소시키는 성과를 거두었다.

AI 에이연트를 통한 유통 혁신

초코는 미국, 영국, 유럽, GCC(걸프 협력 회의) 지역에서 21,000개 이상의 유통업체와 100,000명 이상의 구매자를 연결하는 플랫폼을 운영하고 있다. 기존의 유통 방식은 이메일, 문자 메시지, 음성 메시지, 이미지, 심지어 수기 메모 등 비정형화된 형태로 주문이 유입되어 운영상의 병목 현상을 야기했다. 담당 팀이 이러한 입력을 전사적 자원 관리(ERP) 시스템에 사용 가능한 구조화된 데이터로 직접 변환해야 했기 때문에 오류 발생 가능성이 높고 확장성에 한계가 있었다.

초코는 OpenAI의 API를 플랫폼 핵심에 통합하여 이러한 문제를 해결했다. 새롭게 도입된 '오더에이전트(OrderAgent)'는 멀티모달(Multimodal) 입력을 처리하여 이를 구조화된 ERP 주문으로 변환한다. 또한 OpenAI의 실시간 API(Realtime API)를 기반으로 구축된 '보이스에이전트(VoiceAgent)'는 전화 통화를 통해 자연스러운 주문을 가능하게 한다. 이 시스템은 1초 미만의 낮은 지연 시간(Sub-second latency)을 유지하며 업무 시간 외에도 주문 접수를 지원한다.

운영 효율성 및 생산성 지표

초코의 AI 도입은 단순한 워크플로우 소프트웨어를 넘어, 실제 업무를 수행할 수 있는 AI 시스템 구축으로 이어졌다. 특히 고객별 SKU(재고 유지 단위) 매핑, 단위 선호도, 배송 패턴 등 복잡한 맥락을 추론 계층(Inference layers)에 인코딩하여 모호성을 해결했다.

주요 운영 성과는 다음과 같다. 연간 주문 처리량: 880만 건 이상 생산 환경 내 AI 토큰 처리량: 2,000억 개 이상 수동 주문 입력 감소율: 50% 감소 영업 팀 생산성: 인력 추가 없이 2배 향상

기술 구현 및 인프라

초코는 OpenAI의 SDK와 API를 활용해 음성-텍스트 변환(Speech-to-text), 임베딩(Embeddings), 함수 호출(Function calling) 기능을 인프라에 신속하게 통합했다. 텍스트, 비전(Vision), 오디오를 단일 생태계 내에서 처리할 수 있는 멀티모달 역량은 분산된 워크플로우를 하나의 지능형 시스템으로 통합하는 핵심 요소로 작용했다. 또한, 정확도와 성능을 보장하기 위해 정답 데이터셋(Ground-truth datasets)을 활용한 엄격한 평가 프레임워크, 지속적인 모니터링, A/B 테스트 체계를 구축했다.

초코는 고객이 기존의 주문 방식(전화, 문자, 이메일 등)을 변경할 필요 없이 시스템이 고객의 방식에 적응하도록 설계하여 도입을 가속화했다. 현재 초코는 OpenAI의 모델 성능, 구조화된 출력(Structured outputs) 기능, 그리고 대규모 생산 환경에서의 신뢰성을 바탕으로 공급망 현대화를 지속하고 있다.