실제로 전환되는 AI 기반 상품 추천: 협업 필터링을 넘어서

한 패션 리테일러가 협업 필터링 추천 엔진을 브라우징 컨텍스트, 시각적 유사성, 실시간 세션 행동을 통합한 딥러닝 모델로 교체했습니다. 제품 추천의 클릭률은 2.8%에서 7.1%로 상승했고, 추천 제품의 전환율은 1.2%에서 3.4%로 급증했습니다. 추천에 기인한 매출은 전체 온라인 매출의 11%에서 24%로 성장했습니다.

"X를 구매한 고객이 Y도 구매했습니다"라는 로직으로 대부분의 이커머스 추천 엔진을 구동하는 접근 방식인 협업 필터링은 20년 넘게 기본 방식으로 사용되어 왔습니다. 밀도 높은 구매 데이터를 가진 대규모 카탈로그에서는 충분히 잘 작동합니다(아마존은 초기 추천 시스템을 이 방식으로 구축했습니다). 하지만 대부분의 중견 리테일러에게는 최신 접근 방식이 해결하는 상당한 한계가 있습니다.

협업 필터링의 한계

콜드 스타트 문제가 가장 명백한 한계입니다. 협업 필터링은 추천을 위해 구매 이력이 필요합니다. 구매 이력이 전혀 없는 신제품의 경우 시스템이 작업할 데이터가 없습니다. 구매 이력이 없는 신규 고객에게는 일반적인 베스트셀러 목록만 제공할 수 있습니다. 매주 신제품이 출시되고 신규 방문자가 트래픽의 40-60%를 차지하는 이커머스에서 이 격차는 상당합니다.

협업 필터링은 인기도 편향 문제도 겪습니다. 인기 제품이 더 많은 구매 이력에 나타나기 때문에 인기 제품을 추천하는 경향이 있습니다. 이는 피드백 루프를 만듭니다: 인기 제품이 더 많이 추천되고, 이것이 더 많은 구매를 유도하며, 이로 인해 더 많은 추천에 나타나게 됩니다. 특정 고객에게 완벽할 수 있는 롱테일 제품은 충분한 공동 구매 데이터가 부족하기 때문에 거의 노출되지 않습니다.

희소성 문제는 두 가지 이슈를 모두 악화시킵니다. 수천 개의 제품과 수십만 명의 고객이 있는 사이트에서도 구매 매트릭스는 극도로 희소합니다. 대부분의 고객은 카탈로그의 극히 일부만 구매했기 때문에 두 고객 간의 겹침은 최소한입니다. 이로 인해 가장 인기 있는 상품 외에는 신뢰할 수 있는 공동 구매 패턴을 찾기 어렵습니다.

마지막으로, 협업 필터링은 컨텍스트를 무시합니다. 고객이 현재 세션에서 무엇을 하고 있는지 고려하지 않습니다. 20분 동안 러닝화를 브라우징한 고객은 구두를 브라우징하는 같은 고객과 다른 추천을 봐야 하지만, 구매 이력이 동일하더라도 마찬가지입니다. 협업 필터링은 정적인 구매 이력만 볼 뿐 동적인 세션 행동은 보지 못합니다.

현대적 접근 방식: 하이브리드 딥러닝 모델

현재 최첨단 추천 시스템은 딥러닝 아키텍처를 통해 여러 신호 유형을 결합합니다. 입력에는 일반적으로 상호작용 시퀀스(구매뿐만 아니라 조회, 장바구니 추가, 검색 쿼리, 제품 페이지 체류 시간 포함), 아이템 속성을 캡처하는 제품 임베딩(카테고리, 브랜드, 가격, 제품 이미지에서 추출한 시각적 특징, 설명의 텍스트 특징), 고객 속성과 행동 패턴을 캡처하는 사용자 임베딩, 그리고 시간대, 기기 유형, 트래픽 소스, 현재 세션 활동과 같은 컨텍스트 신호가 포함됩니다.

모델은 이 모든 입력을 고려하여 특정 고객이 특정 제품에 참여할 확률을 예측하는 것을 학습합니다. 추론 시(라이브 세션에 대한 추천을 생성할 때) 모델은 모든 후보 제품에 점수를 매기고 예측된 참여 확률 상위 N개를 노출합니다.

시각적 유사성은 패션, 홈 데코, 라이프스타일 카테고리에서 가장 영향력 있는 추가 요소 중 하나입니다. 합성곱 신경망이 제품 이미지에서 시각적 특징을 추출하고, 이 특징을 사용하여 스타일, 색상 또는 미적 감각이 유사한 제품을 식별합니다. 고객이 미드센추리 모던 월넛 커피 테이블을 브라우징할 때, 시각적 유사성 모델은 구매 데이터가 이들을 연결하지 않더라도(여러 개의 커피 테이블을 구매하는 고객이 거의 없기 때문에) 다른 미드센추리 모던 가구를 추천할 수 있습니다.

실시간 세션 개인화

가장 큰 성능 향상은 실시간 세션 행동을 통합하는 것에서 비롯됩니다. 시퀀스 모델(트랜스포머 기반 또는 순환 신경망)은 고객의 현재 세션을 이벤트 스트림으로 처리합니다: 페이지 조회, 검색 쿼리, 카테고리 탐색, 필터 선택, 각 제품의 체류 시간. 이 세션 시퀀스는 고객의 현재 의도를 캡처하는 세션 임베딩으로 인코딩됩니다.

세션 임베딩은 고객이 취하는 모든 행동에 따라 업데이트됩니다. $50-80 가격대의 파란색 드레스 세 벌을 조회한 후, 세션 모델은 고객이 해당 가격대의 파란색 드레스에 관심이 있다는 것을 학습하고 추천이 그에 맞게 변경됩니다. 이는 협업 필터링이 필요로 하는 구매 데이터를 기다리지 않고 현재 세션 내에서 발생합니다.

세션 기반 추천을 구현한 한 뷰티 리테일러는 추천 관련성(클릭률로 측정)이 세션 중에 점진적으로 증가하는 것을 확인했습니다. 1회 페이지 조회 후에는 추천이 기존 협업 필터링 시스템과 유사하게 작동했습니다. 5회 페이지 조회 후에는 클릭률이 2.1배 높았습니다. 10회 페이지 조회 후에는 3.4배 높았습니다. 모델이 현재 세션에 대해 더 많이 학습할수록 추천이 더 좋아졌습니다.

콜드 스타트 문제 해결

신제품의 경우, 하이브리드 모델은 구매 데이터 없이도 콘텐츠 기반 특징(제품 속성, 이미지, 설명)을 사용하여 초기 추천을 생성합니다. 새로운 드레스는 아직 아무도 구매하지 않았더라도 스타일, 색상, 가격, 브랜드별로 유사한 드레스에 관심을 보인 고객에게 추천될 수 있습니다. 구매 데이터가 축적되면 모델은 협업 신호와 콘텐츠 신호를 혼합하여 데이터가 성숙함에 따라 점진적으로 가중치를 조정합니다.

이력이 없는 신규 방문자의 경우, 실시간 세션 모델은 몇 번의 상호작용만으로 작동하기 시작합니다. 고객이 누구인지 모르더라도 모델은 현재 하고 있는 행동을 기반으로 추천을 조정합니다. 첫 번째 제품 페이지 방문은 약한 신호를 제공합니다. 두 번째와 세 번째는 훨씬 더 강한 신호를 제공합니다. 다섯 개 또는 여섯 개의 제품을 브라우징할 때쯤이면 완전히 익명의 방문자에게도 추천이 상당히 개인화됩니다.

추천 품질 측정

추천 클릭률은 가장 일반적으로 추적되는 지표이지만 오해의 소지가 있을 수 있습니다. 클릭은 유도하지만 전환으로 이어지지 않는 추천은 전환되지 않는 페이지로 트래픽을 보내는 것이며, 이는 귀중한 노출 영역의 낭비입니다. 중요한 지표는 추천 노출당 매출(추천 제품의 총 매출을 표시된 총 추천 노출 수로 나눈 값), 추천 제품의 전환율 대 전체 사이트 전환율, 추천 제품의 다양성(모든 사람에게 같은 베스트셀러를 보여주고 있는지, 진정으로 개인화하고 있는지?), 그리고 카탈로그 커버리지(30일 기간 동안 카탈로그의 몇 퍼센트가 추천에 나타나는지)입니다.

추천 알고리즘의 A/B 테스트는 필수적입니다. 오프라인 지표(정밀도, 재현율, nDCG)가 항상 비즈니스 성과와 상관관계가 있는 것은 아니기 때문입니다. 클릭 예측에서 약간 덜 정확하지만 더 다양한 제품을 보여주는 모델이 고객이 그렇지 않으면 찾지 못했을 제품을 발견하도록 도와주기 때문에 더 많은 증분 매출을 생성할 수 있습니다.

여전히 기본적인 협업 필터링이나 규칙 기반 추천을 운영하는 이커머스 리테일러의 경우, 현대 딥러닝 접근 방식과의 성능 격차가 점점 벌어지고 있습니다. 이러한 모델을 배포하기 위한 인프라는 지난 2년간 크게 성숙했으며, Algolia Recommend, Amazon Personalize, Dynamic Yield와 같은 플랫폼이 모델 학습 및 서빙의 복잡성을 처리하는 관리형 추천 서비스를 제공하고 있습니다. 투자는 수년이 아닌 수개월의 설정으로 측정되며, 매출 영향은 배포 첫 분기 내에 측정 가능합니다.