안녕하세요, 머신러닝 엔지니어 카터입니다. OpenAI가 ChatGPT를 공개한지 4개월이 지난 지금, 세상은 엄청나게 빠르고 급격한 변화를 겪고 있습니다. 이러한 변화의 물결 속에서 라이너 역시 “Help People Get Smart Faster”라는 미션을 해결하기 위해 ChatGPT를 비롯한 Large-scale Language Model (이하 LLM) 을 활용할 수 있는 방안에 있어 많은 고민을 이어오고 있는데요. 지난 3월 더보기…
우리가 마주한 문제 안녕하세요, 머신러닝 엔지니어 카터입니다. 지난 콘텐츠 기반 필터링 구축기 포스트를 통해 텍스트 임베딩을 활용해 구현한 추천 엔진에 대한 소개를 드린 적이 있습니다. Huggingface + TorchServe + ScaNN 등의 기술 스택으로 구성“되었던” 해당 엔진은 아직까지 Candidate Generator의 역할을 톡톡히 수행해주고 있는 알짜 엔진입니다. 그러나 서비스를 운영하다 보면 항상 더보기…
안녕하세요, 머신러닝 엔지니어 카터입니다. 지난 몇 편의 글들을 통해 라이너가 개인화 콘텐츠 추천을 위해 어떤 방향으로 기술을 발전시켜 나가고 있는지에 대한 소개를 드릴 기회가 있었습니다. 하지만 프로덕트에 적용되는 추천 기술을 개발한다는 의미가 단순히 “로그 데이터가 충분히 쌓여, 개인화 추천에 용이해진 사용자들의 경험”만 챙기겠다는데에 그치는 것은 아닙니다. 플랫폼에 이제 막 진입해 더보기…
안녕하세요, 머신러닝 엔지니어 카터입니다. 라이너 기술 블로그를 통해 연재되고 있는 추천 시스템 포스트에 관심을 가져주신 분들이라면, 라이너가 Pinterest의 기술 발전사에 많은 관심을 가지고 있다는 사실을 쉽게 눈치 채셨을 것 같습니다. 실제로 라이너는 Pinterest가 추천 시스템을 구축해온 과정과 앞으로 해결할 문제에 큰 관심을 가지고 있습니다. 많은 기업들이 Pinterest의 기술을 벤치마크하고 있겠지만, 더보기…
안녕하세요, 머신러닝 엔지니어 카터입니다. 지난 글에서 공유드린 바와 같이 라이너는 추천 시스템의 여러 꼭지 중 하나로 콘텐츠 기반 필터링을 계속해서 발전시켜 나가고 있습니다. 많은 분들이 이미 알고 계시듯 콘텐츠 기반 필터링은 Cold start 에 강점을 지니며, Sparse 한 사용자-아이템 인터랙션 매트릭스로 인한 추천 모델 학습의 어려움에서 비교적 자유롭다는 장점을 지니고 더보기…
안녕하세요, 머신러닝 엔지니어 카터입니다. 추천 시스템을 프로덕트에 적용하게 되면 이전에는 볼 수 없었던 수많은 문제점들이 보이기 시작합니다. 이번 글에서는 제가 라이너 추천 시스템을 개발하며 마주했던 문제 사항들과 해당 문제들을 해결하기 위해 적용한 방법론들에 대한 이야기를 드리고자 합니다. Recency: 최신성 고려하기 첫 번째 문제는 콘텐츠의 최신성에서 시작되었습니다. 엔지니어인 저는 주로 개발 더보기…
안녕하세요, 머신러닝 엔지니어 카터입니다. 지난 글에서는 라이너의 컨텐츠 기반 필터링 모듈 구축기에 대한 소개를 드렸습니다. 이번 글에서는 현재 라이너가 토픽 모델링을 어떻게 활용하고 있으며, 앞으로의 라이너 기술 발전 방향에 있어 토픽 모델링이 왜 중요한지에 대한 소개를 드리고자 합니다! 토픽 모델링이란 ? “라이너 ❤️ 토픽 모델링” 이야기에 앞서 토픽 모델링이란 무엇인가부터 더보기…
안녕하세요, 머신러닝 엔지니어 카터입니다. 지난 번에는 외부로부터 추천 아이템이 축적되는 라이너가 컨텐츠 퀄리티 컨트롤을 위해 필터링 로직을 어떻게 가져가고 있는지에 대한 소개를 드렸습니다. 이번 글에서는 라이너가 컨텐츠 기반 필터링을 어떻게 구축하여 추천 시스템에 활용하고 있는지에 대해 소개드리고자 합니다! ANN과 ScaNN 라이너는 수백만 개 문서 중 사용자에게 추천할 만한 문서 수백 더보기…
개요 안녕하세요, 머신러닝 엔지니어로 근무 중인 카터입니다! 이번 포스트에서는 세상에 존재하는 모든 텍스트 컨텐츠가 적재될 수 있는 라이너에서 사용자에게 양질의 추천을 제공하기 위해 컨텐츠 필터링을 어떤 식으로 수행하고 있는지, 그리고 앞으로 어떻게 발전시키고자 하는지에 대해 소개드리고자 합니다. 라이너는 사용자의 텍스트 하이라이트 이벤트를 추천 모델링을 위한 사용자 피드백으로 적극 활용하고 있습니다. 더보기…