20230207화-

faq 수정

추천시스템은 ai 모델이 인간의 마음에 대해 예측을 진행하기에 다른 도메인과는 다른 특성을 가집니다. 모델이 유저가 볼 아이템을 정확하게 예측했다고 하더라도 유저는 그러한 참신하지 못한 추천을 만족하지 못할 수도 있습니다. 저희 팀은 추천의 질을 높이기 위해 정확성을 넘어선 다른 평가의 척도가 있어야 한다고 판단했습니다. 이에 저희는 이러한 용어 정의를 내립니다.
정량 지표 - 예측한 아이템과 실제 정답으로 계산된 지표로 추천의 정확성(Accuracy)을 나타냅니다.
정성 지표 - 정확성을 넘어선(beyond-accuracy) 지표들로 추천시스템에서만 유효합니다. 유저에게 의외로 다가오는지
커버리지는 사실 정성에 들어가야 한다.
수식들 크기 키우기
각 지표 설명 넣기
다양성 - 한 추천 리스트에 대해 계산됩니다. 유저가 받은 추천 리스트 내에서 아이템이 얼마나 다양하게 추천되었는지 나타내는 지표입니다. 로맨스 영화로만 채워진 추천 리스트보다는 판타지, 액션 호러 등 다양한 장르가 들어간 추천리스트가 다양성이 높을 것입니다.
의외성 - 한 아이템에 대해 계산됩니다. 아이템이 유저에게 얼마나 의외로운지 나타내는 지표입니다. 유저가 여태 상호작용한 아이템을 통해 도출합니다. 가령 로맨스 영화를 주로봤던 유저에게 호러 영화는 의외성이 높은 영화일 것입니다.
참신성 - 한 아이템에 대해 계산됩니다. 아이템이 얼마나 알려지지 않은 아이템인지 나타내는 지표입니다. 인기도의 역수. 인기가 없고 나온지
커버리지. 전체 아이템 중 한번이라도 추천된 아이템의 비율을 나타냅니다.
리랭킹 - ai 모델은 기본적으로 정확성을 최적화하도록 학습이 이뤄집니다. 모델이 잘 학습되었다는 것은 정확도가 올라갔다는 것을 뜻합니다. 그렇다면 정성 지표를 고려한 추천을 할 수 있는 방법은 무엇일까요?
두 가지 방법이 존재합니다. 첫번째는 정성 지표를 최적화하는 목적함수를 만들어 모델을 학습시키는 것입니다. 두번째는 기존에 학습된 모델이 정렬한 아이템 추천리스트를 정성 지표를 통해 재정렬(리랭킹)하는 것입니다.
식은 이렇습니다.
이를 통해 기존에 정확성을 고려한 모델의 추천의 요소가 어느 정도 반영되는 동시에 정성 지표를 고려한 추천이 가능해집니다. 그리고 어느쪽으로 더 고려할지는 알파값으로 조정이 가능합니다.
예를 들까
모델을 학습시켜 유저별로 100개의 아이템을 추론한다. 이 아이템들을 재정렬하여 상위 10개를 뽑는다.




사실 우리가 오래 그렇게 썼으니까 이해하지, 왜 이걸 정성 지표라 부르는지 이해못할 수도 있다.