🔬 R&D Note
Recommender System
PhD Final Semester
Curriculum & Key Papers
Recommender System: PhD Final Semester — Curriculum & Key Research Papers
Collaborative Filtering에서 Knowledge Graph 기반 추천까지 · 박사 과정 최종 학기 핵심 커리큘럼 및 주요 논문 정리
Captain Paul
Maritime 4.0 · AI, Data & Cyber Security
- LinkedIn : https://www.linkedin.com/in/shipjobs/
- LinkedIn : https://www.linkedin.com/in/shipjobs/
Research Context
박사 과정 최종 학기에 이수 중인 Recommender System 과목의 핵심 커리큘럼과 관심 논문을 체계적으로 정리·문서화하는 기록입니다.
전통적인 Collaborative Filtering에서 출발하여 Neural 기반 모델, Sequential 추천, 그리고 Knowledge Graph를 활용한 최신 추천 시스템까지 추천 시스템의 전체 발전 계보를 한눈에 파악하는 것이 목표입니다.
📌 Course Goals
① 사용자 행동 기반 협업 필터링 이론 및 구현 이해
② CF → Neural CF → Graph-based → Knowledge-based 발전 계보 파악
③ 순차적·하이브리드 추천 모델의 실전 적용 역량 확보
④ 핵심 논문 리뷰를 통한 연구 트렌드 분석
② CF → Neural CF → Graph-based → Knowledge-based 발전 계보 파악
③ 순차적·하이브리드 추천 모델의 실전 적용 역량 확보
④ 핵심 논문 리뷰를 통한 연구 트렌드 분석
Ⅰ. 추천 시스템 분류 체계 (Taxonomy)
Collaborative Filtering
사용자 행동 기반
User/Item 유사도 또는 Matrix Factorization으로 선호도 예측
→ NCF · NGCF · EASE
Content-based (CB)
아이템 속성 기반
아이템 콘텐츠 특징을 추출해 사용자 프로파일과 매칭
→ TF-IDF · Word2Vec
Hybrid
CF + CB 결합
두 방식의 장점을 결합해 Cold Start 문제 완화
→ Wide&Deep · DeepFM
Sequential Recommendation
순서 패턴 기반
시간 순서를 고려한 사용자 행동 패턴 학습
→ SASRec · BERT4Rec
Knowledge-based
지식 그래프 활용
외부 도메인 지식(KG)으로 아이템 관계 풍부하게 표현
→ KGAT · RippleNet
Ⅱ. Collaborative Filtering (CF) 심화
CF-01
Neighborhood-based Collaborative Filtering
User-based CF
유사한 취향의 사용자들이 좋아한 아이템을 추천. "나와 비슷한 사람들이 좋아한 것"
💡 핵심 원리: 유사도가 높은 이웃 사용자 K명을 선택(KNN)하고 그들의 평점을 가중 평균하여 예측. 유사도는 Pearson Correlation 또는 Cosine Similarity로 계산합니다. 이웃 수 K와 최소 공통 평점 수가 예측 품질을 좌우합니다.
Item-based CF
유사한 패턴으로 소비된 아이템들을 함께 추천. Amazon 초기 추천 시스템의 핵심 방식.
💡 핵심 원리: 아이템 간 코사인 유사도를 사전 계산(pre-compute)하여 온라인 추천 속도를 개선. User-based CF 대비 아이템 수가 사용자 수보다 적을 때 확장성(scalability)이 뛰어납니다. Amazon이 대규모 전자상거래에 최초 적용했습니다.
⚙ 유사도 지표: Cosine Similarity · Pearson Correlation · Jaccard — 유사도 계산 방식에 따라 추천 품질 차이 발생
CF-02
Model-based Collaborative Filtering — 발전 계보
기초
Association Rule Mining
상품 간 연관성 추출 (e.g. 기저귀 → 맥주). Support, Confidence, Lift 지표
💡 핵심 원리: Support(A→B)=P(A∪B), Confidence=P(B|A), Lift=Confidence/P(B). Apriori 알고리즘으로 빈번 항목 집합을 탐색하며, FP-Growth는 이를 트리 구조로 최적화합니다. 데이터 희소성이 낮을수록 효과적입니다.
확률
Probabilistic Models
Naive Bayes 기반 확률적 추천. 사용자 선호를 확률 분포로 모델링
예측
Slope One Predictors
아이템 간 평균 평점 차이를 이용한 단순·효율적 예측기
💡 핵심 원리: 아이템 i와 j를 공통으로 평가한 사용자들의 평점 차이 평균(dev(j,i))으로 예측: r̂(u,i) = avg(r(u,j) + dev(j,i)). 단순한 선형 예측이지만 증분 업데이트(incremental update)가 용이하여 실시간 스트림 추천에 적합합니다.
핵심
Latent Factor Model (MF)
User-Item 행렬 R ≈ P·QT 분해. 잠재 요인으로 사용자·아이템 표현
r̂ᵤᵢ = pᵤᵀqᵢ + bᵤ + bᵢ + μ
확장
Asymmetric Factor Model
User latent vector를 과거 아이템 평점으로 대체 → Cold Start 완화
💡 핵심 원리: 사용자 잠재 벡터 pᵤ를 사용자가 평가한 아이템들의 잠재 벡터 합으로 대체. 사용자 프로파일 없이 과거 상호작용 이력만으로 선호 표현 가능. 새 사용자(Cold User)에 강한 구조입니다.
⭐ 발전
SVD++
MF + 암묵적 피드백(Implicit Feedback) 통합. 평점뿐 아니라 클릭·구매 이력 반영
💡 핵심 원리: 사용자 벡터에 암묵적 피드백 집합 N(u)의 잠재 벡터 합(√|N(u)|로 정규화)을 추가. 평점(explicit)과 이력(implicit)을 동시 학습하여 Netflix Prize 당시 단일 모델 최고 성능 달성.
CF-03
Implicit Feedback 기반 평가 모델
명시적 평점(Explicit) 없이 클릭·구매·시청 이력 등 암묵적 신호로 추천하는 방식. 실서비스에서 더 현실적인 데이터 형태입니다.
BPR
Bayesian Personalized Ranking — 관찰/미관찰 아이템 쌍 비교 학습
💡 핵심 원리: 관찰 아이템 i > 미관찰 아이템 j 쌍(u,i,j)에 대해 r̂ᵤᵢ > r̂ᵤⱼ가 되도록 sigmoid + log 손실로 학습. AUC 최적화와 동치이며, MF·kNN·MDP 등 다양한 모델의 학습 방식으로 범용적으로 사용됩니다.
WMF
Weighted MF — 관찰 데이터에 가중치 부여하여 신뢰도 반영
💡 핵심 원리: 관찰 여부를 신뢰도(confidence = 1 + α·rᵤᵢ)로 변환, ALS(Alternating Least Squares)로 최적화. 미관찰 데이터를 전부 0으로 처리하되 낮은 가중치를 부여. 암묵적 피드백의 표준 베이스라인입니다.
LogisticMF
Logistic 함수 적용 MF — 이진 피드백에 최적화
💡 핵심 원리: r̂ᵤᵢ = σ(pᵤᵀqᵢ)으로 선호 확률을 모델링. Binary cross-entropy로 학습하며 클릭·구매(0/1) 데이터에 자연스럽게 적합. WMF의 선형 대비 확률적 해석이 가능합니다.
SLIM
Sparse Linear Method — Item-Item 유사도 행렬 L1/L2 정규화
💡 핵심 원리: r̂ᵤ = rᵤ·W (W는 Item-Item 계수 행렬). W를 Elastic Net(L1+L2) 정규화로 희소하게 학습. 해석 가능하고 빠른 연산이 장점이며 선형 모델임에도 MF 계열과 경쟁하는 성능을 보입니다.
FISM
Factored Item Similarity — 아이템 잠재 벡터 기반 유사도 분해
💡 핵심 원리: SLIM의 W를 두 잠재 행렬 P·Qᵀ로 분해. 관찰 아이템의 잠재 벡터 평균으로 사용자를 표현하여 user profile 명시 없이도 학습 가능. Cold User 문제에 강합니다.
EASE ⭐
Embarrassingly Shallow AE — 단순 선형 모델로 SOTA 달성 (SIGIR 2019)
💡 핵심 원리: 닫힌 형태(closed-form) 해로 계산 가능한 선형 Autoencoder. 대각 원소를 0으로 강제(자기 자신 평점 예측 방지)한 뒤 정규화된 Ridge Regression으로 풀면 됩니다. 딥러닝 없이 EASE가 강력한 베이스라인이 된 이유는 "과도한 모델 복잡도 ≠ 좋은 추천"을 보여줬기 때문입니다.
CF-04
Neural Collaborative Filtering (NCF) & Graph-based
NCF
Neural Collaborative Filtering [WWW 2017]
MF의 내적(dot product)을 MLP로 대체. GMF + MLP를 결합한 NeuMF 구조.
MF의 내적(dot product)을 MLP로 대체. GMF + MLP를 결합한 NeuMF 구조.
💡 핵심 원리: 내적은 선형 상호작용만 표현. MLP로 비선형 패턴 학습. GMF(행렬 분해)와 MLP 두 경로를 병렬 학습 후 concat → output layer. MF로 사전학습하면 수렴이 빨라집니다.
NGCF
Neural Graph Collaborative Filtering [SIGIR 2019]
User-Item 이분 그래프에서 GNN 메시지 패싱으로 High-order 연결성 학습. LightGCN으로 발전.
User-Item 이분 그래프에서 GNN 메시지 패싱으로 High-order 연결성 학습. LightGCN으로 발전.
💡 핵심 원리: 1-hop 이웃만 보는 NCF의 한계를 극복. 그래프 위 메시지 패싱으로 k-hop까지 협업 신호를 전파. LightGCN(2020)은 비선형 활성화·변환 행렬 제거로 더 단순·강력하게 발전했습니다.
AutoCF
Autoencoder-based Collaborative Filtering
입력: 사용자 평점 벡터 → Encoder → Latent z → Decoder → 복원 평점. VAE-CF로 확장.
입력: 사용자 평점 벡터 → Encoder → Latent z → Decoder → 복원 평점. VAE-CF로 확장.
💡 핵심 원리: Encoder가 평점 벡터를 잠재 분포 q(z|x)로 변환, Decoder가 복원. VAE-CF는 KL 정규화로 잠재 공간을 구조화하여 다양성(diversity)이 향상됩니다. 암묵적 피드백(0/1)에도 자연스럽게 적용 가능합니다.
⚙ GNN Message Passing: hu(k) = σ( W · AGGREGATE({hv(k-1) : v ∈ N(u)}) ) — k-hop 이웃 정보를 반복 집계하여 고차 협업 신호 포착
Ⅲ. 고급 추천 모델
ADV-01
Embedding-based & Factorization Machines
Embedding-based
Prod2Vec
Word2Vec 방식으로 구매 시퀀스에서 상품 임베딩 학습
💡 핵심 원리: 구매 세션을 "문장", 상품을 "단어"로 보고 Skip-gram 학습. 함께 구매되거나 함께 클릭된 상품들이 임베딩 공간에서 가깝게 위치. 콘텐츠 특성 없이도 의미 있는 상품 유사도를 학습합니다.
StarSpace
범용 임베딩 학습 프레임워크 (FB Research). 태그·문서·추천 통합
💡 핵심 원리: 엔티티와 관계를 동일한 임베딩 공간에 표현. 링크 예측·문서 분류·추천을 하나의 프레임워크로 통합. 유사도 학습에 margin-based ranking loss를 사용합니다.
Factorization Machines 진화 계보
FM
Factorization Machines
모든 feature 쌍의 2차 교호작용 학습. ŷ = w₀ + Σwᵢxᵢ + Σ⟨vᵢ,vⱼ⟩xᵢxⱼ
💡 핵심 원리: 희소 고차원 feature에서 모든 쌍 교호작용을 O(kn)으로 계산. ⟨vᵢ,vⱼ⟩ 내적으로 파라미터를 공유하여 희소 데이터에서도 안정적 학습. MF·SVD·PITF·BPTF를 특수 케이스로 포함하는 일반화 프레임워크입니다.
FFM
Field-aware FM
Feature를 Field별로 구분하여 Field-specific 임베딩 적용
💡 핵심 원리: FM에서 vᵢ가 하나인 것과 달리, FFM은 feature i가 각 Field f마다 별도 임베딩 vᵢ,f를 가짐. 교호: ⟨vᵢ,f_j, vⱼ,f_i⟩. Criteo·Avazu CTR 대회 1위. 파라미터 수는 F배 증가하지만 CTR 예측 성능 대폭 향상.
Wide&Deep
Wide & Deep Learning
Memorization (Wide) + Generalization (Deep) 동시 학습
💡 핵심 원리: Wide(선형): 수작업 feature cross로 Memorization(특정 패턴 기억). Deep(MLP): 임베딩으로 Generalization(새 조합 일반화). Google Play 앱 추천에 적용하여 앱 설치율 대폭 개선. 두 컴포넌트를 jointly training.
DeepFM
DeepFM
FM + DNN 통합. Wide 컴포넌트를 FM으로 대체 → Feature Engineering 불필요
💡 핵심 원리: Wide&Deep의 Wide에 수동 feature engineering이 필요한 문제를 해결. FM이 2차 교호작용 자동 학습 + DNN이 고차 패턴 학습. FM과 DNN이 동일 임베딩을 공유하여 end-to-end 학습이 가능합니다.
DCN ⭐
Deep & Cross Network
Cross Network으로 명시적 고차 feature 교호작용 효율적 학습. DCN-V2로 발전.
💡 핵심 원리: xₗ₊₁ = x₀·xₗᵀ·wₗ + bₗ + xₗ 로 L번 반복 → L+1차 교호작용 자동 학습. DNN과 병렬 구성으로 암묵적 고차 패턴 보완. DCN-V2는 Matrix 형태로 표현력을 대폭 강화했습니다.
ADV-02
Sequential Recommender Models
사용자의 행동을 시간 순서로 파악하여 "다음에 상호작용할 아이템"을 예측합니다. 행동 패턴의 변화와 단기 관심사를 반영하는 것이 핵심입니다.
FPMC
Factorized Personalized Markov Chain
MF + Markov Chain 결합. 장기 선호 + 단기 순서 패턴 동시 모델링
💡 핵심 원리: MF로 사용자 장기 선호 pᵤ + Markov Chain으로 마지막 아이템 기반 단기 전이 학습. r̂(u,i|prev) = MF(u,i) + MC(prev,i). "직전에 본 상품 기반 추천"의 이론적 토대입니다.
FOSSIL
FOSSIL (Fusing Similarity Models)
과거 상호작용 아이템에 가중치를 두어 Markov Chain 개선
💡 핵심 원리: 단순히 마지막 아이템만 보는 FPMC와 달리, 과거 L개 아이템에 유사도 기반 가중치를 부여하여 전이 확률 추정. 유사도 가중치로 "맥락이 비슷한 과거" 아이템을 더 참조합니다.
TransRec
Translation-based Sequential Model
지식 그래프의 TransE 아이디어를 시퀀스 추천에 적용. user ≈ item_t + transition
💡 핵심 원리: TransE의 h+r≈t를 시퀀스에 적용: pᵤ + tᵢ ≈ qᵢ₊₁ (사용자 벡터 + 현재 아이템 ≈ 다음 아이템). 유클리드 거리로 다음 아이템 예측. 순서 관계를 기하학적으로 표현하는 최초 시도입니다.
SASRec
Self-Attentive Sequential Recommendation
Transformer Self-Attention으로 긴 시퀀스에서 관련 아이템 선택적 집중
BERT4Rec ⭐
BERT for Sequential Recommendation
BERT의 Masked Language Model 방식 적용 — Cloze Task로 양방향 컨텍스트 학습
⚙ Self-Attention: Attention(Q,K,V) = softmax(QKᵀ/√d)·V — 쿼리와 키의 내적으로 각 아이템의 중요도 계산, 병렬 처리로 RNN 대비 긴 시퀀스 효율 우수
ADV-03
Knowledge Graph-based Recommender Models
외부 지식 그래프(KG)를 활용해 아이템 간 관계(배우·장르·감독 등)를 모델에 통합합니다. Explainability와 Cold Start 문제 완화에 강점이 있습니다.
CKE
Collaborative Knowledge Base Embedding [KDD 2016]
CF + 구조적·텍스트·시각적 지식 임베딩 통합. MF와 TransR 기반 공동 학습.
RippleNet
RippleNet [CIKM 2018]
물결 전파 방식으로 KG에서 사용자 관심 영역을 자동 탐색. 해석 가능한 추천 경로 제공.
KGCN
Knowledge Graph Convolutional Networks [WWW 2019]
GCN을 KG에 적용. 사용자 관심 기반 이웃 선택으로 관련 엔티티 집계.
KGAT ⭐
Knowledge Graph Attention Network [KDD 2019]
Attention 기반 KG 전파 + User-Item-Entity 통합 그래프에서 고차 연결성 학습. 현재 SOTA 계열의 기준선.
Comments
Post a Comment