🔬 R&D Note Recommender System PhD Final Semester Curriculum & Key Papers

Recommender System: PhD Final Semester — Curriculum & Key Research Papers

Collaborative Filtering에서 Knowledge Graph 기반 추천까지 · 박사 과정 최종 학기 핵심 커리큘럼 및 주요 논문 정리

Captain Ethan

Maritime 4.0 · AI, Data & Cyber Security
- LinkedIn : https://www.linkedin.com/in/shipjobs/

Research Context

박사 과정 최종 학기에 이수 중인 Recommender System 과목의 핵심 커리큘럼과 관심 논문을 체계적으로 정리·문서화하는 기록입니다.

전통적인 Collaborative Filtering에서 출발하여 Neural 기반 모델, Sequential 추천, 그리고 Knowledge Graph를 활용한 최신 추천 시스템까지 추천 시스템의 전체 발전 계보를 한눈에 파악하는 것이 목표입니다.

📌 Course Goals

① 사용자 행동 기반 협업 필터링 이론 및 구현 이해
② CF → Neural CF → Graph-based → Knowledge-based 발전 계보 파악
③ 순차적·하이브리드 추천 모델의 실전 적용 역량 확보
④ 핵심 논문 리뷰를 통한 연구 트렌드 분석

Ⅰ. 추천 시스템 분류 체계 (Taxonomy)

Collaborative Filtering

사용자 행동 기반

User/Item 유사도 또는 Matrix Factorization으로 선호도 예측

→ NCF · NGCF · EASE

Content-based (CB)

아이템 속성 기반

아이템 콘텐츠 특징을 추출해 사용자 프로파일과 매칭

→ TF-IDF · Word2Vec

Hybrid

CF + CB 결합

두 방식의 장점을 결합해 Cold Start 문제 완화

→ Wide&Deep · DeepFM

Sequential Recommendation

순서 패턴 기반

시간 순서를 고려한 사용자 행동 패턴 학습

→ SASRec · BERT4Rec

Knowledge-based

지식 그래프 활용

외부 도메인 지식(KG)으로 아이템 관계 풍부하게 표현

→ KGAT · RippleNet

Ⅱ. Collaborative Filtering (CF) 심화

CF-01

Neighborhood-based Collaborative Filtering

User-based CF

유사한 취향의 사용자들이 좋아한 아이템을 추천. "나와 비슷한 사람들이 좋아한 것"

Item-based CF

유사한 패턴으로 소비된 아이템들을 함께 추천. Amazon 초기 추천 시스템의 핵심 방식.

⚙ 유사도 지표: Cosine Similarity · Pearson Correlation · Jaccard — 유사도 계산 방식에 따라 추천 품질 차이 발생

CF-02

Model-based Collaborative Filtering — 발전 계보

기초

Association Rule Mining
상품 간 연관성 추출 (e.g. 기저귀 → 맥주). Support, Confidence, Lift 지표

확률

Probabilistic Models
Naive Bayes 기반 확률적 추천. 사용자 선호를 확률 분포로 모델링

예측

Slope One Predictors
아이템 간 평균 평점 차이를 이용한 단순·효율적 예측기

핵심

Latent Factor Model (MF)
User-Item 행렬 R ≈ P·Q^T 분해. 잠재 요인으로 사용자·아이템 표현

r̂ᵤᵢ = pᵤᵀqᵢ + bᵤ + bᵢ + μ

확장

Asymmetric Factor Model
User latent vector를 과거 아이템 평점으로 대체 → Cold Start 완화

⭐ 발전

SVD++
MF + 암묵적 피드백(Implicit Feedback) 통합. 평점뿐 아니라 클릭·구매 이력 반영

CF-03

Implicit Feedback 기반 평가 모델

명시적 평점(Explicit) 없이 클릭·구매·시청 이력 등 암묵적 신호로 추천하는 방식. 실서비스에서 더 현실적인 데이터 형태입니다.

BPR

Bayesian Personalized Ranking — 관찰/미관찰 아이템 쌍 비교 학습

WMF

Weighted MF — 관찰 데이터에 가중치 부여하여 신뢰도 반영

LogisticMF

Logistic 함수 적용 MF — 이진 피드백에 최적화

SLIM

Sparse Linear Method — Item-Item 유사도 행렬 L1/L2 정규화

FISM

Factored Item Similarity — 아이템 잠재 벡터 기반 유사도 분해

EASE ⭐

Embarrassingly Shallow AE — 단순 선형 모델로 SOTA 달성 (SIGIR 2019)

CF-04

Neural Collaborative Filtering (NCF) & Graph-based

NCF

Neural Collaborative Filtering [WWW 2017]
MF의 내적(dot product)을 MLP로 대체. GMF + MLP를 결합한 NeuMF 구조.

NGCF

Neural Graph Collaborative Filtering [SIGIR 2019]
User-Item 이분 그래프에서 GNN 메시지 패싱으로 High-order 연결성 학습. LightGCN으로 발전.

AutoCF

Autoencoder-based Collaborative Filtering
입력: 사용자 평점 벡터 → Encoder → Latent z → Decoder → 복원 평점. VAE-CF로 확장.

⚙ GNN Message Passing: h_u^(k) = σ( W · AGGREGATE({h_v^(k-1) : v ∈ N(u)}) ) — k-hop 이웃 정보를 반복 집계하여 고차 협업 신호 포착

Ⅲ. 고급 추천 모델

ADV-01

Embedding-based & Factorization Machines

Embedding-based

Prod2Vec

Word2Vec 방식으로 구매 시퀀스에서 상품 임베딩 학습

StarSpace

범용 임베딩 학습 프레임워크 (FB Research). 태그·문서·추천 통합

Factorization Machines 진화 계보

Factorization Machines
모든 feature 쌍의 2차 교호작용 학습. ŷ = w₀ + Σwᵢxᵢ + Σ⟨vᵢ,vⱼ⟩xᵢxⱼ

FFM

Field-aware FM
Feature를 Field별로 구분하여 Field-specific 임베딩 적용

Wide&Deep

Wide & Deep Learning [Google, 2016]
Memorization (Wide) + Generalization (Deep) 동시 학습

DeepFM

DeepFM [Huawei, 2017]
FM + DNN 통합. Wide 컴포넌트를 FM으로 대체 → Feature Engineering 불필요

DCN ⭐

Deep & Cross Network [Google, 2017]
Cross Network으로 명시적 고차 feature 교호작용 효율적 학습. DCN-V2로 발전.

ADV-02

Sequential Recommender Models

사용자의 행동을 시간 순서로 파악하여 "다음에 상호작용할 아이템"을 예측합니다. 행동 패턴의 변화와 단기 관심사를 반영하는 것이 핵심입니다.

FPMC

Factorized Personalized Markov Chain
MF + Markov Chain 결합. 장기 선호 + 단기 순서 패턴 동시 모델링

FOSSIL

FOSSIL (Fusing Similarity Models)
과거 상호작용 아이템에 가중치를 두어 Markov Chain 개선

TransRec

Translation-based Sequential Model
지식 그래프의 TransE 아이디어를 시퀀스 추천에 적용. user ≈ item_t + transition

SASRec

Self-Attentive Sequential Recommendation [ICDM 2018]
Transformer Self-Attention으로 긴 시퀀스에서 관련 아이템 선택적 집중

BERT4Rec ⭐

BERT for Sequential Recommendation [CIKM 2019]
BERT의 Masked Language Model 방식 적용 — Cloze Task로 양방향 컨텍스트 학습

⚙ Self-Attention: Attention(Q,K,V) = softmax(QKᵀ/√d)·V — 쿼리와 키의 내적으로 각 아이템의 중요도 계산, 병렬 처리로 RNN 대비 긴 시퀀스 효율 우수

ADV-03

Knowledge Graph-based Recommender Models

외부 지식 그래프(KG)를 활용해 아이템 간 관계(배우·장르·감독 등)를 모델에 통합합니다. Explainability와 Cold Start 문제 완화에 강점이 있습니다.

CKE

Collaborative Knowledge Base Embedding [KDD 2016]
CF + 구조적·텍스트·시각적 지식 임베딩 통합. MF와 TransR 기반 공동 학습.

RippleNet

RippleNet [CIKM 2018]
물결 전파 방식으로 KG에서 사용자 관심 영역을 자동 탐색. 해석 가능한 추천 경로 제공.

KGCN

Knowledge Graph Convolutional Networks [WWW 2019]
GCN을 KG에 적용. 사용자 관심 기반 이웃 선택으로 관련 엔티티 집계.

KGAT ⭐

Knowledge Graph Attention Network [KDD 2019]
Attention 기반 KG 전파 + User-Item-Entity 통합 그래프에서 고차 연결성 학습. 현재 SOTA 계열의 기준선.

Ⅳ. 참고 자료

📚 참고 서적

Python을 이용한 개인화 추천 시스템

Recommender Systems (2011) — Dietmar Jannach
CF, CB, 평가 지표 등 기본 이론의 교과서적 정리

Recommender Systems Handbook (2015) — Francesco Ricci
산업·학계 전문가 공저. 알고리즘부터 응용 사례까지 포괄

Recommender Systems: The Textbook (2016) — Charu Aggarwal
Deep Learning 기반 추천까지 포함한 최신 교과서. 수식 중심의 체계적 설명

🎓 참고 커리큘럼

성균관대학교 대학원 — Recommender System

이종욱 교수님 | SKKU IDS Lab

1. Course Policy

2. Introduction to Recommender Systems

3. Neighborhood-based CF (User-based / Item-based)

4. Model-based CF — Association Rules · Probabilistic · Slope One · Latent Factor · SVD++

5. Evaluating Recommender Models — BPR · WMF · LogisticMF · SLIM · FISM · EASE

6. Collaborative Filtering for Implicit Feedback

7. Neural Collaborative Filtering (NCF)

8. Neural Graph Collaborative Filtering (NGCF) & Variants

9. Autoencoder-based CF

10. Content-based Recommendation

11. Embedding-based (Prod2Vec · StarSpace) & Factorization Machines (FM → DCN)

12. Sequential Recommendation — FPMC · FOSSIL · TransRec · SASRec · BERT4Rec

13. Knowledge-based Recommendation — CKE · RippleNet · KGAT · KGCN

💡 Field Note

CF의 단순한 내적에서 출발해 GNN, Attention, Knowledge Graph까지 — 추천 시스템의 발전은 결국 "사용자를 더 잘 이해하기 위한 표현 방법의 진화"입니다.

박사 과정 최종 학기에 이 과목을 이수하며, 각 알고리즘이 어떤 한계를 극복하기 위해 설계되었는지를 논문 원본과 함께 추적하는 것이 가장 큰 수확입니다. 이 문서는 그 기록입니다.

Conclusion & Next

Recommender System은 AI 분야에서 실사용자와 가장 가까운 지점에 있는 응용 연구 영역입니다.

이 커리큘럼을 통해 정리된 CF · Neural · Sequential · Knowledge-based 모델의 발전 계보는, 향후 개인화 서비스 개발과 RL 기반 추천 시스템 연구의 이론적 토대가 될 것입니다. 주요 논문 심층 리뷰와 실험 결과는 다음 시리즈에서 이어집니다.

#RecommenderSystem #CollaborativeFiltering #NCF #NGCF #SASRec #BERT4Rec #KGAT #FactorizationMachines #DeepFM #BPR #EASE #Maritime40

Captain Ethan

Maritime 4.0 · AI, Data
PhD Candidate · Recommender Systems · RL-based Personalization

LinkedIn →

Search This Blog

Leading MARITIME 4.0 with AI, Data & Cybersecurity

Reinforcement Learning: Curriculum — From MDP Foundations to Advanced Algorithms