Data eXperience Lab (dxlab, 지도교수: 박은일)의 논문이 자연어 처리 분야 top-tier 국제학술대회인 EMNLP 2026에 2편, 컴퓨터 비전 분야 top-tier 국제학술대회인 ECCV 2026에 1편 게재 승인되었습니다!

ECCV 2026

1. 제목: Finding Highlight Images In Your Albums: From Benchmark To MLLM

저자: 박은일(인공지능융합학과) 외 10명

 박은일(dxlab 지도교수)

키워드: Album Highlight Recommendation, Visual Analysis, Cognition-based Image Attribute, Multimodal Large Language Model (MLLM), Dataset Benchmark

주요 내용: 개인 앨범 하이라이트 추천은 사용자의 추억 감상 및 소셜 미디어 공유에 가장 적합하고 가치 있는 사진을 자동으로 선별하는 과업입니다. 그러나 하이라이트 선별에 내재된 높은 주관성과 모호성으로 인해 신뢰할 수 있는 데이터셋 축적이 어려웠습니다. 이에 본 연구는 기존 공공 데이터셋을 5명의 작업자가 재레이블링하여 세분화된 점수로 통합한 910개 앨범(87K 이미지)과, 100명의 자원봉사자가 본인 앨범을 직접 레이블링한 고유한 개인화 데이터셋 C-AHR-100(10K 이미지)을 구축하여 데이터 부재 문제를 해결하고자 하였습니다. 뿐만 아니라, 해당 과업에 특화된 멀티모달 대형 언어 모델인 Highlight4U를 제안하고, 단일 이미지 단위의 Local Scoring와 상위 선별 이미지를 Global Reference를 활용하는 2단계 구조를 통해, 앨범 내 이벤트 맥락과 의미론적 관계를 반영하여 추천 정확도를 향상시킵니다.

핵심 기여

■ 하이라이트 추천 연구를 위한 대규모 벤치마크 데이터셋 구축 (3개 데이터셋, 1,010개 앨범, 97K 이미지)

 공공 앨범 데이터(PEC, CUFED)에 대해 5인 재레이블링을 거쳐 개인 편향을 완화한 세분화 점수(0~5점)를 부여하고, 실제 앨범 소유자가 직접 주관적 선호도를 반영해 레이블링한 C-AHR-100 데이터셋을 구축하여 데이터 공백을 해결 

■ MLLM 기반 특화 모델 Highlight4U 및 Local-Global 2단계 프레임워크 제안

 점수 토큰의 확률 분포를 정교한 점수로 매핑하는 HDA(Highlight Distribution Aggregation) 모듈을 설계하고, 초기 상위 추천 결과를 캡션과 함께 전역 참조(Global Reference)로 제공함으로써 앨범 전체의 맥락과 이벤트 정보를 반영하는 재추천 메커니즘 구현 

■ 대중적 하이라이트 인지도 및 개인화 선호도 전이 가능성 검증

 기존 비전 백본 및 SOTA MLLM 대비 우수한 하이라이트 추천 성능을 입증하였으며, 대중적 공감대 기반으로 학습된 모델이 실제 개별 소유자의 주관적 선호도 환경으로도 효과적으로 전이·일반화됨을 실증

성능 향상 요약

EMNLP 2026 (Main)1. 제목: ReflectRec: Cycle-Consistency Preference Verification for LLM-based Recommendation 

저자: 김대규(인공지능융합학과 박사과정; 왼쪽 첫번째), 조희정(인공지능융합학과 박사과정;왼쪽 두번째), 홍성무(인공지능융합학과 박사과정), 박은일(인공지능융합학과)

키워드: LLM-based Recommendation, Preference Verification, Cycle-Consistency, Collaborative Signal, Natural Language Preference Elicitation, Generative Recommendation

주요 내용: 대형 언어 모델(LLM) 기반 추천 시스템은 사용자의 과거 소비 이력을 자연어 형태의 선호도 요약(Preference Note)으로 변환하여 추천 프롬프트에 활용합니다. 그러나 중간 단계에서 생성된 선호도가 실제 사용자 취향을 정확히 반영하는지 검증하는 체계가 부족하여 추상화 오류 및 환각(Hallucination)이 추천 정확도를 저해하고, 다른 유저들의 최근 소비 패턴인 협업 신호(Collaborative Signal)를 직접 활용하지 못하는 한계가 존재했습니다. 본 논문은 이러한 한계를 극복하기 위해 순환 일치성 기반 선호도 검증 및 협업 정보 결합 프레임워크인 ReflectRec을 제안합니다. ReflectRec은 5가지 의미적 축(장르, 분위기, 주제, 시대/스타일, 서사 방식)으로 선호도를 추출한 뒤, 선호도 글만으로 과거 시청 이력을 역복원하는 순환 일치성 검증기(Cycle-Consistency Verifier)를 도입하여 품질을 정량 평가(ValScore)합니다. 검증 점수가 낮은 저품질 선호도는 조건부로 재생성·보정하며, 사용자 이력 유사도 기반으로 타 유저의 다음 소비 아이템을 추출하는 전방 탐색 검색(Forward-Look Retrieval)을 연동함으로써 고품질 선호도와 협업 신호를 동시에 최종 LLM 랭커에 제공하여 추천 정확도를 대폭 향상시킵니다.

핵심 기여

■ 순환 일치성(Cycle-Consistency) 기반 LLM 선호도 검증 메커니즘 제안

LLM이 생성한 자연어 선호도 요약문만으로 과거 사용자 소비 이력을 역으로 복원해내는 재현율 점수(ValScore)를 측정하고, 이 점수를 기준(Gate) 삼아 저품질 선호도를 선택적으로 재생성·보정하는 신뢰성 검증 체계 구현

■ 타 유저의 미래 행동을 활용하는 전방 탐색 검색(Forward-Look Retrieval) 결합

과거 이력 임베딩 유사도가 높은 유사 사용자 그룹을 탐색한 후, 그들이 실제로 그 다음에 소비한 아이템 정보를 협업 힌트(Collaborative Hint)로 제공하여 단일 유저 중심 LLM 추천의 협업 필터링 한계 극복

■ 다양한 벤치마크 및 백본 LLM 환경에서의 SOTA 성능 및 일반화 가능성 검증

MovieLens-100K(Hit@10 기준 기존 대비 +16.25%p) 및 MovieLens-1M에서 탁월한 성능 향상을 입증하였으며, 다양한 LLM 백본(Qwen, Llama 등) 및 타 도메인(Amazon Electronics)에서도 일관된 성능 개선 효과 실증

ReflectRec 논문 프레임워크

EMNLP 2026 (Finding) 

1. 제목: K-Humor: Dynamic Multi-Agent LLM Framework for Generation of Culturally Grounded Korean Jokes

 저자: 왼쪽부터 박민수(인공지능융합학과 박사과정), 전희정(인공지능융합학과 석사과정), 김동재(인공지능융합학과 박사과정), 오민우(메타바이오헬스학과 석사과정), 박은일(인공지능융합학과)