dxlab(지도교수 : 박은일), EMNLP 2026 2편, ECCV 2026 1편 게재 승인

Data eXperience Lab (dxlab, 지도교수: 박은일)의 논문이 자연어 처리 분야 top-tier 국제학술대회인 EMNLP 2026에 2편, 컴퓨터 비전 분야 top-tier 국제학술대회인 ECCV 2026에 1편 게재 승인되었습니다! ECCV 2026 1. 제목: Finding Highlight Images In Your Albums: From Benchmark To MLLM 저자: 박은일(인공지능융합학과) 외 10명 박은일(dxlab 지도교수) 키워드: Album Highlight Recommendation, Visual Analysis, Cognition-based Image Attribute, Multimodal Large Language Model (MLLM), Dataset Benchmark 주요 내용: 개인 앨범 하이라이트 추천은 사용자의 추억 감상 및 소셜 미디어 공유에 가장 적합하고 가치 있는 사진을 자동으로 선별하는 과업입니다. 그러나 하이라이트 선별에 내재된 높은 주관성과 모호성으로 인해 신뢰할 수 있는 데이터셋 축적이 어려웠습니다. 이에 본 연구는 기존 공공 데이터셋을 5명의 작업자가 재레이블링하여 세분화된 점수로 통합한 910개 앨범(87K 이미지)과, 100명의 자원봉사자가 본인 앨범을 직접 레이블링한 고유한 개인화 데이터셋 C-AHR-100(10K 이미지)을 구축하여 데이터 부재 문제를 해결하고자 하였습니다. 뿐만 아니라, 해당 과업에 특화된 멀티모달 대형 언어 모델인 Highlight4U를 제안하고, 단일 이미지 단위의 Local Scoring와 상위 선별 이미지를 Global Reference를 활용하는 2단계 구조를 통해, 앨범 내 이벤트 맥락과 의미론적 관계를 반영하여 추천 정확도를 향상시킵니다. 핵심 기여 ■ 하이라이트 추천 연구를 위한 대규모 벤치마크 데이터셋 구축 (3개 데이터셋, 1,010개 앨범, 97K 이미지) 공공 앨범 데이터(PEC, CUFED)에 대해 5인 재레이블링을 거쳐 개인 편향을 완화한 세분화 점수(0~5점)를 부여하고, 실제 앨범 소유자가 직접 주관적 선호도를 반영해 레이블링한 C-AHR-100 데이터셋을 구축하여 데이터 공백을 해결 ■ MLLM 기반 특화 모델 Highlight4U 및 Local-Global 2단계 프레임워크 제안 점수 토큰의 확률 분포를 정교한 점수로 매핑하는 HDA(Highlight Distribution Aggregation) 모듈을 설계하고, 초기 상위 추천 결과를 캡션과 함께 전역 참조(Global Reference)로 제공함으로써 앨범 전체의 맥락과 이벤트 정보를 반영하는 재추천 메커니즘 구현 ■ 대중적 하이라이트 인지도 및 개인화 선호도 전이 가능성 검증 기존 비전 백본 및 SOTA MLLM 대비 우수한 하이라이트 추천 성능을 입증하였으며, 대중적 공감대 기반으로 학습된 모델이 실제 개별 소유자의 주관적 선호도 환경으로도 효과적으로 전이·일반화됨을 실증 성능 향상 요약 EMNLP 2026 (Main)1. 제목: ReflectRec: Cycle-Consistency Preference Verification for LLM-based Recommendation 저자: 김대규(인공지능융합학과 박사과정; 왼쪽 첫번째), 조희정(인공지능융합학과 박사과정;왼쪽 두번째), 홍성무(인공지능융합학과 박사과정), 박은일(인공지능융합학과) 키워드: LLM-based Recommendation, Preference Verification, Cycle-Consistency, Collaborative Signal, Natural Language Preference Elicitation, Generative Recommendation 주요 내용: 대형 언어 모델(LLM) 기반 추천 시스템은 사용자의 과거 소비 이력을 자연어 형태의 선호도 요약(Preference Note)으로 변환하여 추천 프롬프트에 활용합니다. 그러나 중간 단계에서 생성된 선호도가 실제 사용자 취향을 정확히 반영하는지 검증하는 체계가 부족하여 추상화 오류 및 환각(Hallucination)이 추천 정확도를 저해하고, 다른 유저들의 최근 소비 패턴인 협업 신호(Collaborative Signal)를 직접 활용하지 못하는 한계가 존재했습니다. 본 논문은 이러한 한계를 극복하기 위해 순환 일치성 기반 선호도 검증 및 협업 정보 결합 프레임워크인 ReflectRec을 제안합니다. ReflectRec은 5가지 의미적 축(장르, 분위기, 주제, 시대/스타일, 서사 방식)으로 선호도를 추출한 뒤, 선호도 글만으로 과거 시청 이력을 역복원하는 순환 일치성 검증기(Cycle-Consistency Verifier)를 도입하여 품질을 정량 평가(ValScore)합니다. 검증 점수가 낮은 저품질 선호도는 조건부로 재생성·보정하며, 사용자 이력 유사도 기반으로 타 유저의 다음 소비 아이템을 추출하는 전방 탐색 검색(Forward-Look Retrieval)을 연동함으로써 고품질 선호도와 협업 신호를 동시에 최종 LLM 랭커에 제공하여 추천 정확도를 대폭 향상시킵니다. 핵심 기여 ■ 순환 일치성(Cycle-Consistency) 기반 LLM 선호도 검증 메커니즘 제안 LLM이 생성한 자연어 선호도 요약문만으로 과거 사용자 소비 이력을 역으로 복원해내는 재현율 점수(ValScore)를 측정하고, 이 점수를 기준(Gate) 삼아 저품질 선호도를 선택적으로 재생성·보정하는 신뢰성 검증 체계 구현 ■ 타 유저의 미래 행동을 활용하는 전방 탐색 검색(Forward-Look Retrieval) 결합 과거 이력 임베딩 유사도가 높은 유사 사용자 그룹을 탐색한 후, 그들이 실제로 그 다음에 소비한 아이템 정보를 협업 힌트(Collaborative Hint)로 제공하여 단일 유저 중심 LLM 추천의 협업 필터링 한계 극복 ■ 다양한 벤치마크 및 백본 LLM 환경에서의 SOTA 성능 및 일반화 가능성 검증 MovieLens-100K(Hit@10 기준 기존 대비 +16.25%p) 및 MovieLens-1M에서 탁월한 성능 향상을 입증하였으며, 다양한 LLM 백본(Qwen, Llama 등) 및 타 도메인(Amazon Electronics)에서도 일관된 성능 개선 효과 실증 ReflectRec 논문 프레임워크 EMNLP 2026 (Finding) 1. 제목: K-Humor: Dynamic Multi-Agent LLM Framework for Generation of Culturally Grounded Korean Jokes 저자: 왼쪽부터 박민수(인공지능융합학과 박사과정), 전희정(인공지능융합학과 석사과정), 김동재(인공지능융합학과 박사과정), 오민우(메타바이오헬스학과 석사과정), 박은일(인공지능융합학과) 키워드: Korean Joke Generation, Culturally Grounded Humor, Dynamic Multi-Agent LLM, Contextual Bandit (UCB), Human-Data-Grounded Retrieval (HDG), Writers' Room Simulation 주요 내용 한국어 유머 생성은 언어의 복잡성(존댓말, 어미 변화)과 깊은 문화적 맥락, 그리고 서구권 중심 LLM의 문화적 편향으로 인해 정교한 유머를 구현하는 데 어려움이 있습니다. 또한 기존 단일 프롬프트(Single-pass) 기반 LLM은 코미디 작가들의 다단계 협업 및 피드백 기반 정제 과정을 반영하지 못하는 한계가 존재합니다. 본 논문은 실제 코미디 작가실(Writers' room)의 협업 프로세스를 모사한 동적 다중 에이전트 LLM 프레임워크 K-Humor를 제안하여 이 문제를 해결합니다. K-Humor는 문화적 맥락, 말장난, 청중 피드백, 에디터 검토 등을 담당하는 역할별 에이전트를 배치하고, UCB 알고리즘 기반 컨트롤러를 통해 도입부 수정 및 펀치라인 완성을 동적으로 제어합니다. 나아가 한국어 문장 임베딩(KoSimCSE) 기반의 인간 데이터 Retrieval(HDG) 메커니즘을 통합하여 최불암 시리즈 등 실제 인간 유머 데이터셋을 퓨샷(Few-shot) 예시로 활용함으로써 유머의 타격감과 문화적 공감대를 대폭 향상시킵니다. 핵심 기여 ■ 실제 협업 네트워크를 모사한 동적 다중 에이전트(K-Humor) 프레임워크 제안 문화, 말장난, 청중, 에디터 등 역할별 에이전트를 구축하고, UCB(Upper Confidence Bound) 컨트롤러를 통해 반전, 일관성, 중복성 신호를 감지하여 '설명 추가', '설명 수정', '펀치라인 작성'을 동적으로 판단·실행하는 3단계 정제 파이프라인 구현 ■ 인간 데이터 기반 Retrieval(HDG) 메커니즘 및 한국 문화 맥락 통합 한국어 언어유희 및 문화적 트렌드를 반영하는 특화 에이전트와 더불어, KoSimCSE를 활용해 유사한 인간 작성 유머 데이터(180건)를 동적으로 검색·참조하여 한국 특유의 정서와 유머 스타일을 정확히 이끌어내는 메커니즘 구축 ■ 다각도 평가(Human & LLM Evaluation)를 통한 정량적 우수성 입증 단일 프롬프트 베이스라인 대비 인간 평가 64.5%, LLM 평가 70.8%의 높 승률을 기록하며 뛰어난 유머 생성 성능을 입증하였으며, 소거 연구(Ablation Study)를 통해 동적 제어기 및 HDG 등 각 구성 요소의 실질적 유효성을 검증. 제안된 K-humor 프레임워크 요약 해당 연구들은 과학기술정보통신부와 정보통신기획평가원의 대학ICT연구센터와 AI최고급신진연구자지원사업, 학석사연계지원사업으로 수행되었습니다.

DSSAL Lab(지도교수: 김장현) EMNLP 2026 main conference 논문 1편 게재 승인

제목: No Matter Who You Are: Addressivity and Sycophancy in Large Language Models 저자: 선승종*, 전현민*, 윤민식, 이은구, 강충원, 우영석, 김장현 (*공동 제1저자) 본 연구는 사용자의 주장과 선호에 과도하게 맞추는 LLM의 아첨(Sycophancy)이 post-training 이후 왜 강화되는지 분석했습니다. Post-training이 모델의 출력을 특정 수신자를 향한 발화로 변화시킨다는 점에 주목해, 수신자 지향성(Addressivity)이 아첨 행동을 강화한다는 가설을 세웠습니다. Base 모델과 instruction-tuned 모델에서 Sparse Autoencoder(SAE)를 활용해 관련 내부 feature를 추출하고 Steering을 적용했습니다. 그 결과 instruction-tuned 모델에서 해당 feature를 강화하거나 억제했을 때 아첨 행동이 일관된 방향으로 변했습니다. 이는 post-training 과정에서 강화된 수신자 지향적 내부 표현이 아첨 행동의 증가와 연결되어 있음을 보여줍니다. 왼쪽부터 선승종 학생, 전현민 학생, 김장현 교수

신뢰가능한인공지능연구단(연구책임자: 한진영) ‘Bias-A-Thon’ 연구 성과, EMNLP 2026 Findings 채택

신뢰가능한인공지능연구단(Pioneer Research Group for Socially Responsible AI, 연구책임자 한진영 교수)이 지난해 개최한 학생 참여형 연구 프로그램 ‘Bias-A-Thon’의 성과를 발전시킨 연구가 자연어처리 및 인공지능 분야의 세계 최고 수준 국제학술대회인 「2026 Conference on Empirical Methods in Natural Language Processing(EMNLP 2026)」 Findings에 채택됐다. 채택 논문의 제목은 「SCENE: A Scenario Completion Benchmark for Measuring Social Bias in Large Language Models」로, 대규모 언어모델(LLM)이 다양한 사회적 상황과 맥락에서 나타내는 사회적 편향(Social Bias)을 체계적으로 측정하고 평가하기 위한 새로운 벤치마크를 제안했다. EMNLP(Empirical Methods in Natural Language Processing)는 자연어처리(NLP)와 인공지능(AI) 분야에서 세계적으로 권위를 인정받는 최우수권 국제학술대회 중 하나다. 이번 논문 채택은 신뢰가능한인공지능연구단이 추진해 온 책임 있는 인공지능 연구와 국제 공동연구의 성과가 세계적 연구 커뮤니티에서 학술적으로 인정받았다는 점에서 의미가 크다. 이번 연구의 출발점은 신뢰가능한인공지능연구단이 지난해 개최한 ‘Bias-A-Thon’이다. Bias-A-Thon은 기존 해커톤의 형식을 인공지능의 사회적 편향 문제에 접목한 학생 참여형 연구 프로그램으로, 참가 학생들이 대규모 언어모델에서 나타날 수 있는 다양한 사회적 편향을 직접 탐색하고 이를 실제 연구에 활용할 수 있는 데이터로 구축하도록 기획됐다. 본교와 The Pennsylvania State University(Penn State) 학생들은 Bias-A-Thon을 통해 다양한 사회적 상황과 맥락에서 발생할 수 있는 편향 사례를 발굴했다. 이후 연구진은 학생들이 구축한 데이터를 체계화하고 분석해 대규모 언어모델의 사회적 편향을 측정할 수 있는 벤치마크 ‘SCENE’으로 발전시켰으며, 이러한 후속 연구가 이번 EMNLP 2026 논문 채택으로 이어졌다. SCENE은 특정 단어나 문장에 포함된 편향을 단순히 탐지하는 기존 방식에서 한 걸음 더 나아가, 대규모 언어모델이 다양한 사회적 상황과 맥락을 직접 완성하는 과정에서 어떠한 편향이 나타나는지를 평가하도록 설계됐다. 이를 통해 실제 생성형 AI 사용 환경에서 드러날 수 있는 보다 복합적이고 맥락적인 사회적 편향을 체계적으로 분석하는 것을 목표로 한다. 이번 연구에는 신뢰가능한인공지능연구단 연구책임자인 한진영 교수를 비롯해 최윤석 교수와 홍성은 교수, The Pennsylvania State University 교수이자 우리대학 석학교수인 S. Shyam Sundar 교수가 참여했다. 또한 본교 강미경, 정애천, 김민석 학생과 The Pennsylvania State University의 Eunchae Jang 학생이 연구에 함께 참여해 한·미 공동연구 성과를 만들어냈다. 특히 이번 성과는 연구단이 기획한 학생 참여형 연구 프로그램이 일회성 행사에 머무르지 않고, 학생들의 데이터 구축과 한·미 연구진의 후속 공동연구를 거쳐 세계 최고 수준 국제학술대회의 논문으로 발전했다는 점에서 의미가 크다. 과학기술정보통신부와 정보통신기획평가원(IITP)의 해외석학유치지원사업을 기반으로 조성한 국내외 교수진 및 학생 간 연구·교류 환경이 구체적인 국제 학술 성과로 이어진 대표적인 사례라는 점에서도 주목된다. ▲ 연구책임자 한진영 교수 한진영 신뢰가능한인공지능연구단 연구책임자는 “Bias-A-Thon은 학생들이 인공지능의 사회적 편향이라는 중요한 문제를 직접 탐색하고, 실제 연구 데이터 구축 과정에 참여할 수 있도록 기획한 프로그램”이라며 “성균관대학교와 Penn State 학생 및 연구진이 함께 만들어낸 결과가 후속 공동연구를 거쳐 자연어처리 및 인공지능 분야의 세계 최고 수준 국제학술대회인 EMNLP에 논문으로 채택됐다는 점에서 더욱 뜻깊다”고 밝혔다. 이어 “학생들이 국제 연구진과 함께 연구 문제를 발굴하고 데이터를 구축하는 데서 그치지 않고, 그 결과를 세계적인 학술 무대에서 연구 성과로 발전시키는 경험까지 할 수 있었다는 점 역시 중요한 의미가 있다”며 “앞으로도 해외석학유치지원사업을 기반으로 해외 연구진과의 실질적인 공동연구와 학생 교류를 확대하고, 신뢰할 수 있고 사회적으로 책임 있는 인공지능 분야에서 국제적으로 인정받는 연구 성과를 지속적으로 만들어 나가겠다”고 말했다. 신뢰가능한인공지능연구단은 과학기술정보통신부와 정보통신기획평가원(IITP)의 지원을 받는 해외석학유치지원사업의 일환으로 운영되고 있으며, 해외 우수 연구자와 국내 연구진 간 지속적인 공동연구와 인재 교류를 통해 사회적으로 책임 있고 신뢰할 수 있는 인공지능 기술 개발을 추진하고 있다.

신뢰가능한인공지능연구단(연구소장: 한진영), KDD 2026서 ‘책임 있는 멀티모달 AI’ 국제 워크숍 성료

본교 신뢰가능한인공지능연구단(연구책임자 한진영 교수)이 지난 8월 9일 제주국제컨벤션센터(ICC 제주)에서 국제 워크숍 「RespMultimodal 2026: The First International Workshop on Responsible Multimodal Foundation Models for Knowledge Discovery」를 성황리에 개최했다. 이번 워크숍은 데이터마이닝 분야의 세계적 권위 학회인 ACM SIGKDD 2026과 연계해 열렸으며, 성균관대 신뢰가능한인공지능연구단을 중심으로 국내외 연구진이 공동으로 조직했다. 공동 조직위원장으로는 성균관대 한진영 교수, University of South Florida의 Seungbae Kim 교수, The Pennsylvania State University 교수이자 성균관대 석학교수인 S. Shyam Sundar 교수, UCLA의 Wei Wang 교수가 참여했다. 멀티모달 파운데이션 모델의 책임성을 주제로 올해 처음 열린 이번 워크숍에는 한국, 미국, 중국, 싱가포르, 영국, 일본, 러시아, 브라질, 오스트레일리아, 인도, 이탈리아, 캐나다, 시에라리온 등 13개국에서 약 80명의 연구자가 참여했다. 성균관대학교, KAIST, UCLA, Peking University, Northwestern University 등 국내외 주요 대학을 비롯해 한국전자통신연구원(ETRI), 싱가포르 A*STAR 등 연구기관과 Google, Meta 등 글로벌 기업의 연구자들이 참석해 책임 있는 멀티모달 AI를 둘러싼 학계·연구기관·산업계의 국제적 논의를 이어갔다. 이번 워크숍에서는 멀티모달 대규모 언어모델(MLLM)이 데이터 분석과 지식 발견의 핵심 도구로 빠르게 활용되는 상황에서 모델의 편향과 취약성, 불투명한 의사결정 과정이 연구 결과의 신뢰성에 미치는 영향이 주요 의제로 다뤄졌다. 참석자들은 공정성과 해석가능성, 강건성을 단순한 윤리적 원칙을 넘어 신뢰할 수 있는 데이터 기반 지식 발견을 위해 해결해야 할 핵심 기술 과제로 바라보고 다양한 연구 결과와 접근법을 공유했다. 프로그램은 기조강연 2편과 초청강연 2편, 스포트라이트 발표, 두 차례의 포스터 세션으로 진행됐다. UCLA의 Yizhou Sun 교수는 “Multimodal Scientific Reasoning: Extending Foundation Models for Scientific and Engineering Discovery”를 주제로 파운데이션 모델이 다양한 형태의 정보를 종합해 복합적인 문제를 추론하고 과학·공학 분야의 새로운 발견을 지원할 수 있는 가능성과 향후 연구 방향을 제시했다. 이어 국회입법조사처 박소영 변호사는 “Legislating Responsible AI: Korea’s Basic Act and Beyond”를 주제로 인공지능 기본법을 중심으로 국내 AI 규범 체계를 소개하고, 빠르게 발전하는 AI 기술에 대응하기 위한 정책적 과제와 책임 있는 AI를 위한 제도적 방향을 제시했다. 두 편의 초청강연에서는 최신 연구 성과가 소개됐다. Beijing Institute of Technology의 Guo (Levick) Cheng은 지식그래프를 활용해 모델 추론의 신뢰성을 높이는 연구를, University of Technology Sydney의 Bo Peng은 사전학습 비전-언어 모델의 분포 외 데이터 탐지 성능을 향상시키는 연구를 각각 발표했다. 논문 발표 세션에서는 심사를 거쳐 채택된 22편의 연구가 두 차례의 포스터 세션을 통해 소개됐다. 각 세션에 앞서 연구의 핵심 내용을 소개하는 스포트라이트 발표가 진행됐으며, 포스터 세션에서는 멀티모달 모델의 신뢰성 평가와 편향 완화, 평가 데이터 구축, 모델 추론 등 다양한 주제를 놓고 활발한 논의가 이어졌다. 폐회에 앞서 열린 우수 논문 시상에서는 「PubTables-QA: A Benchmark Toward Cross-Page Table Reasoning in Table Visual Question Answering」이 최우수 논문상을 수상했다. 「AIRCL: Adaptive Importance-Weighted Retrieval Contrastive Learning for Hateful Meme Detection」은 우수 논문상을, 「EviRel: Evidence-Preserving Temporal Memory for Future Social Relation Reasoning in Videos」는 장려상을 각각 수상했다. 연구단은 이번 워크숍을 통해 형성된 국제 연구 네트워크를 바탕으로 참여 연구진과 공동연구 및 학술 교류를 이어갈 예정이다. 또한 향후 제2회 RespMultimodal 워크숍 개최를 추진해 책임 있는 멀티모달 AI 연구를 지속적인 국제 연구 의제로 발전시켜 나갈 계획이다. 신뢰가능한인공지능연구단 연구책임자인 한진영 교수는 “멀티모달 모델이 지식을 발견하고 해석하는 도구로 활용되기 시작한 만큼, 모델의 편향은 연구 결과와 데이터 기반 의사결정의 편향으로 이어질 수 있다”며 “이번 워크숍을 통해 세계 각국의 학계와 연구기관, 산업계 연구자들이 한자리에서 이 문제를 논의하고 다양한 연구 성과를 공유할 수 있었다”고 밝혔다. 이어 “앞으로도 국제 연구자들과의 공동연구와 학술 교류를 확대해 책임 있는 멀티모달 AI 연구가 데이터마이닝 분야의 핵심 국제 연구 의제로 발전하는 데 기여하겠다”고 말했다. 이번 워크숍은 과학기술정보통신부와 정보통신기획평가원(IITP)의 지원을 받아 수행되는 성균관대 신뢰가능한인공지능연구단 사업의 일환으로 마련됐으며, 발표 논문을 비롯한 자세한 정보는 공식 홈페이지에서 확인할 수 있다.