- RecSys(ACM Conference on Recommender Systems)

- SIGIR(ACM SIGIR Conference on Research and Development in Information Retrieval)

- ISMAR(IEEE International Symposium on Mixed and Augmented Reality)

- UIST(ACM Symposium on User Interface Software and Technology)

1)Choosing What Matters: Query-Aware Multimodal Routing for Conversational Recommendation 

/ RecSys(Short paper)

왼쪽부터 LAMDA Lab 인공지능융합학과 석사과정 박혜림, 최서인, 심준보 학생(지도교수: 오하영)

Conversational Recommender System(CRS) 분야에서 Query-Aware Multimodal Routing(QAMR-CRS) 모델을 제안하고 구현하였다. 기존 최신 멀티모달 추천 모델인 MSCRS는 지식그래프(Knowledge Graph), 공출현(Co-occurrence), 텍스트 유사도(Text Similarity), 이미지 유사도(Image Similarity) 정보를 활용하지만, 모든 대화 상황에서 동일한 방식으로 모달리티를 융합한다는 한계가 존재하였다. 이에 본 연구에서는 사용자의 현재 대화 문맥과 대화 내 언급된 개체 정보를 기반으로 질의(Query)를 표현하고, 각 질의에 대해 어떤 모달리티 정보가 가장 중요한지를 동적으로 판단하는 Query-Aware Routing 메커니즘을 설계하였다. 이를 위해 대화 표현과 개체 표현을 결합한 질의 벡터를 생성하고, 이를 기반으로 각 모달리티의 중요도를 예측하는 라우터를 구축하였다. 또한 특정 모달리티에 과도하게 의존하는 현상을 방지하기 위해 엔트로피 정규화(Entropy Regularization)를 적용하였으며, 기존 멀티모달 융합 정보와 동적 라우팅 결과를 결합하는 잔차 기반(Residual) 융합 구조를 도입하여 모델의 안정성과 일반화 성능을 향상시켰다.

2) PEARL: Profile-based Explainable Agent for Edge LLM Recommendation via Latent Decomposition 

/ SIGIR(Short paper)

LAMDA Lab 인공지능융합학과 석사과정 이진권 학생(지도교수 : 오하영)

본 연구는 사용자의 프로필을 기반으로 가장 적합한 20억 개 이하의 온디바이스 LLM을 선택하고 그 이유를 설명하는 PEARL 프레임워크를 제안한다. 기존 개인화 연구가 하나의 고정된 모델을 조정하는 데 집중한 것과 달리, PEARL은 사용자 선호와 과제 특성에 따라 서로 다른 엣지 모델을 추천한다. 이를 위해 클라우드 LLM과 엣지 LLM의 응답 차이를 공감성, 장르 이해도, 선호 반영 능력 등의 특성으로 요약하고, Explainable Latent Decomposition을 통해 해석 가능한 잠재 능력 공간으로 변환한다. 이후 사용자 프로필과 각 모델의 능력 좌표를 비교하여 가장 적합한 모델을 선택하고 자연어 설명을 생성한다.

PersonaLens 데이터셋 실험에서 PEARL은 단일 도메인 개인화 점수 2.40, 다중 도메인 점수 2.26을 기록하여 최고 성능의 고정 모델보다 각각 0.28과 0.23 높은 성능을 보였다. 또한 주요 능력 차원을 제거했을 때 추천 결과의 73%가 변경되어, 생성된 설명이 실제 모델 선택에 직접 활용되는 신뢰할 수 있는 근거임을 확인하였다. 이러한 결과는 PEARL이 콜드스타트 환경에서 개인화된 온디바이스 LLM을 효과적이고 설명 가능하게 선택할 수 있음을 보여준다.

3) SPHERE: Adaptive VR Indoor Scene Generation via LLM-Enhanced Spatial Preference Learning and 

Human-in-the-Loop RL

/ TVCG(presented at ISMAR) (Full paper)

LAMDA Lab 실감미디어공학과 석사과정 이현민 학생(지도교수: 오하영)

본 연구는 대형언어모델(LLM)을 활용한 3차원 실내 공간 생성 과정에서 사용자의 선호를 지속적으로 학습하고 반영하는 적응형 가상현실 생성 프레임워크인 SPHERE를 제안한다. 기존 3D 공간 생성 방식은 개별 세션 단위로 동작하여 사용자가 이전에 수행한 수정이나 공간 배치 선호를 유지하지 못하기 때문에, 새로운 공간을 생성할 때마다 동일한 수정 작업을 반복해야 하며 몰입형 환경에서 신체적 피로가 증가하는 한계가 있었다. SPHERE는 이러한 일회성 공간 생성을 사용자와 인공지능이 지속적으로 협력하는 인간-AI 공동 창작 과정으로 확장한다.

SPHERE는 사용자의 음성 명령과 컨트롤러 기반 편집 행동에서 반복적으로 나타나는 공간 선호를 추출하고 이를 장기적으로 저장한다. 또한 개별 객체의 위치와 같은 단순한 편집 기록에 과도하게 의존하지 않도록, 사용자의 수정 행동을 지역적 기능 관계와 전역적 공간 구조를 포함하는 계층적 제약 조건으로 추상화한다. 이를 통해 공간의 크기나 형태가 변화하더라도 사용자의 기능적·위상적 배치 선호를 안정적으로 적용할 수 있다. 아울러 사용자가 최종적으로 편집한 장면을 피드백으로 활용하는 Human-in-the-Loop 강화학습 메커니즘을 도입하여, 사용자에게 적합한 공간 선호를 검색하는 정책을 지속적으로 갱신하도록 설계하였다.

총 42명을 대상으로 한 혼합 설계 사용자 실험과 오프라인 절제 실험을 수행한 결과, SPHERE는 기존 방식과 비교하여 사용자가 수행해야 하는 공간 수정 횟수와 신체적 부담을 유의하게 감소시켰다. 또한 단순한 객체 수준의 특성에 편향되지 않고 사용자의 기능적·공간적 선호가 반영된 개인화된 실내 레이아웃을 생성하는 것으로 나타났다. 이러한 결과는 SPHERE가 사용자의 지속적인 피드백을 기반으로 공간 생성 지능을 안전하고 신뢰성 있게 발전시키며, 몰입형 공간 설계에서 인간 중심의 지속적 공동 창작을 지원할 수 있음을 보여준다.

4) What If You Could Call Your Future Self? NicoCall as a Personalized Future-Self Video Call 

for Nicotine Cessation 

/ UIST (Full paper)

왼쪽부터 LAMDA Lab 실감미디어공학과 석사과정 서주민, 졸업생 홍지흔, 인공지능융합학과 졸업생 김동명 학생 (지도교수 : 오하영)

본 연구는 니코틴 중독 금연을 지원하기 위해 AI 기반 미래자아와의 개인화된 비디오 통화 상호작용 시스템인 NicoCall을 제안한다. 기존의 금연 중재는 주로 일반적인 정보 제공이나 일방향 조언에 의존했으나, 금연의 핵심 어려움은 현재의 즉각적인 보상과 미래의 지연된 건강 이득 사이의 시간적 갈등이라는 점을 간과해왔다. 이를 해결하기 위해 본 연구에서는 ‘미래자아 연속성’ 이론에 기반하여, 사용자의 개인 정보(성격 특성, 가치관, 니코틴 의존성 지표)로부터 구축한 맞춤형 미래자아 페르소나를 시각화하고, 이와의 대화형 상호작용을 제공하는 시스템을 구현하였다. 특히 희망적 미래자아(성공적으로 금연한 긍정적 미래)와 두려운 미래자아(금연 실패로 인한 부정적 미래) 두 가지 상반된 프레이밍을 모두 지원하도록 설계하였다.

연구 방법론은 두 단계로 구성된다. 먼저 형성 연구를 통해 사용자들이 미래자아 상호작용을 어떻게 인식하는지 탐색하고, 신뢰성, 정서적 수용 가능성, 사용자 주체성 측면의 설계 요구사항을 도출하였다. 이를 바탕으로 LLM 기반 대화 생성, 사용자 사진으로부터의 3D 얼굴 재구성 및 나이 진행을 통한 시각적 미래 자신 생성, 조건별 대화 프레이밍 등을 구현하였다. 이후 본 실험에서는 희망적 자아, 두려운 자아, 대조군(표준 금연 교육 영상) 3가지 조건을 비교하는 무작위 배정 실험을 수행하였다.

주요 발견사항은 다음과 같다. NicoCall 상호작용 전반은 미래자아 연속성과 금연 자기효능감 증가, 흡연 갈망 감소와 관련되었다. 특히 희망적 미래자아 프레이밍은 미래자아 연속성과 자기효능감에서 더 일관되고 안정적인 심리적 변화를 보였으며, 1개월 후속 추적에서도 흡연 감소 효과가 더 잘 유지되었다. 반면 두려운 미래자아는 단기 흡연 감소에서 더 큰 즉각적 영향을 보였지만, 심리적 지속성과 장기 유지 측면에서는 혼합된 결과를 나타냈다. 질적 분석을 통해서는 미래자아가 사용자 자신의 목표와 경험을 반영할 때(개인적 적합성)와 상호작용이 생생한 사회적 현존감을 제공할 때 메시지 수용성이 높아짐을 확인하였다. 이는 미래자아 기반 중재의 효과가 단순한 정서적 충격이나 정보 내용이 아니라, 사용자가 그 미래자아를 자신으로 경험하는 정도에 달려 있음을 시사한다.