실감미디어공학과, 한국방송·미디어공학회 2026 하계학술대회서 우수 연구성과 입증

실감미디어공학과, 한국방송·미디어공학회 2026 하계학술대회 우수 연구성과 입증 SW융합대학 실감미디어공학과(원)가 지난 6월 18일부터 20일까지 제주특별자치도 서귀포시 롯데호텔 제주에서 열린 「2026 한국방송·미디어공학회 하계학술대회」에 참가해 우수한 연구성과를 선보이고 다수의 수상 실적을 거두며 학과의 연구 경쟁력을 입증했다. 한국방송·미디어공학회 하계학술대회는 방송미디어, 영상처리, 인공지능, 실감미디어, 차세대 콘텐츠 및 미디어 융합 기술 분야의 최신 연구성과를 공유하는 국내 대표 학술 행사다. 최근 생성형 인공지능, 몰입형 미디어, 3차원·4차원 콘텐츠, 초실감 영상, 지능형 방송 서비스 등 새로운 기술 패러다임이 빠르게 확산됨에 따라 500여 명의 산·학·연 연구자들이 한자리에 모여 미래 미디어 기술의 발전 방향을 논의하는 교류의 장으로 마련됐다. 특히 이번 학술대회는 우리 대학 실감미디어공학과 학과장인 류은석 교수가 조직위원장을 맡아 행사를 총괄 운영하며 성공적인 학술대회 개최를 이끌었다는 점에서 의미를 더했다. 학술대회에는 IITP, TTA, RAPA, ETRI, KETI, 삼성, KBS 등 주요 기관과 기업이 참여한 26개의 특별세션이 운영되었으며, 취·창업 세션과 신진연구자 발표 세션, 국제학술대회 최우수 논문 발표 세션 등을 통해 최신 연구 동향과 산업 현안을 공유했다. 실감미디어공학과는 학술대회 기간 중 특별세션 「실감미디어공학과 성과교류회」를 개최해 학과 소속 연구실의 주요 연구 주제와 연구 성과를 공유하고, 10명의 실감미디어공학과 교수진과 대학원생들이 함께 향후 연구 협력 및 발전 방향을 논의하는 시간을 가졌다. 생성형 인공지능, 컴퓨터 비전, XR(확장현실), 3차원 재구성, 멀티미디어 처리 등 다양한 분야의 연구 결과를 소개하며 학과의 우수한 연구 역량을 대내외에 알렸다. 이번 학술대회에서 실감미디어공학과는 학술대회 우수논문상 부문에서 뛰어난 성과를 거두었다. 포스터 부문 우수논문상에는 「관제 영상 자세 추정을 위한 합성 데이터 생성 및 평가 연구」(류문욱, 최종우, 송인표, 이장원)가 선정되어, 인공지능 기반 영상분석 분야의 우수성을 인정받았다. 또한 「다시점 색상 인식 초기화 기반 LiDAR 가우시안 스플래팅 기법」(양이삭, 김영규, 안승혁, 류은석)은 학술대회 대상에 선정되는 영예를 안았다. 해당 연구는 다중 시점 환경에서의 정밀한 3차원 공간 재구성 기술의 정확도와 효율성을 향상시킨 연구로 평가받으며 학술대회 최고 수준의 연구 성과로 인정받았다. (좌)학술대회 포스터부문 우수상 수상-관제 영상 자세 추정을 위한 합성 데이터 생성 및 평가 연구(류문욱, 최종우, 송인표, 이장원) (우)학술대회 대상 수상-다시점 색상 인식 초기화 기반 LiDAR 가우시안 스플래팅 기법(양이삭, 김영규, 안승혁, 류은석) 이번 성과는 실감미디어공학과가 인공지능과 실감미디어 분야에서 축적해 온 연구 역량과 교육 성과를 대외적으로 입증한 사례로 평가된다. 실감미디어공학과는 앞으로도 미래 미디어 기술을 선도하는 융합 연구를 지속적으로 추진하고, 글로벌 경쟁력을 갖춘 연구 인재 양성을 위해 노력할 계획이다. ※본 성과는 과학기술정보통신부와 정보통신기획평가원(IITP) 정보통신방송혁신인재양성사업 「가상융합대학원」과제 지원을 받아 수행된 연구결과입니다.

SW융합대학 실감미디어공학과, 2026 가상융합대학원 성과공유회’서 연구역량 입증

SW융합대학 실감미디어공학과, 2026 가상융합대학원 성과공유회’서 연구역량 입증 W융합대학(학장 이은석 교수) 실감미디어공학과 2026 가상융합대학원 성과공유회’서 우수논문·산학협력·포스터 발표 부문 수상 통해 가상융합 분야 연구 경쟁력 입증 성균관대학교 실감미디어공학과 (류은석 학과장) 및 가상융합대학원 사업단 (사업단장 류은석교수)이 지난 6월 10일~12일 서울 코엑스에서 개최된 「2026 가상융합대학원 성과공유회(가상융합혁신인재 심포지엄)」에 참가해 우수 연구성과를 선보이고 다수의 수상 실적을 거두며 가상융합 분야 연구 경쟁력을 입증했다. 과학기술정보통신부와 정보통신기획평가원(IITP)이 주관한 이번 행사는 AX(AI 전환) 시대를 견인할 가상융합 석·박사 인재들의 성과를 격려하고, 기술 시연과 성과 공유를 통해 지속 가능한 성장 비전을 제시하기 위해 마련됐다. 행사에는 과학기술정보통신부, 정보통신기획평가원, 가상융합대학원 8개 대학 연구책임자, 협력기업, 수혜학생 등 150여 명이 참석했다. 행사는 ▲연구 몰입 환경 조성 및 성장 지원을 위한 소통 간담회 ▲공간컴퓨팅 등 대학원별 핵심요소기술 구현 성과를 소개하는 전시 ▲글로벌 학술성과 및 산학협력 프로젝트(PBL) 성과를 공유하는 발표 세션으로 구성됐다. 특히 ‘AX를 현실로(Realizing AI via XR)’를 주제로 가상융합 기술구현 역량과 인재 양성 성과를 대외적으로 선보이는 자리로 마련됐다. 성균관대학교는 행사장 내 대학 전시부스를 통해 다양한 연구성과를 소개했다. 양이삭 연구원은 「로봇 기반 4D Gaussian Splatting 영상 취득 및 촬영 자동화 기술」을 선보였으며, 구래건 연구원은 「Library: A Large-Scale Outdoor Gaussian Splat Reconstruction Dataset」을 주제로 우수논문 구두발표를 진행했다. 또한 김영규 연구원은 「3차원 공간컴퓨팅을 위한 Gaussian Splat Coding 연구 및 국제표준 개발」을 주제로 산학협력 프로젝트 성과를 발표하며 공간컴퓨팅 분야의 기술 개발 및 국제표준화 추진 성과를 공유했다. 양이삭 연구원의 「로봇 기반 4D Gaussian Splatting 영상 취득 및 촬영 자동화 기술」 체험 전시 구래건 연구원의 「Library: A Large-Scale Outdoor Gaussian Splat Reconstruction Dataset」 우수논문 구두발표 김영규 연구원의 「3차원 공간컴퓨팅을 위한 Gaussian Splat Coding 연구 및 국제표준 개발」 산학협력 프로젝트 발표 우수논문 포스터 발표 부문에서는 정애천 연구원과 이현민 연구원이 각각 AI 기반 시각-언어모델 추론 효율화 연구와 VR 환경에서의 팀워크 경험 분석 연구를 발표하며 가상융합 분야의 연구성과를 선보였다. 이현민 연구원의 「VR 팀워크 내 사회적 평가·작업부하 분석」 우수논문 포스터 발표 정애천 연구원의 「시각-언어모델 추론 가속을 위한 학습 없는 토큰 프루닝」 우수논문 포스터 발표 이번 성과공유회에서 성균관대학교 가상융합대학원 사업단은 우수논문, 산학협력 프로젝트, 포스터 발표 등 다양한 부문에서 수상자를 배출하며 뛰어난 연구 역량을 입증했다. 우수논문 발표회에서는 구래건 연구원이 최우수상을 수상했으며, 산학협력 프로젝트 발표회에서는 김영규 연구원이 우수상을 수상했다. 또한 우수논문 포스터 발표회에서는 정애천 연구원과 이현민 연구원이 각각 우수상을 수상하며 연구 우수성을 인정받았다. 성균관대학교 가상융합대학원 사업단은 공간컴퓨팅, XR, 인공지능 기반 3차원 콘텐츠 생성 기술 및 국제표준화 연구 등 미래 가상융합 산업을 선도할 핵심 기술 개발과 전문인력 양성에 주력하고 있다. 앞으로도 글로벌 수준의 연구성과 창출과 산학협력 확대를 통해 AX 시대를 이끌 가상융합 혁신 인재 양성에 지속적으로 힘쓸 계획이다. ※본 성과는 과학기술정보통신부와 정보통신기획평가원(IITP) 정보통신방송혁신인재양성사업 「가상융합대학원」과제 지원을 받아 수행된 연구결과입니다.

dxlab(지도교수 : 박은일), IJCAI 2026 1편, INTERSPEECH 2편 논문 게재 승인

dxlab(지도교수 : 박은일), IJCAI 2026 1편, INTERSPEECH 2편 논문 게재 승인 Data eXperience Lab (dxlab, 지도교수: 박은일)의 논문이 인공지능과 음성처리 분야 top-tier 국제학술대회인 IJCAI 2026(1편)과 INTERSPEECH 2026(2편)에 게재 승인되었습니다. 제목: FedAMB: Adaptive Modality Balancing for Dominance-Robust Multimodal Federated Distillation 저자: 한승진, 이주엽, 이상민, 박은일 학술대회: International Joint Conference on Artificial Intelligence (IJCAI 2026, August 2026) 키워드: Multimodal Federated Learning, Federated Knowledge Distillation, Modality Dominance, Missing Modality Robustness Multimodal Federated Learning은 여러 modality를 분산 클라이언트 환경에서 프라이버시를 유지하며 학습할 수 있지만, modality별 학습 난이도 차이로 인해 특정 modality가 학습을 지배하는 modality dominance 문제가 발생합니다. 본 연구는 선택적 modality 학습과 knowledge distillation을 통해 multimodal accuracy와 unimodal robustness를 함께 향상시킵니다. 핵심 기여 ■ Contamination-Aware Modality Dominance 정의 Modality dominance를 Fed-KD의 global teacher contamination 문제로 재정의 ■ Selective-Modality Regulation (SMR) 제안 Dominance state를 감지하고, 필요한 경우 선택적으로 weak modality 학습을 강화 ■ Component-wise Modality Distillation (CMD) 제안 Global knowledge를 각 modality branch로 전달하여 unimodal robustness 향상 (a) FedAMB 프레임워크 그림 (a)는 FedAMB의 전체 프레임워크를 나타냅니다. 각 client는 먼저 modality dominance를 식별하고 SMR을 통해 local training을 조정한 뒤, proxy dataset에 대한 예측을 서버로 전달합니다. 서버는 이를 aggregation하여 global teacher를 구성하고, CMD를 통해 이 knowledge를 각 client의 modality branch에 distill함으로써 multimodal accuracy와 unimodal robustness를 함께 향상시킵니다. 제목: Temporal Transition-Aware Multi-Head Modeling for Partially Spoofed Audio Detection and Localization 저자: 김윤서, 이주엽, 박은일 학술대회: Interspeech 2026(September 2026) 키워드: Partially Spoofed Audio, Spoof Localization, Audio Boundary Detection 부분 조작 오디오 탐지(PSAL)는 하나의 발화 안에서 일부 구간만 가짜 오디오가 삽입된 경우, 이를 프레임 단위로 탐지하고 위치를 찾는 문제입니다. 기존 방법들은 주로 각 프레임의 진위 여부나 경계 예측에 집중했지만, 진짜 오디오와 가짜 오디오가 전환되는 순간의 시간적 변화를 충분히 활용하지 못했습니다. 본 논문은 인접 프레임 간의 시간적 변화를 핵심 단서로 활용하는 transition-aware localization framework를 제안하여, 가짜 오디오 구간의 시작과 종료를 더 정밀하게 탐지합니다. 핵심 기여 ■ Transition-aware PSAL 관점 제시 기존의 frame-wise authenticity prediction이나 boundary label 중심 접근을 넘어, 인접 프레임 간 temporal transition을 부분 조작 오디오 localization의 핵심 단서로 활용하는 새로운 관점을 제안 ■ Directional transition 기반 multi-head learning objective 제안 Real-to-Fake, Fake-to-Real과 같은 변화 방향을 명시적으로 학습하는 transition head와 frame-level score를 보정하는 refinement head를 결합하여, 조작 구간의 경계를 보다 정밀하게 탐지 ■ 세 가지 PSAL 데이터셋에서 성능 검증 PartialSpoof, PartialEdit-E1, PartialEdit-E2 데이터셋에서 실험을 수행하여, 제안 방법이 기존 기법 대비 우수한 frame-level localization 성능을 달성함을 확인 (a)Transition head와 refinement head 그림 (a) transition head는 각 프레임 쌍의 변화 양상을 분류하고, refinement head는 변화 정보와 프레임 독립적인 정보를 합쳐서 최종적으로 프레임을 분류합니다. (b) 하나의 발화에 대한 2D PCA trajectory 시각화 학습된 모델의 feature를 분석한 결과, 진짜 오디오와 가짜 오디오가 시간적으로 구분되는 표현을 가짐을 확인할 수 있습니다. 제목: K-DIALECT: Korean Dialect-Aware Face-Based Speech Synthesis 저자: 양성연, 이주엽, 박은일 학술대회: Interspeech 2026(September 2026) 키워드: Speech Synthesis, Multimodal Text-to-Speech, Korean Dialects Text-to-Speech는 주어진 텍스트를 읽는 발화 오디오를 생성하는 문제입니다. 기존 방법들은 정해진 음성으로만 텍스트를 읽거나 원하는 음성의 참고 오디오를 입력해야 했습니다. 하지만 원하는 대상에게 어울리는 음성을 자동으로 생성하는 연구는 부족했으며, 한국어 방언과 결합된 연구는 없었습니다. 본 논문은 원하는 대상의 이미지와 원하는 한국어 방언을 선택하면 대상에게 어울리는 음성으로 해당 방언으로 주어진 텍스트를 읽는 발화 오디오의 생성을 수행합니다. 핵심 기여 ■ 대상과 어울리는 음성으로 발화 오디오 생성 기존의 참고 오디오를 활용하는 발화 오디오 생성을 넘어, style encoder와 ID encoder를 통해 대상의 이미지에서 얼굴의 특징을 추출하여 대상에게 어울리는 음성으로 발화 오디오 생성 ■ 한국어 방언 발화 오디오 생성 서울, 강원, 경상, 전라, 제주, 충청 중 방언을 선택하면 T5 기반의 dialect translator와 pitch predictor를 통해 해당하는 방언으로 텍스트를 발화하는 오디오 생성 ■ 객관적·주관적 지표를 통한 성능 검증 참고 오디오를 활용한 기존 방법론과 비교실험을 수행한 결과 객관적 지표 뿐만 아니라, 한국인을 대상으로 평가한 주관적 지표에서도 더 우수한 성능 달성 (a) K-DIALECT 프레임워크 (b) Pitch Predictor (c)Image Encoder 그림 (a)는 텍스트와 대상의 이미지, 한국어 방언의 종류가 주어지면 대상에게 어울리는 음성으로 텍스트를 발화하는 오디오를 생성합니다. 그림 (b)는 방언의 종류에 따라 음성을 조정하고, 그림 (c)는 이미지에서 대상의 얼굴 특징을 추출합니다.

인공지능융합학과/실감미디어공학과 학생 13명, 2026년 AI 서울테크 대학원 장학생 선정

인공지능융합학과/실감미디어공학과 학생 13명, 2026년 AI 서울테크 대학원 장학생 선정 우리 학교 인공지능융합학과/실감미디어공학과 학생 13명이 AI 서울테크 대학원 장학생에 선정되었다. 선정된 장학생은 다음과 같다. 박사/석박통합과정: 류보곤, 김홍엽(지도교수 홍성은), 원현선(지도교수 한진영), 이유빈(지도교수 박은일) 석사과정: 김종한, 박지안, 양시현, 김지은, 이유진, 김지현(지도교수 한진영), 한승진, 박채원, 박신유(지도교수 박은일) 서울장학재단은 위 학생들에게 각 4천만원(박사과정)과 2천만원(석사과정)의 연구 장려금을 지원할 계획이다. 해당 장학금은 서울 소재의 AI 인재양성을 위해 서울특별시에서 신설한 사업으로 AI 기반의 전문 인재 양성을 위하여 조성되었다. *각 연구실 링크 박은일 교수 - dxlab (https://dsl.skku.edu/) 한진영 교수 - DSAIL (http://dsail.skku.edu/) 홍성은 교수 - AIM LAB (https://aim.skku.edu/)