발전기금
-
- [연구] 소프트웨어 보안 연구실 (지도교수 황성재) FSE '26에 논문 게재 승인
- 소프트웨어 보안 연구실 (지도교수 황성재, https://softsec.skku.edu/)의 홍종찬 학생 (석사과정)과 김재원 학생 (석사과정)의 논문이 소프트웨어공학 분야 최우수 학회인 Foundations of Software Engineering 2026 (FSE '26)에 게재 승인되어 2026년 7월에 캐나다에서 발표될 예정입니다. 본 논문은 전기차 보급 확대로 충전 인프라가 빠르게 성장하면서, 사용자 인증과 요금 청구 등 보안에 중요한 기능을 수행하는 충전소 관리 시스템(CSMS)의 중요성도 커지고 있다. CSMS는 충전기(CS)와 OCPP(Open Charge Point Protocol)를 통해 통신하지만, OCPP는 최대 48개 필드를 포함하는 복잡한 메시지 구조, 메시지 내부 필드 간 의존성과 메시지 간 필드 의존성, 그리고 CS와 CSMS의 상태를 함께 고려해야 하는 상태 기반 특성으로 인해 보안 테스트가 매우 어렵다. 이로 인해 실제 환경에서는 서비스 거부(DoS), 무단 무료 충전, 데이터 유출과 같은 공격이 발생해 왔음에도 불구하고, CSMS 보안에 대한 연구와 자동화된 테스트 도구는 부족한 실정이다. 본 논문에서는 이러한 문제를 해결하기 위해 OCPP 명세로부터 휴리스틱 규칙 기반 추출 기법과 대규모 언어 모델(LLM)을 결합하여 메시지 구조, 필드 제약 조건, 의존 규칙 및 CS–CSMS 상태 전이를 자동으로 추출하는 명세 기반 퍼징 프레임워크 OCPPuzz를 제안한다. 네 개의 오픈소스 CSMS 구현체를 대상으로 평가한 결과, DoS 및 무단 무료 충전으로 이어질 수 있는 다수의 심각한 명세 위반과 보안 취약점을 발견하였고, 총 930건의 구현 버그 중 492건이 인정되었으며, OCPP 명세 버그 134건 중 79건이 수정이 반영되었으며 85건이 추가 조사를 위해 인정되었다. Abstract: Electric vehicles (EVs) are being rapidly adopted, with over 61,000 publicly accessible charging stations deployed across the United States as of 2024. A core component of this infrastructure is the Charging Station Management System (CSMS), which is responsible for security-critical tasks such as user authentication and billing. Given its importance, the CSMS has become a target of real-world attacks that have resulted in financial losses, data breaches, and denial-of-service(DoS) incidents. Nevertheless, research on CSMS security remains limited, and automated testing tools are lacking. Testing CSMS is challenging because they communicate with charging stations (CS) using the Open Charge Point Protocol (OCPP). Effective testing must contend with OCPP's complexity: 1) messages containing up to 48 fields, 2) inter- and intra-message field dependencies, and 3) its stateful nature, which requires tracking the states of both CS and CSMS during testing. To address these challenges, we present OCPPuzz, a specification-based fuzzing framework for CSMS. OCPPuzz automatically extracts message structures, field constraints, and dependency rules from the OCPP specification, as well as valid CS-CSMS state transitions described in its use case diagrams. To handle specifications expressed in natural language and semi-formal diagrams, OCPPuzz combines heuristic rule-based extraction with large language models (LLMs). We evaluated OCPPuzz on four open-source CSMS implementations and uncovered numerous deviations from the OCPP specification that led to critical security issues, including DoS and free charging. We reported 930 implementation bugs to the corresponding vendors, of which 492 have been acknowledged so far. In addition, we reported 134 specification bugs in OCPP to the Open Charge Alliance (OCA); 79 have been committed for fixes and 85 acknowledged for further investigation. We expect additional acknowledgments and fixes in the near future.
-
- 작성일 2026-02-06
- 조회수 346
-
- [연구] 소프트웨어 보안 연구실 (지도교수 황성재) WWW 2026에 게재 승인
- SoftSec 연구실 (지도교수 황성재, https://softsec.skku.edu/)의 김도희 학생 (박사과정)과 Zhao Hui 학생 (석사과정), 그리고 미국 테네시 대학교(University of Tennessee)의 김두원 교수가 공동 연구한 "Unveiling the Underground Phishing Ecosystem: A 12-Year Longitudinal Study of Deep and Dark Web Forums" 논문이 최우수 국제학술대회인 WWW 2026 ("The ACM Web Conference 2026")에 게재 승인되었습니다. 논문은 2026년 4월에 발표될 예정입니다. 피싱(phishing)은 공격자가 신뢰할 수 있는 합법적 주체로 위장해 민감한 정보를 탈취하는 대표적인 사회공학 기반 위협입니다. 효과적인 대응 전략을 수립하기 위해서는 피싱 생태계에 대한 깊은 이해가 필수적이지만, 기존 연구는 주로 공격 이후에 수집된 데이터에 기반해 분석하는 경우가 많아 공격자의 관점에서 피싱 캠페인이 어떻게 준비·구성되는지에 대한 연구는 상대적으로 제한적이었습니다. 특히 딥 앤 다크 웹(Deep and Dark Web, D2Web)은 공격자가 피싱 키트와 같은 도구를 확보하고, 공격 기술을 교환하며, 탈취된 계정 정보(자격 증명)를 거래하는 핵심 시장이자 지식 공유 플랫폼입니다. 따라서 D2Web 포럼을 분석하면 피싱 공격이 실행되기 이전 단계에서의 공급망을 파악할 수 있어, 새로운 위협과 공격 방식에 대한 선제적 이해를 가능하게 합니다. 이를 위해 2013년부터 2025년까지 13개 D2Web 포럼에서 수집한 총 343,334개의 게시물중 70,055개의 피싱 관련 게시물을 식별해 심층 분석했습니다. 연구팀은 LLM 기반 접근 방식을 활용해 피싱 공격 구성 요소(예: 자격 증명, 피싱 페이지, SMTP 서버)와 주요 타겟 서비스(예: PayPal, Netflix), 구성 요소 제작자 등 핵심 정보를 추출했습니다. 이후 추출 결과를 실증 사례 연구를 통해 도출한 7단계 공격 시나리오 프레임워크에 매핑하여, 구성 요소의 가용성 변화, 타겟 서비스 분포, 게시물 유형의 진화 양상, 연도별 핵심 기여자의 활동 추세를 종단적으로 분석했습니다. 또한 피싱 생태계에서 거래되는 다양한 구성 요소 간 가격 동학을 체계적으로 규명했습니다. 본 연구는 10년 이상에 걸친 피싱 인프라 및 underground 시장의 진화 과정을 공격자 관점에서 거시적으로 분석한 최초의 종단 연구 중 하나로, 피싱 공급망에 대한 심층적 이해를 제공함과 동시에 보다 효과적인 탐지·예방 전략 수립을 위한 중요한 인사이트를 제시합니다. SoftSec Lab (advised by Prof. Sungjae Hwang; https://softsec.skku.edu/) is pleased to announce that the paper “Unveiling the Underground Phishing Ecosystem: A 12-Year Longitudinal Study of Deep and Dark Web Forums,” co-authored by Dohee Kim (Ph.D. student) and Zhao Hui (M.S. student) from SoftSec Lab, and Prof. Doowon Kim from the University of Tennessee, has been accepted to WWW 2026 (The ACM Web Conference 2026), one of the top-tier international conferences in the field. The paper will be presented in April 2026. Phishing is a representative social-engineering threat in which attackers impersonate trusted legitimate entities to steal sensitive information. While a deep understanding of the phishing ecosystem is essential for developing effective defense strategies, much of the existing research relies on post-incident data, leaving the attacker’s perspective—how phishing campaigns are prepared and assembled—relatively underexplored. In particular, the Deep and Dark Web (D2Web) serves as a key marketplace and knowledge-sharing platform where attackers acquire tools such as phishing kits, exchange attack techniques, and trade stolen credentials. Analyzing D2Web forums therefore enables proactive insights into the phishing supply chain at the pre-attack stage, improving our ability to anticipate emerging threats and attack methods. To this end, the research team collected 343,334 posts from 13 D2Web forums spanning 2013 to 2025, identified 70,055 phishing-related posts, and conducted an in-depth analysis. Using an LLM-based approach, the study extracts key information such as phishing components (e.g., credentials, phishing pages, SMTP servers), major target services (e.g., PayPal, Netflix), and component creators. The extracted results are then mapped to a seven-stage attack scenario framework derived from empirical case studies, enabling longitudinal analyses of component availability shifts, target-service distributions, evolving post types, and yearly activity trends of key contributors. The study also systematically investigates the price dynamics among various components traded within the phishing ecosystem. This work is among the first longitudinal studies to provide a macro-level, attacker-centric analysis of the evolution of phishing infrastructure and underground markets over more than a decade. By offering a deeper understanding of the phishing supply chain, it presents valuable insights to support the development of more effective detection and prevention strategies.
-
- 작성일 2026-02-06
- 조회수 321
-
-
- [연구] main Lab. 연구실 (지도교수: 김재광) The 2026 ACM Web Conference (WWW) Research Track 논문 게재 승인
- main Lab. 연구실 (지도교수: 김재광) 논문이 Top-tier 국제학술대회 The 2026 ACM Web Conference (WWW) Research Track에 게재 승인되었습니다. 논문은 26년 4월 두바이에서 발표될 예정입니다. "FCRLLM: Aligning LLM with Collaborative Filtering for Long-tailed Sequential Recommendation" 논문은 허병문 (인공지능융합학과 박사과정), 이남준 (인공지능융합학과 석사과정), 김선아 (소프트웨어학과 석사과정) 이 저자로 참여하였고 김재광 교수가 교신저자로 참여하였습니다. 이 연구는 상호작용 데이터가 부족한 Long-tailed 사용자 및 아이템에서의 추천 문제를 해결하기 위해, 거대언어모델(LLM)의 풍부한 의미론적(Semantic) 지식과 기존의 협업 필터링 신호를 결합한 FCRLLM 프레임워크를 제안합니다. 핵심 기술인 '플립드 클래스룸(Flipped Classroom)' 메커니즘은 협업 표현과 의미론적(Semantic) 표현이 서로 스승과 제자의 역할을 교차 수행하며 동적으로 정렬(aligned) 되도록 유도합니다. 이 과정에서 홉필드 네트워크 기반의 에너지 함수를 활용하여 두 양식 간의 어텐션 패턴 차이를 최소화하고 상호 보완적인 학습을 가능하게 합니다. 제안 방법은 세 개의 실제 데이터셋을 활용하여 실험하였고, 그 결과 제안 방법이 아이템의 인기나 사용자의 활동 수치와 관계없이 추천 성능을 일관되게 향상시키는 것으로 나타났습니다. 본 연구는 서로 다른 차원의 정보들을 양방향 교사-학생 구조로 통합함으로써 더욱 정교하고 다양한 추천 시스템을 구축할 수 있음을 보여줍니다.
-
- 작성일 2026-01-19
- 조회수 690
-
- [연구] SecAI 연구실 (지도교수 구형준) FSE '26에 논문 게재 승인
- SecAI 연구실 (지도교수 구형준, https://secai.skku.edu/)의 엄지용 학생 (박사과정)과 김민석 학생 (석사과정), 그리고 스토니 브룩 대학교 Michalis Polychronakis가 공동 연구한 "Fool Me If You Can: On the Robustness of Binary Code Similarity Detection Models against Semantics-preserving Transformations" 논문이 소프트웨어 SE 분야 최우수 학회인 Foundations of Software Engineering 2026 (FSE '26)에 게재 승인되어 2026년 7월에 발표할 예정입니다. 소프트웨어 역공학은 취약점 분석 및 악성코드 탐지 등 보안 분야의 핵심적인 과정이지만, 고도의 전문성을 요구합니다. 하지만 이러한 접근 방식만으로는 기하급수적으로 증가하는 최신 위협에 효과적으로 대응하는 데 한계가 있습니다. 이를 해결하기 위해 최근 인공지능을 활용하여 다양한 측면에서 역공학을 보조할 수 있는 기법을 활발히 제안하고 있으며, 특히 기계어 (assembly language)에서 문맥 정보를 추출하는 모델이 많습니다. 하지만 자연어에서 유사한 문맥으로 변형해서 의미를 전달할 수 있듯이 어셈블리어도 동일한 문맥을 유지하면서 다양한 형태로 변형하는 기법 (semantics-preserving code transformations)이 존재하는데, 이런 기법에 대해 인공지능 모델이 얼마나 강건한지에 대한 심도 있는 분석은 미흡합니다. 본 연구는 대표적인 6개의 인공지능 기반 바이너리 유사도 탐지 모델을 대상으로 8가지 변형 기법이 모델 성능에 미치는 영향을 체계적으로 분석합니다. 또한 모델이 오탐(false positive)과 미탐(false negative)과 같이 잘못된 판단을 유도하는 방식도 소개합니다. 이를 위해 620개의 원본 바이너리로부터 총 9,565개의 변형된 바이너리로 구성된 데이터셋을 구축하여 실험을 수행했습니다. 실험 결과 모델의 아키텍쳐 설계 및 전처리 방식에 따라 변형에 대한 강건성이 상이함을 확인하였으며, 특히 공격자가 변형을 정밀하게 설계할 경우 미세한 변형만으로도 모델 성능이 심각하게 저하될 수 있음을 보였습니다. 본 연구는 향후 리버싱 작업 보조용 인공지능 모델 설계 시, 단순한 성능지표를 넘어 바이너리 변형에 대한 강건성 역시 중요하게 고려해야 함을 강조합니다. Abstract: Binary code analysis plays an essential role in cybersecurity, facilitating reverse engineering to reveal the inner workings of programs in the absence of source code. Traditional approaches, such as static and dynamic analysis, extract valuable insights from stripped binaries, but often demand substantial expertise and manual effort. Recent advances in deep learning have opened promising opportunities to enhance binary analysis by capturing latent features and disclosing underlying code semantics. Despite the growing number of binary analysis models based on machine learning, their robustness to adversarial code transformations at the binary level remains underexplored to date. In this work, we evaluate the robustness of deep learning models for the task of binary code similarity detection (BCSD) under semantics-preserving transformations. The unique nature of machine instructions presents distinct challenges compared to the typical input perturbations found in other domains. To achieve our goal, we introduce asmFooler, a system that evaluates the resilience of BCSD models using a diverse set of adversarial code transformations that preserve functional semantics. We construct a dataset of 9,565 binary variants from 620 baseline samples by applying eight semantics-preserving transformations across six representative BCSD models. Our major findings highlight several key insights: i) model robustness highly relies on the design of the processing pipeline, including code pre-processing, model architecture, and internal feature selection, which collectively determine how code semantics are captured; ii) the effectiveness of adversarial transformations is bounded by a transformation budget, shaped by model-specific constraints such as input size limits and the expressive capacity of semantically equivalent instructions; iii) well-crafted adversarial transformations can be highly effective, even when introducing minimal perturbations; and iv) such transformations efficiently disrupt the model's decision (e.g., misleading to false positives or false negatives) by focusing on semantically significant instructions.
-
- 작성일 2026-01-12
- 조회수 639
-
- [연구] SecAI Lab(지도교수 구형준) & SoftSec Lab(지도교수 황성재), NDSS '26에 논문 게재 승인
- SecAI 연구실 (지도교수 구형준, https://secai.skku.edu/)의 엄지용 학생 (박사과정)과 SoftSec 연구실 (지도교수 황성재, https://softsec.skku.edu/)의 Omar Abusabha 학생 (박사과정)이 연구한 "A Deep Dive into Function Inlining and its Security Implications for ML-based Binary Analysis" 논문이 보안분야 최우수학회인 The Network and Distributed System Security Symposium 2026 (NDSS '26)에 게재 승인되어 2026년 2월에 발표할 예정입니다. 함수 인라이닝(Function Inlining) 최적화는 컴파일러가 프로그램 성능을 향상시키기 위해 사용하는 대표적인 기법으로, 함수 호출 대신 해당 함수의 코드를 호출 지점에 직접 삽입함으로써 함수 호출에 따른 오버헤드를 줄입니다. 함수 인라이닝은 컴파일 과정 전반에 걸쳐 광범위하게 적용되며, 최적화 옵션을 비활성화한 경우(-O0)에도 일부 수행됩니다. 최근 바이너리 리버싱 작업을 지원하는 인공지능 모델들은 함수의 다양한 정적 특성에 크게 의존하고 있으나, 이러한 정상적인 인라이닝 최적화가 모델 성능에 미치는 영향에 대한 심도 있는 분석은 지금까지 충분히 이루어지지 않았습니다. 본 연구는 함수 인라이닝이 인공지능 모델이 활용하는 정적 특성을 크게 왜곡하여 성능 저하를 초래할 수 있으며, 난독화와 같은 복잡한 기법을 사용하지 않더라도 컴파일러의 기본 플래그만으로 공격자가 이를 의도적으로 악용할 수 있음을 보입니다. 이를 위해 먼저 LLVM 컴파일러 툴체인의 인라이닝 최적화 메커니즘을 분석하여 인라이닝에 영향을 미치는 컴파일러 옵션을 체계적으로 정리하고, 일반적인 최적화 수준보다 더 높은 인라이닝을 유도할 수 있는 옵션 조합을 도출하였습니다. 이후 바이너리 역공학, 악성코드 탐지 등 다섯 가지 인공지능 기반 작업을 대상으로, 총 20개의 인공지능 모델에 대해 실험을 수행하였습니다. 실험 결과, 함수 인라이닝은 일반적인 성능 최적화 기법임에도 불구하고 다양한 인공지능 모델의 성능에 직·간접적으로 상당한 영향을 미칠 수 있음을 확인하였습니다(예: 악성코드 탐지 우회). 특히 정적 특징에 크게 의존하는 모델일수록 인라이닝 최적화에 매우 민감하게 반응하였으며, 컴파일러 옵션을 미세하게 조정하는 것만으로도 모델의 탐지를 회피하는 바이너리 변종을 생성할 수 있었습니다. 또한 인라이닝 비율은 소프트웨어의 종류와 빌드 환경에 따라 크게 달라지며, 이는 인공지능 모델의 학습 및 평가 과정에서 암묵적으로 가정되는 데이터의 일관성을 훼손할 수 있습니다. 이에 본 연구는 이러한 요인을 반드시 고려해야 함을 강조합니다. Abstract: A function inlining optimization is a widely used transformation in modern compilers, which replaces a call site with the callee's body in need. While this transformation improves performance, it significantly impacts static features such as machine instructions and control flow graphs, which are crucial to binary analysis. Yet, despite its broad impact, the security impact of function inlining remains underexplored to date. In this paper, we present the first comprehensive study of function inlining through the lens of machine learning-based binary analysis. To this end, we dissect the inlining decision pipeline within the LLVM's cost model and explore the combinations of the compiler options that aggressively promote the function inlining ratio beyond standard optimization levels, which we term extreme inlining. We focus on five ML-assisted binary analysis tasks for security, using 20 unique models to systematically evaluate their robustness under extreme inlining scenarios. Our extensive experiments reveal several significant findings: i) function inlining, though a benign transformation in intent, can (in)directly affect ML model behaviors, being potentially exploited by evading discriminative or generative ML models; ii) ML models relying on static features can be highly sensitive to inlining; iii) subtle compiler settings can be leveraged to deliberately craft evasive binary variants; and iv) inlining ratios vary substantially across applications and build configurations, undermining assumptions of consistency in training and evaluation of ML models.
-
- 작성일 2025-12-15
- 조회수 1145
-
- [연구] dxlab (박은일 교수 연구실), AAAI 2026 1편, WACV 2026 1편 게재 승인
- dxlab (지도교수: 박은일, https://dsl.skku.edu)의 논문이 인공지능 분야 우수학회인 AAAI 2026에 1편, WACV 2026에 1편 게재 승인(Accept)되었습니다. 해당 논문은 26년 1월(싱가포르)와 3월(애리조나)에서 발표될 예정입니다. 1) (AAAI 2026) “MASP: Multi-Aspect Guided Emotion Reasoning with Soft Prompt Tuning in Vision-Language Models” 논문은 이상은 졸업생(인공지능융합학과, 現 ETRI 연구원), 이유빈 박사과정생(인공지능융합학과)이 저자로 참여하였고, 박은일 교수가 교신저자로 참여하였습니다. 이 논문은 기존 Vision-Language Model (VLM) 기반 감정 인식이 이미지의 단일 표현이나 제한된 단서에 의존해 세밀한 감정 판단에 어려움을 겪는 문제를 해결하기 위해, 인간의 감정 판단 과정에서 활용되는 여러 시각 단서를 구조적으로 통합하는 MASP를 제안합니다. MASP는 얼굴 표정, 장면, 객체, 색채, 밝기, 행동의 여섯 가지 감정 단서를 독립적으로 인코딩하는 Multi-Aspect Module을 학습하고, 이를 전체 이미지 특징과 결합하여 보다 풍부한 시각 표현을 구성합니다. 기존 연구가 제한된 관점만 활용한 것과 달리, MASP는 여섯 가지 단서를 모두 분리×통합해 더 정교한 감정 해석을 지원합니다. 이후 Soft Prompt Tuning을 통해 언어 모델에 감정 인식에 특화된 추론 구조를 유도함으로써, 기존 대비 높은 정확도와 안정적인 성능을 달성합니다. Soft Prompt는 프롬프트 표현 변화에 대한 강건성을 높여 실제 환경에서도 안정적인 추론을 가능하게 합니다. MASP는 유사 감정 구분이나 소수 클래스 분류와 같은 까다로운 상황에서도 강인한 성능을 보이며, 멀티모달 감정 이해가 필요한 인간-에이전트 상호작용 등 실제 응용 분야에서 높은 활용 가능성을 보여줍니다. 2) (WACV 2026) “Alignment and Distillation: A Robust Framework for Multimodal Domain Generalizable Human Action Recognition” 논문은 지현빈 석사과정생(실감미디어공학과), 이주엽 박사과정생(인공지능융합학과)이 저자로 참여하였고, 박은일 교수가 교신저자로 참여하였습니다. 이 논문은 기존 Human Action Recognition(HAR) 모델이 단일 모달리티나 정적인 융합 방식에 머물러 실제 환경의 도메인 변화에 취약하다는 문제를 해결하기 위해, 멀티모달 단서를 시간적으로 정렬 및 통합하는 Multimodal Alignment and Distillation for Domain Generalization(MAD-DG) 프레임워크를 제안합니다. 이를 위해 MAD-DG는 두 가지 핵심 요소를 중심으로 보다 안정적인 행동 표현을 학습합니다. 먼저, Segment-Label Aligned Contrastive Learning(SLA-CL)은 RGB, Optical Flow, Audio 간의 비동기적 기록 문제를 Temporal Binding Window 기반으로 보정해 모달리티 간 의미적 대응을 정밀하게 맞춥니다. 이를 통해 센서 지연이나 녹화 불일치로 발생하는 잡음을 줄이고 행동의 핵심 패턴을 강조합니다. 이어서 Online Self-Distillation Temporal Module(OSDTM)은 행동이 시간적으로 여러 단계로 전개된다는 점에 착안해 다양한 길이의 segment tuple을 구성하고, soft attention으로 중요한 조합을 선택합니다. Teacher–student 방식의 self-distillation을 통해 도메인 변화에도 흔들리지 않는 시간적 표현을 형성합니다. MAD-DG는 이러한 모달리티 정렬과 다중 스케일 temporal reasoning을 결합해, 기존 모델이 어려워하던 멀티소스 도메인 일반화나 콘텍스트 제거 환경(Mimetics)에서도 높은 성능을 달성합니다. 특히 Optical Flow 정보를 적극적으로 활용해 실제 행동 중심의 표현을 구성하며, 복잡한 행동 이해나 인간–에이전트 협력 시스템 등 다양한 실사용 환경에서 높은 활용 가능성을 보여줍니다.
-
- 작성일 2025-11-17
- 조회수 1581
-
-
- [연구] 보안공학연구실(지도교수: 김형식), ACM Conference on Computer and Communications Security (CCS’25), Best Poster Award 수상
- 보안공학 연구실 (지도교수: 김형식, https://seclab.skku.edu)의 조예나(학부과정) 학생과 김형식 교수가 진행한 "Poster: Scalable Privacy-Preserving Linear Regression Training via Homomorphic Encryption" 논문이 보안 분야 최우수 컨퍼런스 중 하나인 ACM Conference on Computer and Communications Security (CCS’25)에서 Best Poster Awards를 수상했습니다. (41편 중 2편 (~4.9%)에 수여함.) 해당 연구는 암호화된 데이터 환경에서도 효율적으로 선형회귀 모델을 학습할 수 있는 새로운 프로토콜을 제안합니다. CKKS 기반의 PP-LR(Privacy-Preserving Linear Regression) 프로토콜을 개발하여, 기존 동형암호를 활용한 학습 방식의 높은 계산 비용 문제를 해결했습니다. PP-LR은 특징 단위 병렬화와 조건부 부트스트래핑 기법을 사용해 암호화된 상태에서의 경사하강법을 효율적으로 수행할 수 있습니다. 그 결과, 기존 동형암호 구현 대비 최대 15.7배 빠른 학습 속도를 달성하면서도, 평문 학습 모델 대비 정확도 오차 0.2% 이내를 유지했습니다.
-
- 작성일 2025-11-05
- 조회수 1193
-
- [연구] 자연어처리연구실(NLP lab, 지도교수: 고영중), EMNLP 2025의 Main Track(long paper)에 논문 2편 게재
- 자연어처리연구실(NLP lab, 지도교수: 고영중)의 논문 2편이 인공지능 및 자연어처리 분야의 Top-tier 국제학술대회인 EMNLP 2025(The 2025 Conference on Empirical Methods in Natural Language Processing)의 Main Track(long paper)에 게재되었습니다. 논문: ECO Decoding: Entropy-Based Control for Controllability and Fluency in Controllable Dialogue Generation, Main Track (long paper) (인공지능학과 석사과정 신승민, 인공지능학과 박사과정 김두영) 논문 요약: 본 연구에서는 기존의 속성 제어 연구 방법론 중 하나인 가중치 기반 생성(Weighted Decoding)에서 엔트로피 기반의 동적인 가중치를 활용하는 방법을 제안합니다. 가중치 기반 생성 방법은 생성 AI의 확률 분포에 각 토큰이 생성될 경우 제어하고자 하는 속성으로 분류될 확률 분포를 결합하여 최종 확률 분포를 계산합니다. 따라서 생성 AI의 추가적인 학습 없이 속성 분류기만을 학습하여 최소한의 학습으로 속성을 제어할 수 있으며, plug-and-play 방식으로 효율적인 활용이 가능합니다. 기존의 가중치 기반 생성 방법은 두 확률 분포의 가중치를 실험적으로 선택하지만, 이러한 방식은 경우에 따라 생성 품질을 저하하거나 속성 제어가 잘 이뤄지지 않을 수 있습니다. 이러한 문제를 해결하기 위해서는 응답에 생성되는 과정에 따라 동적으로 가중치를 할당할 수 있어야 합니다. 본 연구에서는 이러한 동적인 가중치를 할당하기 위해 각 확률 분포의 엔트로피를 활용하였습니다. 엔트로피는 확률 분포의 불확실성을 정량화하는 값입니다. 엔트로피가 높은 경우 선택 가능한 합리적인 토큰 후보가 많고, 엔트로피가 낮은 경우 선택 가능한 토큰이 제한적이라는 점에서 착안하여 엔트로피에 반비례하는 동적인 가중치를 설계하였습니다. 2가지 대화 데이터셋에서 다양한 베이스라인 가중치 기반 생성 기법에 동적인 가중치를 적용한 결과, 추가적인 학습 과정 없이도 높은 생성 품질을 유지하면서 속성 제어가 가능함을 실험적으로 증명하였습니다. 또한 다양한 모델 사이즈에서도 모두 성공적인 제어 결과를 확인할 수 있었습니다. 또한 기존의 가중치 기반 생성 기법에서 다루기 어려웠던 다중 속성 제어 환경에서도 성공적인 성능 향상을 달성할 수 있었습니다. Abstract: Controllable Dialogue Generation (CDG) enables chatbots to generate responses with desired attributes, and weighted decoding methods have achieved significant success in the CDG task. However, using a fixed constant value to manage the bias of attribute probabilities makes it challenging to find an ideal control strength that satisfies both controllability and fluency. To address this issue, we propose ECO decoding (Entropy-based COntrol), which dynamically adjusts the control strength at each generation step according to the model’s entropy in both the language model and attribute classifier probability distributions. Experiments on the DailyDialog and MultiWOZ datasets demonstrate that ECO decoding consistently improves controllability while maintaining fluency and grammaticality, outperforming prior decoding methods across various models and settings. Furthermore, ECO decoding alleviates probability interpolation issues in multiattribute generation and consequently demonstrates strong performance in both single- and multi-attribute scenarios. 논문: Decoding Dense Embeddings: Sparse Autoencoders for Interpreting and Discretizing Dense Retrieval, Main Track (long paper) (인공지능학과 석사과정 박성완, 인공지능학과 석사과정 김택림) 논문 요약: 밀집 문서 검색(Dense Passage Retrieval, DPR)은 우수한 성능을 보이지만, dense embedding의 불투명성으로 인해 검색 결과에 대한 설명 가능성과 신뢰성에 한계가 있습니다. 본 연구는 희소 오토인코더(Sparse Autoencoder, SAE)를 활용하여 DPR의 dense embedding을 해석 가능한 latent concept로 분해하고, 각 concept에 대해 대규모 언어 모델(LLM)을 이용해 자연어 설명을 생성하는 새로운 해석 프레임워크를 제안하고, 다양한 정성적·정량적 실험을 통해 DPR 모델에 대한 SAE 기반 해석의 타당성과 효과성을 검증하였습니다. 더불어, 기존 단어 기반 sparse retrieval 대신, latent concept를 정보 검색 단위로 활용하는 Concept-Level Sparse Retrieval (CL-SR) 구조를 제안하였습니다. 이는 sparse retrieval의 효율성과 해석 가능성을 유지하면서도 dense retrieval 수준의 표현력과 의미적 강건성을 동시에 활용할 수 있는 구조로, 기존 sparse 모델에 비해 높은 검색 효율성과 정확도를 보였으며, 의미 불일치 상황에서도 우수한 성능을 유지하였습니다. Abstract: Despite their strong performance, Dense Passage Retrieval (DPR) models suffer from a lack of interpretability. In this work, we propose a novel interpretability framework that leverages Sparse Autoencoders (SAEs) to decompose previously uninterpretable dense embeddings from DPR models into distinct, interpretable latent concepts. We generate natural language descriptions for each latent concept, enabling human interpretations of both the dense embeddings and the query-document similarity scores of DPR models. We further introduce Concept-Level Sparse Retrieval (CL-SR), a retrieval framework that directly utilizes the extracted latent concepts as indexing units. CL-SR effectively combines the semantic expressiveness of dense embeddings with the transparency and efficiency of sparse representations. We show that CL-SR achieves high computational and storage efficiency while maintaining robust performance across vocabulary and semantic mismatches. 고영중 교수: yjko@skku.edu, nlp.skku.edu, 자연어처리연구실: nlplab.skku.edu
-
- 작성일 2025-10-30
- 조회수 1267