고영중교수 연구실(자연어처리 연구실), EMNLP 2024 논문게재 승인

자연어처리연구실(NLP lab, 지도교수: 고영중)의 논문 2편이 인공지능 및 자연어처리 분야의 Top-tier 국제학술대회인 EMNLP 2024(The 2024 Conference on Empirical Methods in Natural Language Processing)의 Industry Track에 게재 승인되었습니다. 각 연구는 NAVER, NC Soft와 산학 협력을 통해 이루어졌습니다. 논문#1: Hyper-QKSG: Framework for Automating Query Generation and Knowledge-Snippet Extraction from Tables and Lists (인공지능학과 박사과정 김두영, 인공지능학과 석사과정 장윤진, NAVER 산학) 논문 요약: 본 연구에서는 지식스니펫의 커버리지를 자동으로 확장하는 프레임워크를 제안합니다. 지식스니펫이란 검색엔진에서 검색 결과 상단에 위치하는 짧은 단락으로, 사용자가 쿼리에 대한 정보를 검색된 문서를 읽을 필요 없이 얻을 수 있도록 편의성을 제공하는 역할을 합니다. 테이블이나 리스트와 같이 복잡한 웹 문서구조에서 지식스니펫을 추출하기 위해서, 기존의 자연어 텍스트 기반의 언어모델을 HTML 기반의 언어모델으로 재학습하였으며, 문서로부터 쿼리와 지식스니펫을 추출하는 파이프라인 시스템을 구축하였습니다. 또한 본 연구에서 자동으로 지식스니펫의 커버리지를 확장하는 과정에서 생성되는 다양한 노이즈 지식스니펫-쿼리 쌍에 대해서 필터링 및 개선 방법을 제안하였습니다. 실제 검색 환경에서 자동 확장된 지식스니펫 데이터베이스를 기반으로 정성평가를 진행한 결과 반환된 지식스니펫이 사용자 쿼리에 대해 유용한 정보를 제공할 수 있음을 보였으며, 기존에 테이블이나 리스트에서 지식스니펫을 뽑지 못하는 한계를 극복하고 다양한 HTML 구조에서 지식스니펫을 추출하여 정보를 제공할 수 있음을 보였습니다. Abstract: These days, there is an increasing necessity to provide a user with a short knowledge-snippet for a query in commercial information retrieval services such as the featured snippet of Google. In this paper, we focus on how to automatically extract the candidates of query-knowledge snippet pairs from structured HTML documents by using a new Language Model (HTML-PLM). In particular, the proposed system is powerful on extracting them from Tables and Lists, and provides a new framework for automate query generation and knowledge-snippet extraction based on a QA-pair filtering procedure including the snippet refinement and verification processes, which enhance the quality of generated query-knowledge snippet pairs. As a result, 53.8% of the generated knowledge-snippets includes complex HTML structures such as tables and lists in our experiments of a real-world environments, and 66.5% of the knowledge-snippets are evaluated as valid. 논문#2: RAC: Retrieval-augmented Conversation Dataset for Open-domain Question Answering in Conversational Settings (인공지능학과 박사과정 최봉근, 인공지능학과 석박통합과정 박정재, NC Soft 산학) 논문 요약: “RAC: Retrieval-augmented Conversation Dataset for Open-domain Question Answering in Conversational Settings” 논문은 NC Soft와 산학 협력을 통해 구축한 데이터셋을 소개합니다. 해당 데이터셋은 검색 기반의 대화형 질의응답 문제를 다루고 있으며, 구체적으로 대화 문맥 내에서 사용자의 질문에 대한 사실 기반의 응답을 하기 위해 문맥 기반의 질의 재작성, 문서 검색, 문서 재순위화, 응답 생성의 과정을 포함하고 있습니다. 특히, 기존의 대화형 질의응답 데이터들이 검색된 문서 내의 일부 단어 혹은 문장을 추출하여 응답으로 사용하는 반면, 검색된 문서를 반영하여 사람과 같은 자연스러운 응답을 생성할 수 있는 것을 목표로 하고 있습니다. 본 논문에서는 데이터셋과 함께 BM25와 한국어 Dense Retriever을 기반으로 한 문서 검색 성능 및 Ko-BART와 LLM(GPT-4o-mini)을 기반으로 한 응답 생성 성능을 Baseline으로 제공하고 있습니다. Abstract: In recent years, significant advancements in conversational question and answering (CQA) have been driven by the exponential growth of large language models and the integration of retrieval mechanisms that leverage external knowledge to generate accurate and contextually relevant responses. Consequently, the fields of conversational search and retrieval-augmented generation (RAG) have obtained substantial attention for their capacity to address two key challenges: query rewriting within conversational histories for better retrieval performance and generating responses by employing retrieved knowledge. However, both fields are often independently studied, and comprehensive study on entire systems remains underexplored. In this work, we present a novel retrieval-augmented conversation (RAC) dataset and develop a baseline system comprising query rewriting, retrieval, reranking, and response generation stages. Experimental results demonstrate the competitiveness of the system and extensive analyses are conducted to apprehend the impact of retrieval results to response generation. 고영중 교수: yjko@skku.edu, nlp.skku.edu, 자연어처리연구실: nlplab.skku.edu

김장현교수 연구실 (DSSAL연구실), EMNLP 2024 논문 게재 승인

DSSAL연구실 (지도교수: 김장현)의 논문이 자연어 처리 분야의 Top-tier 학술대회인 EMNLP 2024 (The 2024 Conference on Empirical Methods in Natural Language Processing) Main Conference에 게재 승인(Accept) 되었습니다. 논문은 24년 11월 미국 플로리다에서 발표될 예정입니다. 논문 “Kiss up, Kick down: Exploring Behavioral Changes in Multi-modal Large Language Models with Assigned Visual Personas” 은 인공지능융합학과 선승종(박사과정), 이은구(석사과정) 이 제1저자로 참여했으며, 실감미디어공학과 백서연(석사과정), 데이터사이언스융합전공 황승현 (석사과정), 인공지능융합학과 이원병(석사과정)이 공저자로 참여하였습니다. 본 연구는 멀티 모달 대형 언어 모델(MLLM)이 시각적 페르소나와 그들의 행동을 일치시킬 수 있는지 여부를 탐구한 최초의 연구로, 주로 텍스트 기반 페르소나에 집중해왔던 기존 문헌에서 중요한 공백을 다루고 있습니다. 우리는 MLLM에 시각적 페르소나를 할당하기 위해 5,185개의 가상의 아바타 이미지로 구성된 새로운 데이터셋을 개발하고, 이 이미지들에서 묘사된 시각적 특성, 특히 공격성을 바탕으로 협상 행동을 분석했습니다. 결과에 따르면, MLLM은 인간과 유사한 방식으로 이미지의 공격성을 평가하며, 공격적인 시각적 페르소나로 프롬프트를 제공받았을 때 더 공격적인 협상 행동을 출력했습니다. 흥미롭게도, MLLM은 상대방의 이미지가 자신의 이미지보다 덜 공격적으로 보일 때 더 공격적인 협상 행동을 보였으며, 반대로 상대방의 이미지가 더 공격적으로 보일 때는 덜 공격적인 행동을 보였습니다. 김장현| alohakim@skku.edu | DSSALab | https://sites.google.com/g.skku.edu/dssal

우홍욱 교수 연구실 (CSI연구실), EMNLP 2024 논문 게재 승인

CSI연구실 (지도교수: 우홍욱)의 논문이 인공지능 분야 우수학회인 EMNLP 2024 (The 2024 Conference on Empirical Methods in Natural Language Processing) 에 Findings 게재 승인(Accept) 되었습니다. 논문은 24년 11월 미국 플로리다에서 발표될 예정입니다. 논문 “LLM-Based Offline Learning for Embodied Agents via Consistency-Guided Reward Ensemble” 은 소프트웨어학과 신상우 (석사졸업), 이유정 (석사과정) 이 제1저자로 참여했으며, 아크릴 박외진 C박사가 공저자로 참여했습니다. 본 연구는 로봇 에이전트와 사용자간 명령형 대화에 기반하여 지시된 태스크 (Embodied Instruction-Following, EIF)를 수행할 때, 초거대언어모델 (LLM)을 활용하여 시공간적 일관성과 물리 환경에 기반한 보상(Reward)을 구성하는 CoREN(consistency-guided reward ensemble framework) 기법을 제안합니다. CoREN은 추가적인 환경 상호작용 없이 오프라인 데이터를 활용하여, LLM을 기반으로 문맥적, 구조적, 시간적 일관성을 갖춘 보상을 생성합니다. 이러한 보상들은 환경 기반 보상으로 조합되어 에이전트의 학습에 활용되며, 에이전트는 지정된 태스크에 맞는 스킬 실행 계획을 효과적으로 수립하고 수행합니다. CoREN은 홈 로봇 에이전트 테스트 환경인 VirtualHome 벤치마크의 실험을 통해, 다양한 EIF 시나리오와 동적 환경 변화에 대해 SOTA 대비 강건한 성능을 낼 수 있음을 보여주었습니다. CSI 연구실은 머신러닝, 강화학습, 자기지도학습을 활용하여 네트워크, 클라우드 시스템 최적화 연구와 로봇, 드론 자율주행 연구 등을 수행하고 있습니다. 이번 EMNLP 2024 논문의 연구는 사람중심인공지능 핵심원천기술사업 (IITP), 한국연구재단 개인기초사업 (NRF), 인공지능대학원, ICT명품인재양성사업, BK21 FOUR 사업(BK21), 정보통신기획평가원, 삼성전자 지원으로 진행 중 입니다. 우홍욱 | hwoo@skku.edu | CSI Lab | https://sites.google.com/view/csi-agent-group

[황성재 교수] SoftSec 연구실, EMNLP 2024 논문 게재 승인

SoftSec 연구실 (지도교수 황성재, softsec.skku.edu)의 김준형 학생 (소프트웨어학과 석사과정)의 논문 1편이 자연어 처리 분야의 Top-tier 학술대회인 Conference on Empirical Methods in Natural Language Processing 2024 (EMNLP 2024)에 게재 승인되어 2024년 11월에 발표될 예정입니다. 논문 제목 : “All You Need is Attention: Lightweight Attention-based Data Augmentation for Text Classification” 본 연구에서는 텍스트 분류 모델의 성능을 향상하기 위한 새로운 DA (Data Augmentation) 방법인 LADAM (Lightweight Attention-based Data Augmentation Method)을 제안하였습니다. LADAM은 어텐션 메커니즘을 사용하여 문장 간에 의미상으로 유사한 단어를 교환하는 방식으로, 기존에 존재하는 랜덤 삽입/삭제와 같은 단순한 오퍼레이션 기반의 방법론보다 더 다양하고 원래 문장의 문맥이 유지되는 데이터를 생성합니다. 또한, 기존 DA 방법론과 달리 외부 데이터나 대규모 언어 모델을 필요로 하지 않기 때문에, 성능이 빠르며 사용자가 사용하기 용이합니다. 본 연구에서 LADAM을 다양한 데이터셋에 적용하여 실험해 본 결과, 여러 조건에서 기존의 방법론보다 높은 성능을 보였습니다. Abstract: This paper introduces LADAM, a novel method for enhancing the performance of text classification tasks. LADAM employs attention mechanisms to exchange semantically similar words between sentences. This approach generates a greater diversity of synthetic sentences compared to simpler operations like random insertions, while maintaining the context of the original sentences. Additionally, LADAM is an easy-to-use, lightweight technique that does not require external datasets or large language models. Our experimental results across five datasets demonstrate that LADAM consistently outperforms baseline methods across diverse conditions.