-
- [연구소식] 허재필 교수 연구실, AAAI 2023 논문 2편 게재 승인
- 비주얼컴퓨팅연구실(지도교수: 허재필)의 논문 2편이 인공지능 분야의 Top-tier 학술대회인 AAAI Conference on Artificial Intelligence 2023 (AAAI-23) 에 게재 승인되었습니다. 논문 #1: "Minority-Oriented Vicinity Expansion with Attentive Aggregation for Video Long-Tailed Recognition" (인공지능학과 박사과정 문원준, 인공지능학과 석박통합과정 성현석) 논문 #2: “Progressive Few-shot Adaption of Generative Model with Align-free Spatial Correlation” (DMC공학과 석사과정 문종보, 인공지능학과 석박통합과정 김현준, 공동1저자) "Minority-Oriented Vicinity Expansion with Attentive Aggregation for Video Long-Tailed Recognition" 논문에서는 비디오 데이터 취득할 때 발생하는 데이터 불균형 문제를 다루고 있습니다. 먼저, 데이터 불균형과 함께 비디오 분야에서 추가적으로 고려해야하는 문제점들을 먼저 제기하고 있는데 이는 1) 비디오 데이터에 대한 weak-supervision과 2) 기존의 비디오 데이터의 크기 때문에 사용하던 Pretrained Network가 다운 스트림 작업들에 적합하지 않다는 점입니다. 이를 보완하기 위해 해당 논문에서는 두가지 Attentive Aggregator를 도입하고, 데이터 불균형 문제를 해결하기 위해서는 데이터가 적은 클래스의 다양성을 증가시키는 변형된 외삽과 보간 기법을 제안합니다. 실험을 통해 제안된 방법이 여러 벤치마크에서 일관된 성능 향상을 가져오는 것은 물론, 새롭게 제안하는 벤치마크에서도 성능의 증가가 있음을 확인하였습니다. 추가로, 절제 연구를 통하여 데이터 불균형과 동시에 다루어야 한다고 주장한 두 가지 문제점의 대한 중요도도 실험으로 확인하였습니다. “Progressive Few-shot Adaption of Generative Model with Align-free Spatial Correlation” 논문에서는 매우 적은 수의 타겟 도메인 이미지만을 가지고 GANs 모델을 Adaptation하는 문제를 다루고 있습니다. 파인-튜닝과 같은 일반적인 방법을 사용하면 Mode-collapse에 취약하기 때문에 Source와 Target 모델이 각각 생성한 이미지들의 상대적인 거리를 유지하도록 학습하는 방법이 최근 연구되고 있지만, 1) 이미지의 전체 특징으로 거리를 측정하는 방식은 Source 모델이 갖는 세부적인 특징이 손실되고, 2) 이미지 패치단위 특징의 일관성을 유지하게 학습하는 방식은 Target 도메인의 구조적인 특성을 잃는 문제가 있습니다. 이를 보완하기 위해 해당 논문에서는 의미 있는 영역 간의 비교(예: 사람의 눈과 캐릭터의 눈 영역 비교)를 통해 Source 모델의 세부적인 특징을 보존하면서도 Target 도메인의 구조적인 특성을 반영하는 Adaptation을 목표로 1) Domain Gap을 줄여주는 Progressive Adaptation, 2) 의미 있는 영역 간의 비교를 위한 Align-free Spatial Correlation, 3) Importance Sampling 방식들을 제안하였습니다. 다양한 실험을 통해 제안한 방법이 정량적, 정성적 평가에서 우수한 성능을 나타내는 것으로 확인하였고, 특히 사람 평가에서도 좋은 결과를 보였습니다. [논문 #1 정보] Minority-Oriented Vicinity Expansion with Attentive Aggregation for Video Long-Tailed Recognition WonJun Moon, Hyun Seok Seong, and Jae-Pil Heo Thirty-Seventh AAAI Conference on Artificial Intelligence (AAAI), 2023 Abstract: A dramatic increase in real-world video volume with extremely diverse and emerging topics naturally forms a long-tailed video distribution in terms of their categories, and it spotlights the need for Video Long-Tailed Recognition (VLTR). In this work, we summarize the challenges in VLTR and explore how to overcome them. The challenges are: (1) it is impractical to re-train the whole model for high-quality features, (2) acquiring frame-wise labels requires extensive cost, and (3) long-tailed data triggers biased training. Yet, most existing works for VLTR unavoidably utilize image-level features extracted from pretrained models which are task-irrelevant, and learn by video-level labels. Therefore, to deal with such (1) task-irrelevant features and (2) video-level labels, we introduce two complementary learnable feature aggregators. Learnable layers in each aggregator are to produce task-relevant representations, and each aggregator is to assemble the snippet-wise knowledge into a video representative. Then, we propose Minority-Oriented Vicinity Expansion (MOVE) that explicitly leverages the class frequency into approximating the vicinity distributions to alleviate (3) biased training. By combining these solutions, our approach achieves state-of-the-art results on large-scale VideoLT and synthetically induced Imbalanced-MiniKinetics200. With VideoLT features from ResNet-50, it attains 18% and 58% relative improvements on head and tail classes over the previous state-of-the-art method, respectively. [논문 #2 정보] Progressive Few-shot Adaption of Generative Model with Align-free Spatial Correlation Jongbo Moon*, Hyunjun Kim*, and Jae-Pil Heo (*: equal contribution) Thirty-Seventh AAAI Conference on Artificial Intelligence (AAAI), 2023 Abstract: In few-shot generative model adaptation, the model for target domain is prone to the mode-collapse. Recent studies attempted to mitigate the problem by matching the relationship among samples generated from the same latent codes in source and target domains. The objective is further extended to image patch-level to transfer the spatial correlation within an instance. However, the patch-level approach assumes the consistency of spatial structure between source and target domains. For example, the positions of eyes in two domains are almost identical. Thus, it can bring visual artifacts if source and target domain images are not nicely aligned. In this paper, we propose a few-shot generative model adaptation method free from such assumption, based on a motivation that generative models are progressively adapting from the source domain to the target domain. Such progressive changes allow us to identify semantically coherent image regions between instances generated by models at a neighboring training iteration to consider the spatial correlation. We also propose an importance-based patch selection strategy to reduce the complexity of patch-level correlation matching. Our method shows the state-of-the-art few-shot domain adaptation performance in the qualitative and quantitative evaluations. 허재필 | jaepilheo@skku.edu | Visual Computing Lab | https://sites.google.com/site/vclabskku/
-
- 작성일 2023-01-31
- 조회수 623
-
- [연구소식] 차수영 교수, ICSE 2023 논문 게재 승인
- 소프트웨어학과 차수영 교수(공동교신)의 논문이 소프트웨어 공학 분야의 최상위 국제 학술대회인 ICSE 2023 (The IEEE/ACM International Conference on Software Engineering)에 게재 승인되었습니다. 본 논문 “Learning Seed-Adaptive Mutation Strategies for Greybox Fuzzing”은 2023년 5월 호주 멜버른에서 발표될 예정입니다. 본 논문은 그레이-박스 퍼징(Grey-box Fuzzing)의 성능(예: 오류 검출 능력)에 큰 영향을 주는 ‘변이 전략(mutation strategy)’을 시드 입력에 따라 적응적으로 변화하는 기술 ‘SEAMFUZZ’을 제안하였습니다. 이를 위해, 본 논문은 퍼징을 수행하는 동안 생성되는 데이터를 기반으로 각 시드 입력에 최적화된 변이 전략을 학습하는 ‘Customized Thompson Sampling’ 알고리즘을 제안하였습니다. 그 결과, 본 연구는 다양한 벤치마크 프로그램들에서 기존 최신 기술들보다 더 높은 코드 커버리지와 많은 오류들을 검출하는데 성공했습니다. [논문 정보] - “Learning Seed-Adaptive Mutation Strategies for Greybox Fuzzing” - Myungho Lee, Sooyoung Cha, and Hakjoo Oh - The IEEE/ACM International Conference on Software Engineering (ICSE 2023) - Abstract: In this paper, we present a technique for learning seed-adaptive mutation strategies for fuzzers. The performance of mutation-based fuzzers highly depends on the mutation strategy that specifies the probability distribution of selecting mutation methods. As a result, developing an effective mutation strategy has received much attention recently, and program-adaptive techniques, which observe the behavior of the target program to learn the optimized mutation strategy per program, have become a trending approach to achieve better performance. They, however, still have a major limitation; they disregard the impacts of different characteristics of seed inputs which can lead to explore deeper program locations. To address this limitation, we present SEAMFUZZ, a novel fuzzing technique that automatically captures the characteristics of individual seed inputs and applies different mutation strategies for different seed inputs. By capturing the syntactic and semantic similarities between seed inputs, SEAMFUZZ clusters them into proper groups and learns effective mutation strategies tailored for each seed cluster by using the customized Thompson sampling algorithm. Experimental results show that SEAMFUZZ improves both the path-discovering and bug-finding abilities of state-of-the-art fuzzers on real-world programs. 차수영 | sooyoung.cha@skku.edu | Software Analysis Lab | https://sal.skku.edu
-
- 작성일 2023-01-31
- 조회수 444
-
- [홍보] 글로벌융합학부 무함마드칸 교수, 서울시 명예시민 선정
- 글로벌융합학부 무함마드칸 교수, 서울시 명예시민 선정 - 인공지능과 컴퓨터 공학 기술 활용, 시민 안전과 관련된 신기술 개발 - 한국에서 연구하는 외국인 연구자 중에서는 유일한 세계 상위 1% 연구자(HCR) 글로벌융합학부의 무함마드칸 교수가 지난 12월 9일(금) 서울시 명예시민으로 선정되었다. 이날 명예시민증 수여식에는 무함마드칸 교수 등 16개국 18명의 외국인이 '서울시 명예시민'으로 선정되었다. 서울시 외국인 명예시민은 1958년 전후 도시 재건에 도움을 준 외국인에게 공로시민증을 수여하면서 시작됐다. 현재는 서울 발전에 기여한 서울 거주 외국인과 외국 원수·외교사절 등에게 주어진다. 서울시에 따르면 2022년 11월 30일 기준 100개국 895명이 서울시 명예시민증을 받았다. 무함마드칸 교수는 인공지능과 컴퓨터 공학 기술을 활용하여 화재 현장을 분석하고 비정상 상황 영상을 감시하는 등 시민 안전과 관련된 신기술을 개발하고 특허권을 취득하여 과학기술 수준 향상에 공헌한 점을 인정받아 명예시민으로 선정되었다. 또한 무함마드칸 교수는 클래리베이트가 선정하는 '세계에서 가장 영향력 있는 상위 1% 연구자(HCR)'로 선정된 바 있다. 그는 한국에서 연구하는 외국인 연구자 중에서는 유일하게 세계 상위 1% 연구자에 선정되었다.
-
- 작성일 2022-12-26
- 조회수 415
-
- [홍보] 우사이먼성일 교수 연구실(DASH) 2022년 PIDICON 개인정보 가명익〮명 처리 기술 경진대회 장려상 수상
- 최근 인공지능 분야를 비롯하여 많은 양의 데이터를 활용하는 분야가 점차 증가하고 있습니다. 그에 따라 데이터 속에 포함 되어있는 개인정보 보호가 아주 중요한 이슈로 부상하고 있습니다. 과학기술정보통신부 주최, 한국인터넷진흥원에서 주관하는 “2022 개인정보 가명익〮명 처리 기술 경진대회”는 이러한 문제를 인식하고 이를 예방하기 위하여 다양한 정보보호 기법들을 효과적으로 적용시키는 방법에 대하여 고민해보는 대회라고 볼 수 있습니다. 위와 같은 대회에 DASH LAB(소프트웨어학과 박사과정 박은주, 인공지능학과 석사과정 김민하, 소프트웨어학과 학사과정 안현준, 소프트웨어학과 학사과정 진송찬)( https://dash-lab.github.io)이 참여하여 준수한 성적으로 장려상을 수상하게 되었습니다. 특히, 열심히 참여해준 학부생들의 수상을 진심으로 축하합니다. 관련 링크 (https://pidicon.kr/).
-
- 작성일 2022-11-28
- 조회수 506
-
- [홍보] 산학협력프로젝트 웅진씽크빅팀 : '2022 메타버스 솔루션 챌린지' 최우수상 수상
- 산학협력프로젝트 웅진씽크빅팀 : '2022 메타버스 솔루션 챌린지' 최우수상 수상 박희선 교수가 지도하는 2022년 산학협력프로젝트 '웅진씽크빅'팀이 '2022 메타버스 솔루션 챌린지 공모전'에서 최우수상을 수상했다. 정보통신산업진흥원 주관으로 과학기술정보통신부가 주최한 2022 메타버스 솔루션 챌린지는 대한민국 전 국민 대상(개인 또는 단체)으로 메타버스와 함께 해결하는 생활 속 사회문제를 주제로 플랫폼, VR·AR을 활용한 ICT솔루션을 평가하는 공모전이다. 이번 공모전은 총 54개팀 171명 중 1차 서류심사를 거쳐, 12팀 39명이 2차 현장 발표를 진행해 1위를 차지했다. 2022 메타버스 솔루션 챌린지 1위 - 출품작 : MannerVerse (어린이를 위한 바른말 메타버스) > 개념 : 아이들이 안전하고 건전하게 메타버스에서 활동할 수 있도록 언어 습관을 도와주는 솔루션 > 기능 : 혐오 표현 탐지, 유해 그룹 탐지, 긍정언어 자동 변환, 협동 미니 게임 구현 등 > 적용 기술 : 딥러닝 언어이해 및 생성 기술, 유니티 등 - 참가자 : 허유민, 이준원, 박재인, 김태형, 강준모 (소프트웨어학과 2~3학년) - 지도교수 : 박희선 - 수상 내역 : 최우수상 (과학기술정보통신부 장관상) - 시상금 : 600만원 수상을 진심으로 축하드립니다.
-
- 작성일 2022-11-15
- 조회수 574
-
- [연구소식] 허재필 교수 연구실, ECCV 2022 논문 2편 게재 승인
- 비주얼컴퓨팅연구실(지도교수: 허재필)의 논문 2편이 컴퓨터 비전 및 인공지능 분야의 Top-tier 학술대회인 European Conference on Computer Vision 2022에 게재 승인되었습니다. 논문 #1: “Tailoring Self-Supervision for Supervised Learning” (인공지능학과 석사과정 문원준, 인공지능학과 박사과정 김지환) 논문 #2: “Difficulty-Aware Simulator for Open Set Recognition” (인공지능학과 석사과정 문원준, 인공지능학과 석사과정 박준호, 인공지능학과 석박통합과정 성현석, 인공지능학과 석박통합과정 조철호) “Tailoring Self-Supervision for Supervised Learning” 논문에서는 먼저 Supervised Learning 환경에서 Self-supervision Task가 특별한 변경 없이 추가적으로 적용되었을 때, 발생할 수 있는 문제점들을 지적하였습니다. Supervised Learning의 Objective를 보조하는 역할로의 Self-supervision Task가 적용될 때, Self-supervision Task가 가져야 할 세 가지 특성을 제시하고, 이를 만족하는 Localization Rotation이라는 새로운 Task를 제안하였습니다. 제안한 방법이 Deep Learning 모델의 강건함 및 일반화 능력을 시험할 수 있는 여러 벤치마크에서 일관된 성능 향상을 가져오는 것을 확인하였습니다. “Difficulty-Aware Simulator for Open Set Recognition” 논문에서는 Open Set Recognition을 위한 가상의 샘플을 시뮬레이션 하는 새로운 방법을 제시하였습니다. Open Set Recognition 문제는 학습 때 경험하지 못한 새로운 클래스의 데이터를 식별하는 문제로, 인공지능을 실세계에 적용하기 위해 필수적인 요소 기술입니다. 기존의 방법들도 모델 학습 시 가상의 샘플들을 생성하여 활용하였지만, 본 논문에서는 기존 기술들이 다양한 난이도의 Open Set 샘플들에 대응하기 어렵다는 것을 확인하고, 다양한 난이도의 Open Set 샘플들을 시뮬레이션 하는 Difficulty-Aware Simulator 프레임워크를 제안하였습니다. 제안된 기술은 의도한대로 분류기의 입장에서 난이도별로 가상의 샘플을 만들어냈으며, 이를 활용하여 Open Set Recognition 분야에서 높은 성능을 달성하였습니다. [논문 #1 정보] Tailoring Self-Supervision for Supervised Learning WonJun Moon, Ji-Hwan Kim, and Jae-Pil Heo European Conference on Computer Vision (ECCV), 2022 Abstract: Recently, it is shown that deploying a proper self-supervision is a prospective way to enhance the performance of supervised learning. Yet, the benefits of self-supervision are not fully exploited as previous pretext tasks are specialized for unsupervised representation learning. To this end, we begin by presenting three desirable properties for such auxiliary tasks to assist the supervised objective. First, the tasks need to guide the model to learn rich features. Second, the transformations involved in the self-supervision should not significantly alter the training distribution. Third, the tasks are preferred to be light and generic for high applicability to prior arts. Subsequently, to show how existing pretext tasks can fulfill these and be tailored for supervised learning, we propose a simple auxiliary self-supervision task, predicting localizable rotation (LoRot). Our exhaustive experiments validate the merits of LoRot as a pretext task tailored for supervised learning in terms of robustness and generalization capability. [논문 #2 정보] Difficulty-Aware Simulator for Open Set Recognition WonJun Moon, Junho Park, Hyun Seok Seong, Cheol-Ho Cho, and Jae-Pil Heo European Conference on Computer Vision (ECCV), 2022 Abstract: Open set recognition (OSR) assumes unknown instances appear out of the blue at the inference time. The main challenge of OSR is that the response of models for unknowns is totally unpredictable. Furthermore, the diversity of open set makes it harder since instances have different difficulty levels. Therefore, we present a novel framework, DIfficulty-Aware Simulator (DIAS), that generates fakes with diverse difficulty levels to simulate the real world. We first investigate fakes from generative adversarial network (GAN) in the classifier's viewpoint and observe that these are not severely challenging. This leads us to define the criteria for difficulty by regarding samples generated with GANs having moderate-difficulty. To produce hard-difficulty examples, we introduce Copycat, imitating the behavior of the classifier. Furthermore, moderate- and easy-difficulty samples are also yielded by our modified GAN and Copycat, respectively. As a result, DIAS outperforms state-of-the-art methods with both metrics of AUROC and F-score.
-
- 작성일 2022-08-29
- 조회수 366
-
- [연구소식] 우사이먼성일 교수 DASH 연구실, CIKM 2022 국제 학술대회 full paper 논문 5편 게재 승인
- DASH 연구실 신유진(SW학과), 박은주(SW학과), 이광한(AI학과), 이한빈(AI학과), 김정호(AI학과), 신새별(데이터사이언스 학부), Binh M. Le(SW학과), Chingis Oinar(SW학부)의 논문 5편이 full paper가 인공지능 및 정보검색 분야의 top-tier 국제학술대회인 CIKM (Conference on Information and Knowledge Management) 2022 (BK IF=3)에 최종 논문 게재가 승인되어 10월에 발표될 예정입니다. 항공우주연구원과 시계열 기반 궤도 예측 및 이상탐지 연구 (신유진, 박은주) Neural Networks Pruning 연구 (이광한 신새별) 미국 USC와 YouTube의 콘텐츠 Privacy 및 유해성 관련 탐지 모델 개발 연구(Binh M. Le, Chingis Oinar, 국제공동) 호주 CSIRO Data61과 시계열 데이터에 대한 Adversarial Attack 연구(Binh M. Le 국제공동) Self-Knowledge Distillation기법을 제안하여 다양한 비전 테스크 성능향상 연구 (이한빈, 김정호) Thanks to students who did exceptional work! Appreciate their efforts ! 1. Youjin Shin, Eun-Ju Park, Simon S. Woo, Okchul Jung and Daewon Chung, ”Selective Tensorized Multi-layer LSTM for Orbit Prediction”, Proceedings of the 31st ACM International Conference on Information & Knowledge Management. 2022. 본 연구에서는 위성의 궤도를 예측하는 모델로서 Selective Tensorized multi-layer LSTM (ST-LSTM)을 제안합니다. 최근, 위성의 수가 급격하게 늘어남에따라 위성 충돌 위험이 증가하였습니다. 이러한 위성 충돌과 같은 돌발상황을 막기 위해서는 위성의 궤도를 정확하게 예측하는 것이 중요합니다. ST-LSTM은 딥러닝의 웨이트 매트릭스를 텐서화한 tensorizing layer를 멀티레이어 LSTM에 선택적으로 적용합니다. 항공우주연구소 (KARI)에서 제공된 두 개의 실제 위성에 대한 데이터를 가지고 다양한 비교 모델들과 함께 실험한 결과, ST-LSTM은 계산량을 줄이면서도 정확도 또한 높게 유지하였습니다. Although the collision of space objects not only incurs a high cost but also threatens human life, the risk of collision between satellites has increased, as the number of satellites has rapidly grown due to the significant interests in many space applications. However, it is not trivial to monitor the behavior of the satellite in real-time since the communication between the ground station and spacecraft are dynamic and sparse, and there is an increased latency due to the long distance. Accordingly, it is strongly required to predict the orbit of a satellite to prevent unexpected contingencies such as a collision. Therefore, the real-time monitoring and accurate orbit prediction is required. Furthermore, it is necessarily to compress the prediction model, while achieving a high prediction performance in order to be deployable in the real systems. Although several machine learning and deep learning-based prediction approaches have been studied to address such issues, most of them have applied only basic machine learning models for orbit prediction without considering the size, running time, and complexity of the prediction model. In this research, we propose Selective Tensorized multi-layer LSTM (ST-LSTM) for orbit prediction, which not only improves the orbit prediction performance but also compresses the size of the model that can be applied in practical deployable scenarios. To evaluate our model, we use the real orbit dataset collected from the Korea Multi-Purpose Satellites (KOMPSAT-3 and KOMPSAT-3A) of the Korea Aerospace Research Institute (KARI) for 5 years. In addition, we compare our ST-LSTM to other machine learning-based regression models, LSTM, and basic tensorized LSTM models with regard to the prediction performance, model compression rate, and running time. 2. Gwanghan Lee, Saebyeol Shin, and Simon S. Woo, ”Accelerating CNN via Dynamic Pattern‑based Pruning Network”, Proceedings of the 31st ACM International Conference on Information & Knowledge Management. 2022. 본 연구에서는 실제 가속이 가능한 dynamic pruning method를 제안합니다. 기존의 dynamic pruning method는 매 인풋샘플마다 sparse pattern이 다르기에, 가속을 위해 수행되는 추가적인 오버헤드때문에 실제 가속까지 이루어지기 어려웠습니다. 본 논문에서는 이를 해결하기 위해 새로운 dynamic pruning method를 제안하며, convolution kernel의 representational power를 높여 성능을 높였을 뿐만 아니라 BLAS 라이브러리를 이용해 쉽게 가속이 이루어질 수 있게 만들었습니다. 이를 통해 CIFAR과 ImageNet 데이터셋에서 실험한 결과 기존의 SOTA 방법론에 비해 연산량 대비 정확도가 향상됨을 보였습니다. Most dynamic pruning methods fail to achieve actual acceleration due to the extra overheads caused by indexing and weight-copying to implement the dynamic sparse patterns for every input sample. To address this issue, we propose Dynamic Pattern-based Pruning Network, which preserves the advantages of both static and dynamic networks. Unlike previous dynamic pruning methods, our novel method dynamically fuses static kernel patterns, enhancing the kernel's representational power without additional overhead. Moreover, our dynamic sparse pattern enables an efficient process using BLAS libraries, accomplishing actual acceleration. We demonstrate the effectiveness of the proposed network on CIFAR and ImageNet, outperforming the state-of-the-art methods achieving better accuracy with lower computational cost. 3. Binh M. Le, Rajat Tandon, Chingis Oinar, Jeffrey Liu, Uma Durairaj, Jiani Guo, Spencer Zahabizadeh, Sanjana Ilango, Jeremy Tang, Fred Morstatter, Simon Woo and Jelena Mirkovic, ”Samba: Identifying Inappropriate Videos for Young Children on YouTube”, Proceedings of the 31st ACM International Conference on Information & Knowledge Management. 2022. 본 논문에서는 어린이용 유튜브 동영상을 분류하기위해 메타데이터와 비디오 자막을 모두 사용하는 Samba라는 퓨전 모델을 제안합니다. 기존 연구는 어린이들이 보기에 부적절한 비디오를 감지하기 위해 비디오 썸네일, 제목, 댓글 등과 같은 메타데이터를 활용했습니다. 이러한 메타데이터 기반 접근법은 높은 정확도를 달성하지만, 입력 feature의 신빙성으로 인해 상당한 오분류 결과를 가집니다. Self-supervised contrastive 프레임워크로 pre-train된, 자막에서의 representation feature를 추가함으로써, Samba 모델은 다른 SOTA 분류기보다 7% 이상 높은 성능을 보입니다. 또한 향후 연구를 장려하기 위해 7만여개의 영상도 함께 공개합니다. In this paper, we propose a fusion model, called Samba, which uses both metadata and video subtitles for content classifying YouTube videos for kids. Previous studies utilized metadata, such as video thumbnails, title, comments, ect., for detecting inappropriate videos for young viewers. Such metadata-based approaches achieve high accuracy but still have significant misclassifications due to the reliability of input features. By adding representation features from subtitles, which are pretrained with a self-supervised contrastive framework, our Samba model can outperform other state-of-the-art classifiers by at least 7%. We also publish a large-scale, comprehensive dataset of 70K videos for future studies. 4. Shahroz Tariq, Binh M. Le and Simon Woo, ”Towards an Awareness of Time Series Anomaly Detection Models' Adversarial Vulnerability”, Proceedings of the 31st ACM International Conference on Information & Knowledge Management. 2022. 본 연구에서는 시계열 데이터의 이상(anomaly) 검출기의 적대적 취약성에 대한 인식을 높이는 것을 목표로 하여, 센서 데이터에 약간의 적대적 섭동(adversarial perturbation)을 추가함에도 이상 감지 시스템이 심각하게 약화되는 것을 보입니다. 이상 현상(anomaly)에 대해 견고하며 실제 시스템에서 사용될 수 있다고 주장하는 SOTA 심층 신경망(DNN)과 그래프 신경망(GNN)의 성능이 FGSM(Fast Gradient Sign Method)과 PGD(Projected Gradient Descent)와 같이 잘 알려진 적대적 공격에서 0%로 떨어진다는 것을 보입니다. 우리가 아는 한, 본 연구는 적대적 공격에 대한 이상 감지 시스템의 취약성을 처음으로 입증하였습니다. Time series anomaly detection is studied in statistics, ecology, and computer science. Numerous time series anomaly detection strategies have been presented utilizing deep learning. Many of these methods exhibit state-of-the-art performance on benchmark datasets, giving the false impression that they are robust and deployable in a wide variety of real-world scenarios. In this study, we demonstrate that adding modest adversarial perturbations to sensor data severely weakens anomaly detection systems. Under well-known adversarial attacks such as Fast Gradient Sign Method (FGSM) and Projected Gradient Descent (PGD), we demonstrate that the performance of state-of-the-art deep neural networks (DNNs) and graph neural networks (GNNs), which claim to be robust against anomalies and possibly be used in real-world systems, drops to 0%. We demonstrate for the first time, to our knowledge, the vulnerability of anomaly detection systems to adversarial attacks. This study aims to increase awareness of the adversarial vulnerabilities of time series anomaly detectors. 5. Hanbeen Lee, Jeongho Kim and Simon Woo, “Sliding Cross Entropy for Self-Knowledge Distillation”, Proceedings of the 31st ACM International Conference on Information & Knowledge Management. 2022. 본 연구에서는 기존 self-knowledge distillation에 결합하여 성능을 향상시키는 Sliding Cross Entropy (SCE)를 제안합니다. Self-distillation을 위한 soft target과 모델의 output logit의 차이를 최소화하기 위하여, 정렬된 각 softmax representation을 특정 윈도우로 나누고, 나누어진 슬라이스끼리의 거리를 최소화합니다. 이를 통하여, 모델은 최적화 과정에서 soft target의 클래스간 관계를 동등하게 고려할 수 있습니다. 다양한 실험을 통하여 본 논문에서 제안하는 SCE가 분류, 객체 탐지, 세그멘테이션에서 기존 베이스라인 방법론을 뛰어넘는 성능을 보여줍니다. Knowledge distillation (KD) is a powerful technique for improving the performance of a small model by leveraging the knowledge of a larger model. Despite its remarkable performance boost, KD has a drawback with the substantial computational cost of pre-training larger models in advance. Recently, a method called self-knowledge distillation has emerged to improve the model's performance without any supervision. In this paper, we present a novel plug-in approach called Sliding Cross Entropy (SCE) method, which can be combined with existing self-knowledge distillation to significantly improve the performance. Specifically, to minimize the difference between the output of the model and the soft target obtained by self-distillation, we split each softmax representation by a certain window size, and reduce the distance between sliced parts. Through this approach, the model evenly considers all the inter-class relationships of a soft target during optimization. The extensive experiments show that our approach is effective in various tasks, including classification, object detection, and semantic segmentation. We also demonstrate SCE consistently outperforms existing baseline methods. 우사이먼 | swoo@skku.edu | 데이터기반 융합 보안 (DASH) Lab | http://dash.skku.edu/
-
- 작성일 2022-08-29
- 조회수 301
-
- [연구소식]고영중 교수 자연어처리연구실, SIGIR 2022 국제 학술대회 논문 2편 게재 승인
- 자연어처리연구실 허태훈 석사과정, 박충원 석사과정(이상 인공지능학과)의 논문 2편이 인공지능 및 정보검색 분야의 top-tier 국제 학술대회(BK21 CS IF=4)인 SIGIR (The 45th International ACM SIGIR Conference on Research and Development in Information Retrieval) 2022에 최종 논문 게재가 승인되어 7월에 발표될 예정입니다. 1. Choongwon Park, Youngjoong Ko, “QSG Transformer: Transformer with Query-Attentive Semantic Graph for Query-Focused Summarization”, Proceedings of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2022), July 2022. 본 연구에서는 문서에서 질의에 알맞는 요약문을 생성하는 ‘질의 기반 문서 요약’ 의 성능을 높이기 위한 새로운 기법을 제안합니다. 제안 기법은 질의와 문서의 단어들을 여러 자연어처리 기술을 이용해 연결하여 하나의 그래프로 구성하고, 이를 요약문을 생성하는 것에 사용합니다. 구성된 그래프를 질의 기반 문서 요약에 효율적으로 활용하기 위해 새로운 그래프 인공신경망을 제안하고, 이를 트랜스포머 모델에 붙여 사용합니다. 두 개의 데이터셋을 이용한 실험 결과, 제안 기법이 이전 연구들의 성능을 모두 앞서는 결과를 보였습니다. 2. Taehun Huh and Youngjoong Ko, "Lightweight Meta-Learning for Low-Resource Abstractive Summarization", Proceedings of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2022), July 2022 본 연구에서는 레이블 된 학습 데이터가 적은 상태인 ‘저 자원 생성 요약’의 성능을 높이기 위한 새로운 기법을 제안합니다. 제안 모델에서는 적은 데이터를 활용하여 해당 도메인에 빠르게 적응시키기 위해 메타러닝을 사용합니다. 또한, 학습 동안 기존 언어 모델에 추가되는 경량화 모듈만 학습 가능하게 하여 적은 데이터에 과적합 되는 문제를 해결합니다. 총 11개의 요약 데이터셋으로 실험한 결과, 기존 연구 보다 더 높은 Rouge 스코어 성능을 얻었습니다. 고영중 | yjko@skku.edu | 자연어처리 Lab | http://nlp.skku.edu/
-
- 작성일 2022-06-15
- 조회수 437