Haoyu Han, Li Ma, Yu Wang, Harry Shomer, Yongjia Lei, Zhisheng Qi, Kai Guo, Zhigang Hua, Bo Long, Hui Liu, Charu C. Aggarwal, Jiliang Tang TL;DR: 본 논문은 RAG system 평가를 위한 새로운 벤치마크를 제시하거나 평가방법론을 설계하기보다는, VectorRAG vs. GraphRAG 관점에서 Emperical Study 를 진행하고, 다각도에서 효과적인 RAG 가 어떤것인지를 규명하기 위한 연구임. 따라서 벤치마크는 기존에 이미 알려진, ground truth 가 존재하는 HotpotQA 등을 사용함. Abstract연구 배경 및 필요성RAG (Retrieval-Augmented Gene..

Zhishang Xiang, Chuanjie Wu, Qinggang Zhang, Shengyuan Chen, Zijin Hong, Xiao Huang, Jinsong SuAbstractGraphRAG의 이론적 강점: 지식 개념들 사이의 계층적 구조를 그래프로 모델링하여, 기존의 단순 RAG보다 훨씬 더 논리적이고 깊이 있는 지식 검색 및 추론이 가능하게 합니다.Problem: 많은 연구가 GraphRAG가 일반적인 RAG(Vanilla RAG)보다 실무 환경에서 오히려 성능이 떨어지는 경우가 빈번하다고 보고하고 있음.GraphRAG-Bench의 역할과제 난이도의 세분화: 단순 사실 검색(Fact Retrieval)부터 복잡한 추론(Complex Reasoning), 문맥 요약(Contextual Summ..

GraphMAE2: A Decoding-Enhanced Masked Self-Supervised Graph Learner (WWW 2023)Abstract그래프 자기 지도 학습(SSL)의 중요성실제 그래프 데이터는 레이블이 부족한 경우가 많습니다.그래프 SSL은 이러한 레이블 부족 문제를 해결할 잠재력이 큽니다.SSL은 크게 대조 학습(contrastive) 방식과 생성(generative) 방식으로 나뉨마스크된 그래프 오토인코더(Masked Graph Autoencoders)의 등장생성 방식 중 하나로 GraphMAE와 같은 마스크된 그래프 오토인코더가 최근 유망한 결과를 보여주었습니다.기본 아이디어는 입력에서 무작위로 마스크된 노드 특징(또는 구조)을 오토인코더 아키텍처를 사용하여 재구성기존의 "Ma..

Text Embeddings Reveal (Almost) As Much As Text (EMNLP 2023)John X. Morris, Volodymyr Kuleshov, Vitaly Shmatikov, Alexander M. RushAbstract연구 질문: "텍스트 임베딩은 원본 텍스트에 담긴 개인 정보를 얼마나 많이 드러내는가?"핵심 문제: 임베딩 역변환(Embedding Inversion) -> 텍스트 임베딩 벡터로부터 해당 텍스트를 재구성하는 것입니다.접근 방식: 이 문제는 "제어된 생성(Controlled Generation)" 문제로 프레임화됩니다. 즉, 주어진 임베딩에 최대한 가까운 텍스트를 생성하는 것을 목표로 합니다.실험결과 및 발견단순한(naïve) 모델은 임베딩만으로는 성능이 좋지 ..

SAC-KG: Exploiting Large Language Models as Skilled Automatic Constructors for Domain Knowledge Graphs (ACL 2024)Hanzhu Chen, Xu Shen, Qitan Lv, Jie Wang, Xiaoqi Ni, Jieping YeAbstractMotivation: 본 연구에서는 도메인 지식 그래프 (Domain Knowledge Graphs, KGs) 구축에 있어 기존 방법들이 수동 작업에 크게 의존하여 실제 적용이 어렵다는 문제를 해결하고자 합니다. 이를 위해 SAC-KG라는 새로운 프레임워크를 제안합니다.SAC-KG의 목표: LLM (Large Language Models)을 활용하여 전문적이고 정확한 다단계 지식 ..

A Variational Approach for Mitigating Entity Bias in Relation Extraction (ACL 2025)Samuel Mensah, Elena Kochkina, Jabez Magomere, Joy Prakash Sain, Simerjot Kaur, Charese SmileyAbstract관계추출 Task & 문제점 인식관계 추출(RE): 텍스트 내에서 두 엔티티(예: 사람 이름, 회사 이름) 사이의 의미 있는 관계(예: '직원', '창립자')를 식별하고 분류하는 자연어 처리 태스크입니다.관계 추출(RE) 모델들은 종종 엔티티에 과도하게 의존하는 경향(entity bias)이 있어, 이로 인해 모델의 일반화(generalization) 능력이 저하되는 심각한 문제..

NeuroMax: Enhancing Neural Topic Modeling via Maximizing Mutual Information and Group Topic Regularization (EMNLP 2024 Findings)Duy-Tung Pham, Thien Trang Nguyen Vu, Tung Nguyen, Linh Van Ngo, Duc Anh Nguyen, Thien Huu NguyenAbstractNeural Topic Model 의 최신 동향과 문제점최근 신경 토픽 모델 연구는 두 가지 주요 방향에 집중하고 있습니다.Generative model 인코더(Inference network, 주로 VAE 인코더)와 Pre-trained Language Model (PLM)의 통합: 이는 토픽..

Datasets for Multi-Hop Question AnsweringMulti-hop 추론: 하나의 문서만 봐서는 답을 알 수 없고 서로 다른 문서의 정보를 연결해야 정답 도출 가능여러 문서(주로 위키피디아 문단)를 넘나들며, 두 단계 이상 추론(multi-hop reasoning)을 해야만 정답에 도달할 수 있음HotpotQA (EMNLP 2018)Supporting Facts 제공정답뿐만 아니라 어떤 문장들이 추론에 사용되어야 하는지가 라벨로 포함됨모델의 reasoning 과정 평가 가능Question TypeBridge-type: 한 엔티티를 매개로 문서를 연결Comparison-type: 두 대상 비교 (더 크다/작다, 먼저이다 등)정답 형태단답형 (이름, 숫자 등)Yes / No 질문도 포..