Cross-Language Embedding

Cross-Lingual Embedding : 서로 다른 언어 간에 단어, 문장 또는 문서를 동일한 임베딩 공간으로 매핑하는 기술.
이를 하기 위한 다양한 방법이 존재한다

1. 기계 번역을 이용한 매핑 
   - 병렬 말뭉치를 사용하여 서로 다른 언어 간의 문장을 번역하고, 번역된 문장을 동일한 임베딩 공간에 매핑합니다.
   - 주로 자동 번역 모델 (예: Transformer 기반의 모델)을 사용하여 번역과 임베딩 매핑을 동시에 수행합니다.

   - 그러나 이는 Cross-Lingual topic modeling 태스크에는 적합한 방법이 아니다. (번역 의존)

2. 공유 임베딩 공간을 학습하는 방법
   - 서로 다른 언어의 임베딩을 공유할 수 있도록 학습하는 방법도 있습니다.
   - 예를 들어, 양방향 언어 모델인 mBERT (multilingual BERT)는 여러 언어의 텍스트를 동일한 임베딩 공간에 매핑하기 위해 학습

3. 병렬 데이터를 사용한 매핑
   - 서로 다른 언어에 대한 병렬 문장 쌍을 사용하여, 언어 간에 매핑 규칙을 학습하는 방법
   - 이러한 방법은 여러 언어 간의 매핑을 직접 학습할 수 있도록 돕습니다.

4. 사전 훈련된 언어 모델을 활용하는 방법
   - 사전 훈련된 언어 모델을 사용하여 여러 언어에 대한 임베딩을 효과적으로 학습할 수 있습니다.
   - 언어 모델의 가중치를 다른 언어에 대한 임베딩으로 사용하거나, 다국어 학습을 통해 언어 간의 유사성을 학습할 수 있습니다.

5. 최적화 기술을 활용하는 방법
   - 서로 다른 언어 간의 임베딩을 매핑할 때 최적화 기술을 활용할 수 있습니다.
   - 예를 들어, Procrustes 분석이나 어떤 거리 함수를 최적화하여 임베딩을 매핑하는 방법이 있습니다.

이러한 방법들은 각각 장단점이 있고, 사용하려는 데이터와 목적에 따라 선택되어야 한다.
언어 간의 유사성을 잘 캡처하고 효과적인 cross-language 임베딩 매핑을 수행하기 위해서는 해당 작업에 적합한 방법을 선택하는 것이 중요하다