Word Alignment 란 ??

Word alignment은 기계 번역 및 자연어 처리 분야에서 매우 중요한 태스크이다.
서로 다른 두 언어 간에 어떤 단어들이 서로 대응되는지 찾는 것을 목표로 합니다.
주로 병렬 말뭉치(병렬 쌍)를 기반으로 합니다. 병렬 말뭉치에는 두 언어의 대응되는 문장이 포함되어 있습니다.

Word alignment의 목적은 다음과 같습니다:

1. 기계 번역 (Machine Translation): 기계 번역 모델에서 어떤 단어가 다른 언어의 어떤 단어와 대응되는지 찾아내어 번역 품질을 향상시킬 수 있습니다.

2. 언어 모델링 (Language Modeling): 대응되는 단어들을 이용하여 언어 모델을 구축할 때, 단어 간의 관계를 파악하는 데 사용될 수 있습니다.

3. 정렬 기반 특징 추출 (Alignment-based Feature Extraction): 단어 간의 정렬 정보는 각 언어의 특징을 추출하고 이를 활용하는 데 사용될 수 있습니다.

Word alignment은 대부분 IBM 모델 시리즈나 Expectation-Maximization(EM) 알고리즘과 같은 통계 기반 모델을 사용하여 수행된다.

1. IBM 모델 시리즈
   - IBM 모델 1, 2, 3 등은 통계적 기반으로 word alignment을 수행합니다.
   - 초기에는 단순한 확률 모델을 사용하고, 반복적인 학습 과정을 통해 대응 관계를 업데이트합니다.

2. Expectation-Maximization(EM) 알고리즘
   - EM 알고리즘은 IBM 모델 시리즈와 함께 사용되는 최적화 알고리즘 중 하나입니다.
   - EM 알고리즘을 통해 대응되는 단어들 간의 정렬 확률을 반복적으로 업데이트하여 최적의 정렬을 찾습니다.

Word alignment은 문장 단위 뿐만 아니라 단어 단위로도 수행될 수 있으며, 결과는 alignment matrix 형태로 표현됩니다. 예를 들어, alignment matrix의 (i, j) 위치의 값이 1이면 source 문장의 i번째 단어와 target 문장의 j번째 단어가 대응된 것을 나타냅니다.

이러한 word alignment은 효과적인 기계 번역 및 다국어 처리를 위한 필수적인 단계로 간주되며, 최근에는 신경망 기반의 방법들도 활용되고 있다.