Word Embedding Association Test (WEAT) - 편향성 측정

모델의 성능을 높이기 위해서 데이터를 살펴봐야 한다.

실제 세상의 데이터는 특정한 쪽으로 편향된 경우가 많고 이는 모델의 학습을 방해할 수 있기 때문이다. 

 

WEAT test는 데이터가 얼마나 편향적인지를 확인할 수 있는 계산식이다. 

자연어를 학습할 때 자연어를 임베딩으로 변환해 학습시킨다.

변환된 워드 임베딩(word embedding) 간의 거리를 이용해 해당 데이터셋의 편향 정도를 측정할 수 있다. 

 

- target 단어와 attribute 단어들로 분류한다. 
(e.g. target : attribute = flower : happy = insect : disgusting) 

- 위 예시처럼 상반되는 두 target 데이터셋(해당 단어를 대표하는 단어들)을 잇고, 상반되는 두 attribute 데이터셋(해당 단어를 대표하는 단어들)을 이어 두 축을 만든다. 

- 두 target 단어가 두 attribute 단어의 축까지의 거리가 같을 수록 편향이 적다고 할 수 있다.