‘알고리즘 편향’을 줄이는 방법은?

최근 인공지능(AI) 챗봇(chatter robot·사람과 자연스레 대화할 수 있는 컴퓨터 프로그램) ‘이루다’의 알고리즘 편향이 새해 벽두부터 논란을 일으켰다.

인공지능은 검색 및 쇼핑, 데이터 분석, 사기 탐지까지 우리 생활 다양한 분야에서 도움을 주고 있다. AI는 인간에 의해 설정된 데이터를 사용해 기계 학습을 반복하면서 정확도를 높여 가고 있다.

하지만, 기계 학습에 사용하는 데이터에 편견이 섞여 있으면 반복 학습을 통해 편견이 심화하는 문제가 있다. 이를 ‘알고리즘 편향’이라고 한다.

최근 호주 시드니 비영리기관 그래이디언 연구소(Gradient Institute)가 호주 인권 위원회, 소비자정책 연구센터, 호주 연방과학연구원 데이터61(CSIRO Data61)과 공동으로 기업이 AI 시스템에서 알고리즘 편향을 식별할 방법과 이를 완화할 수 있는 방법을 설명하는 논문(Using artificial intelligence to make decisions: Addressing the problem of algorithmic bias _2020, Australian Human Rights Commission)을 발표했다.

논문 Using artificial intelligence to make decisions: Addressing the problem of algorithmic bias _2020, Australian Human Rights Commission 표지

알고리즘 편향 원인 중 하나는 잘못된 AI 시스템 설계다. 이를테면 은행이 대출을 결정할 때 사용하는 시스템은 일반적으로 기존 은행 대출 여부를 결정한 대규모 데이터 세트를 사용해 훈련한다. AI는 신규 대출 신청자 재무, 고용 기록 등을 과거 통계 데이터와 대조해 신청자가 대출을 갚을 수 있는지를 예측한다. 

하지만 이러한 접근 방식은 문제가 될 수 있다. 과거 데이터에 은행 대출 담당직원이 무의식적 편견에 의해 대출 거부를 했던 패턴이 포함된 경우 AI는 이 편견을 인식하지 못한 채 학습하기 때문에 잘못된 결정을 내릴 수 있다. 

여기서 말하는 ‘편견’은 젊은 사람들, 유색인종들, 미혼여성들, 장애인들, 블루칼라 노동자 등이다. 현대 문명사회에서는 거의 볼 수 없는 이런 편견이 AI에 영향을 줄 수 있다. 

이런 알고리즘 편향은 은행에 있어 두 가지 주요 위험 요소가 있다. 먼저 잠재 고객이 경쟁 은행에 넘어갈 수 있다. 또 하나는 이 같은 AI 결정이 반복될 경우 정부와 소비자에게 노출돼, 차별금지법에 따라 소송 등으로 이어질 위험이 있다. 

논문은 알고리즘 편향을 제거할 수 있는 다음 5가지 방법을 제안한다. 

1: 더 나은 데이터를 얻어야 한다.
알고리즘 편향 위험은 대표성이 부족한 사람들 그룹 또는 기존 데이터에 부정확하게 나타날 수 있는 개인에 대한 데이터를 새로 가져옴으로써 감소할 수 있다.

2: 데이터 전처리
나이, 성별, 인종 등 차별로 간주하는 정보를 제거하기 위해 데이터 세트를 편집해야 한다.

3: 모델 복잡성 증가
간단한 AI 모델은 분석과 결정을 쉽게 할 수 있다. 하지만 정확도가 낮고 소수보다 다수를 선호하는 일반화로 이어질 수 있다.

4: 시스템 수정
AI 시스템은 사전에 논리 및 매개 변수를 변경할 수 있다. 이를테면, 소수 그룹에 대해 서로 다른 결정 임계값을 설정해 알고리즘 편향을 무시하도록 능동적으로 조정할 수 있다. 

5: 예측 모델 변경
AI 시스템을 안내하기 위해 선택한 구체적인 조치는 다른 그룹에서 결정을 내리는 방법에 직접 영향을 미친다. 공정한 예측 모델을 설정하는 것은 알고리즘 편견을 줄이는 데 도움이 된다.

논문에 따르면 AI 의사 결정을 채택하고자 하는 정부와 기업은 공정성과 인권에 대한 일반적인 원칙을 고려해 알고리즘 편향이 생기지 않도록 면밀히 시스템을 설계하고 감시할 필요가 있다. 

AI에 의한 의사 결정이 일반화되고 있는 지금, 생산성뿐만 아니라 더 공정한 시스템을 구축할 필요가 있다고 결론지었다.

김들풀 기자 itnews@