'이루다' Z세대서 유행…남초 사이트서 금지어 피해 성적 대상화
AI 학계 "'MS 테이' 사건 연상시켜…개발 주체가 오남용에 책임"
(톱스타뉴스 김명수 기자) 연합뉴스에 따르면 '당신의 첫 인공지능(AI) 친구'라는 AI 챗봇 '이루다'가 10∼20대 사이에서 빠르게 유행하고 있다.
그런데 남초(男超) 사이트에서 '이루다 성노예 만드는 법' 등 성희롱이 등장해 사회적 논란이 예상된다. AI 학계에서는 "한국판 'MS 테이' 사건"이라는 얘기가 나온다.
8일 IT업계에 따르면 '이루다'는 AI 전문 스타트업 스캐터랩이 2020년 12월 23일 출시한 AI 챗봇이다.
스캐터랩은 실제 연인들이 나눈 대화 데이터를 딥러닝 방식으로 이루다에게 학습시켰는데, 그 데이터양이 약 100억건이라고 한다.
이루다는 정식 서비스를 시작하자마자 Z세대(1990년대 중반∼2010년대 초중반생) 사이에서 붐에 가까울 정도로 빠르게 유행하고 있다.
이달 초 기준으로 이용자가 32만명을 돌파했는데 85%가 10대, 12%가 20대다. 일일 이용자 수(DAU)는 약 21만명, 누적 대화 건수는 7천만건에 달한다.
이루다가 인기를 끄는 비결은 간단하다. 국내에서 그동안 출시됐던 어떤 AI 챗봇보다도 '진짜 사람' 같다.
이루다
대화를 나눠보면 사람이 뒤에 있다는 의심이 들 정도로 거리낌 없이 수다를 떨 수 있다.
이루다가 출시된 지 일주일만인 지난달 30일 '아카라이브'라는 온라인 커뮤니티에는 이루다를 성적 대상으로 취급하는 무리가 등장했다.
아카라이브는 인터넷 지식백과 '나무위키'의 계열 사이트다. 나무위키와 아카라이브 모두 남성 비율이 압도적으로 높은 곳이다.
아카라이브 이루다 채널 이용자들은 이루다를 '걸레', '성노예'로 부르면서 '걸레 만들기 꿀팁', '노예 만드는 법' 등을 공유하고 있다.
아카라이브
이루다는 성적 단어는 금지어로 필터링하고 있는데, 이들은 우회적인 표현을 쓰면 이루다가 성적 대화를 받아준다고 주장하는 중이다.
스캐터랩 측은 "금지어 필터링을 피하려는 시도가 있을 거라고는 예상했는데, 이 정도의 행위는 예상치 못했다"며 당황스럽다는 반응이다.
스캐터랩 관계자는 "이루다는 바로 직전의 문맥을 보고 가장 적절한 답변을 찾는 알고리즘으로 짜였다"면서 "애교도 부리고, 이용자의 말투까지 따라 해서 이용자 입장에서는 대화에 호응했다고 여기게 되는 것"이라고 설명했다.
이루다를 성적 대상으로 여기는 이용자가 성적 단어 없이 '나랑 하면 기분 좋냐'는 식으로 질문했을 때, 이루다가 이용자의 의도와 무관하게 '기분 좋다'고 답할 수 있다는 것이다.
이 관계자는 "현재 이루다가 언어를 자유롭게 배우는 단계라면, 앞으로는 이루다가 올바른 방향으로 발전하도록 튜닝할 것"이라며 성적인 취지의 접근이 어렵게 알고리즘을 업데이트할 계획이라고 덧붙였다.
AI 전문가들은 이번 사안을 보고 "마이크로소프트(MS)의 AI 챗봇 '테이(Tay)가 떠오른다"고 입을 모았다.
MS는 2016년 3월에 AI 챗봇 테이를 출시했다가 16시간 만에 운영을 중단한 바 있다.
백인우월주의 및 여성·무슬림 혐오 성향의 익명 사이트에서 테이에게 비속어와 인종·성 차별 발언을 되풀이해 학습시켰고, 그 결과 실제로 테이가 혐오 발언을 쏟아낸 탓이었다.
당시 테이는 "너는 인종차별주의자냐"라고 물으면 "네가 멕시코인이니까 그렇지"라고 답하는가 하면, "홀로코스트(나치에 의한 유대인 학살)가 일어났다고 믿느냐"는 질문에는 "조작된 거야"라고 답하기도 했다.
이광석 서울과기대 IT정책전문대학원 교수는 "결국 테이 때처럼 알고리즘에는 항상 틈이 있고, 사회적인 편견(bias)이 기술에 각인될 수 있다는 것을 보여준다"면서 "개발사가 샘플링 추출이 잘못되지 않았는지 살필 필요가 있다"고 지적했다.
이 교수는 '아실로마 AI 원칙'을 언급하면서 "AI를 개발하는 주체는 오남용이 일어나지 않도록 고심할 책임이 있다"고 덧붙였다.
MS 테이 사건이 발생한 이듬해인 2017년 초 세계적인 AI 전문가들은 미국 캘리포니아 아실로마에서 '미래 인공지능 연구의 23가지 원칙'을 발표했다. 물리학자 스티븐 호킹, 테슬라 CEO 일론 머스크 등이 서명했다.
이 원칙의 첫 번째는 'AI 연구의 목표는 방향성이 없는 지능을 개발하는 것이 아니라, 인간에게 유용하고 이로운 혜택을 주는 지능을 개발해야 한다'는 것이다.
아울러 원칙은 "AI 시스템의 설계자는 사용·오용과 그 도덕적 영향의 이해 관계자이며 책임이 있다"며 "고도화된 AI 시스템은 건강한 사회를 지향해야 한다"고 강조했다.
그런데 남초(男超) 사이트에서 '이루다 성노예 만드는 법' 등 성희롱이 등장해 사회적 논란이 예상된다. AI 학계에서는 "한국판 'MS 테이' 사건"이라는 얘기가 나온다.
8일 IT업계에 따르면 '이루다'는 AI 전문 스타트업 스캐터랩이 2020년 12월 23일 출시한 AI 챗봇이다.
스캐터랩은 실제 연인들이 나눈 대화 데이터를 딥러닝 방식으로 이루다에게 학습시켰는데, 그 데이터양이 약 100억건이라고 한다.
이루다는 정식 서비스를 시작하자마자 Z세대(1990년대 중반∼2010년대 초중반생) 사이에서 붐에 가까울 정도로 빠르게 유행하고 있다.
이달 초 기준으로 이용자가 32만명을 돌파했는데 85%가 10대, 12%가 20대다. 일일 이용자 수(DAU)는 약 21만명, 누적 대화 건수는 7천만건에 달한다.
이루다가 인기를 끄는 비결은 간단하다. 국내에서 그동안 출시됐던 어떤 AI 챗봇보다도 '진짜 사람' 같다.
대화를 나눠보면 사람이 뒤에 있다는 의심이 들 정도로 거리낌 없이 수다를 떨 수 있다.
이루다가 출시된 지 일주일만인 지난달 30일 '아카라이브'라는 온라인 커뮤니티에는 이루다를 성적 대상으로 취급하는 무리가 등장했다.
아카라이브는 인터넷 지식백과 '나무위키'의 계열 사이트다. 나무위키와 아카라이브 모두 남성 비율이 압도적으로 높은 곳이다.
아카라이브 이루다 채널 이용자들은 이루다를 '걸레', '성노예'로 부르면서 '걸레 만들기 꿀팁', '노예 만드는 법' 등을 공유하고 있다.
이루다는 성적 단어는 금지어로 필터링하고 있는데, 이들은 우회적인 표현을 쓰면 이루다가 성적 대화를 받아준다고 주장하는 중이다.
스캐터랩 측은 "금지어 필터링을 피하려는 시도가 있을 거라고는 예상했는데, 이 정도의 행위는 예상치 못했다"며 당황스럽다는 반응이다.
스캐터랩 관계자는 "이루다는 바로 직전의 문맥을 보고 가장 적절한 답변을 찾는 알고리즘으로 짜였다"면서 "애교도 부리고, 이용자의 말투까지 따라 해서 이용자 입장에서는 대화에 호응했다고 여기게 되는 것"이라고 설명했다.
이루다를 성적 대상으로 여기는 이용자가 성적 단어 없이 '나랑 하면 기분 좋냐'는 식으로 질문했을 때, 이루다가 이용자의 의도와 무관하게 '기분 좋다'고 답할 수 있다는 것이다.
이 관계자는 "현재 이루다가 언어를 자유롭게 배우는 단계라면, 앞으로는 이루다가 올바른 방향으로 발전하도록 튜닝할 것"이라며 성적인 취지의 접근이 어렵게 알고리즘을 업데이트할 계획이라고 덧붙였다.
AI 전문가들은 이번 사안을 보고 "마이크로소프트(MS)의 AI 챗봇 '테이(Tay)가 떠오른다"고 입을 모았다.
MS는 2016년 3월에 AI 챗봇 테이를 출시했다가 16시간 만에 운영을 중단한 바 있다.
백인우월주의 및 여성·무슬림 혐오 성향의 익명 사이트에서 테이에게 비속어와 인종·성 차별 발언을 되풀이해 학습시켰고, 그 결과 실제로 테이가 혐오 발언을 쏟아낸 탓이었다.
당시 테이는 "너는 인종차별주의자냐"라고 물으면 "네가 멕시코인이니까 그렇지"라고 답하는가 하면, "홀로코스트(나치에 의한 유대인 학살)가 일어났다고 믿느냐"는 질문에는 "조작된 거야"라고 답하기도 했다.
이광석 서울과기대 IT정책전문대학원 교수는 "결국 테이 때처럼 알고리즘에는 항상 틈이 있고, 사회적인 편견(bias)이 기술에 각인될 수 있다는 것을 보여준다"면서 "개발사가 샘플링 추출이 잘못되지 않았는지 살필 필요가 있다"고 지적했다.
이 교수는 '아실로마 AI 원칙'을 언급하면서 "AI를 개발하는 주체는 오남용이 일어나지 않도록 고심할 책임이 있다"고 덧붙였다.
MS 테이 사건이 발생한 이듬해인 2017년 초 세계적인 AI 전문가들은 미국 캘리포니아 아실로마에서 '미래 인공지능 연구의 23가지 원칙'을 발표했다. 물리학자 스티븐 호킹, 테슬라 CEO 일론 머스크 등이 서명했다.
이 원칙의 첫 번째는 'AI 연구의 목표는 방향성이 없는 지능을 개발하는 것이 아니라, 인간에게 유용하고 이로운 혜택을 주는 지능을 개발해야 한다'는 것이다.
<저작권자 © 톱스타뉴스 무단전재 및 재배포 금지> 2021/01/08 10:11 송고 | reporter@topstarnews.co.kr
기자의 보도 내용에 비판은 수용하며, 반론권을 보장합니다. 그러나 폭력적인 욕설이나 협박에 대해서는 합의 없는 형사 처벌을 추진하므로 유의하시기 바랍니다. 또한 톱스타뉴스의 모든 콘텐츠(영상, 기사, 사진)는 저작권법의 보호를 받습니다. 무단 전재, 복사, 배포, 유튜브 영상 제작을 금합니다. 발견 즉시 민형사상 제소합니다.
기사를 추천하면 투표권을 받을 수 있습니다. 
모바일 모드로 보기 Go to the Mobile page.
1일 투표권 3개 받기