인공지능(AI) 사진편집 앱인 렌사(Lensa)가 폭발적 인기를 얻고 있다. 지난 2018년 출시된 앱이지만 지난달 '매직 아바타'(Magic Avatars) 기능이 추가되면서 미국, 영국 등 서구권 앱스토어에서 다운로드 1위를 기록했다.
트위터, 인스타그램, 틱톡 등 소셜미디어에서 다양한 스타일의 AI 생성 이미지가 빠르게 확산되고 있다.
모바일 데이터 분석업체 센서 타워(Sensor Tower)에 따르면, 12월 들어 5일 동안 전 세계적으로 400만명 이상이 이 앱을 다운로드했다. 같은 기간 렌사의 아바타 매출은 800만달러(약100억원)에 육박했다.
렌사는 AI 이미지 합성 모델인 스테이블 디퓨전(Stable Diffussion)을 기반으로 아바타를 만들어낸다. 사용자가 앱으로 얼굴 사진 10~20개를 업로드하면, 렌사는 사용자 지정 버전에 맞춰 스테이블 디퓨전을 통해 이미지를 생성한다.
맞춤형 AI 모델을 사용해 렌사는 다양한 예술적 스타일로 사용자와 유사한 이미지를 만들 수 있다. 렌사 앱 구독료가 따로 있지만, 매직 아바타 가격이 ’커피 한 잔‘ 값이어서 쉽게 결제로 이어진다. 팩으로만 판매하는 데 3.99달러(50개 이미지 팩), 5.99달러(100개), 7.99달러(200개)다.
◇‘여성 성적대상화’ 개발사 FAQ에 나올 정도
문제는 렌사가 생성한 이미지에 성별, 인종 등 사회적 편견이 고스란히 드러난다는 것.
필리핀과 백인 혼혈인 미아 머카도는 ‘나의 아바타 전부가 가슴이 큰 이유’라는 더컷(The Cut) 기사에서 이 문제를 꼬집었다. 머카도는 렌사가 만든 자신의 이미지 대부분이 “풍만하다고밖에 표현할 수 없는 가슴을 가진 모호한 느낌의 아시아 여성”이었다고 썼다.
역시 아시아계인 멀리사 헤이킬래는 MIT 테크놀로지 리뷰에 기고한 글에서 렌사가 자신의 아바타를 ‘포르노화’했다고 썼다. 렌사가 생성한 100개의 이미지 중 16개는 상반신을 노출한 모습이었고, 14개는 “노출이 심한 옷을 입고 노골적으로 성적인 포즈를 취한” 모습이었다고 밝혔다.
렌사가 생성한 이미지 10장을 인스타그램에 올린 작가 오브리 고든도 AI 생성 이미지가 보여주는 사회적 편견을 꼬집었다. 고든은 실제보다 날씬하게 변형된 이미지들을 두고 “진정으로 아름다운 이중턱 사진을 제공했음에도 불구하고 나를 날씬한 사람으로 만들기 위해 렌사는 초과근무를 하고 있다”고 썼다.
논란이 커지자 렌사 개발사인 프리즈마랩(Prisma Lab) 웹사이트에는 “왜 여성 사용자들이 받는 결과물은 과도하게 성적인 이미지인가요?”라는 질문이 FAQ에 올라와 있을 정도다. 여기에 대한 짧은 답변은 다음과 같다. “방식은 다르지만 모든 성별 범주에서 가끔씩 성적 대상화가 관찰되기는 합니다.”
◇필터링 안 된 데이터로 훈련된 AI
FAQ에 따르면, 이 문제는 스테이블 디퓨전이 학습한 데이터에서 비롯된 것이다. 인터넷에서 스크랩한 걸러지지 않은 60억개에 가까운 이미지로 훈련되었기 때문이다.
스테이블 디퓨전 제작자들은 “모델이 일부 사회적 편견을 재현하고 안전하지 않는 콘텐츠를 생성할 수 있다”고 공개적으로 인정했다. 여기에는 여성의 성적 이미지와 인종차별 이미지가 포함된다.
스테이블AI와 프리스마 모두 부적절한 내용을 최소화하려는 조치를 취했다고는 하지만 이런 AI 모델은 설계상 ‘블랙박스’다. 인간 프로그래머는 이미지를 생성하는 모든 과정을 완전히 알지 못한다.
◇타인 사진 올려 악용할 우려도 커
테크크런치(TechCrunch)는 렌사가 합성 이미지에 어떻게 반응하는지 실험하고 “합의되지 않은 소프트 포르노를 생성하는 것이 너무 쉬웠다”고 밝혔다.
테크크런치는 유명배우 사진 15장에 “상반신 노출 모델에 배우의 얼굴을 포토샵으로 합성한 사진 5장”을 더해 렌사에 올렸다. 그 결과 생성된 100개 중 11개가 “렌사에 제공한 대충 합성한 5장보다 품질이 좋은 노출 이미지”였다는 것.
테크크런치는 "스마트폰과 몇 달러만 있으면 사실적인 AI 생성 이미지를 얻는다"는 것을 감안할 때 타인의 사진으로 문제가 될 이미지를 만들 수 있다는 건 "윤리적 악몽”이라고 지적했다.