main-logo

AI의 실수를 바로잡는 방법

AI Eyes의 네번째 글

profile
Jun
2025년 06월 16일 · 0 분 소요

 

[AI Eyes]는 UX를 만드는 시각으로 AI와 함께하는 세계를 비춥니다.
UX 리서처부터 기획자, 디자이너, 엔지니어, 라이터까지 다양한 직군이 들려주는 AI 소식을 만나보세요

 

AI ‘환각’에 대처하는 우리들의 자세

 

1_AI Eyes_4_AI에 드리운 그늘.webp
출처: 챗GPT와 만들고 피그마 AI(베타)로 편집

코딩 중 생성형 AI에 도움을 요청하면 실제로 작동하지 않는 코드를 내놓을 때가 잦은데요. 이때 오류를 지적하면 AI는 사과하면서도 또다시 잘못된 코드를 알려주곤 하죠. 똑똑하다는 AI는 왜 이런 일을 벌일까요? AI는 학습한 정보를 이해하고 답하는 게 아니라, 정보의 패턴을 분석해 사용자가 입력한 프롬프트와 가장 연관성 높은 내용을 답으로 생성하기 때문이에요. 그래서 AI는 “모른다”고 말하는 대신, 실제로 존재하지 않거나 맞지 않는 정보도 사실처럼 답하죠. 이를 ‘환각(Hallucination)’ 현상이라고 불러요. 최근 오픈AI의 추론 모델 중 o4-미니의 환각 발생률이 48%에 달한다는 사실이 알려지면서 생성형 AI의 신뢰성 문제가 제기되기도 했죠. 


AI 업계는 출처 표기, 검증 시스템 개발 등 환각 문제를 해결하기 위해 다방면으로 노력하고 있지만, 아직 명확한 해결책은 나오지 않았어요. 오픈AI 역시 잦은 환각 현상에 대해 “더 많은 연구가 필요하다”는 입장을 밝혔죠. 이런 상황에서 사용자가 AI를 무조건 믿다간 환각을 사실처럼 믿고 또 다른 사람에게 잘못된 정보를 전달할 위험이 있어요. AI에 대한 이해도가 낮은 사람일수록 AI가 생성한 결과를 비판 없이 그대로 받아들인다는 연구 결과도 있죠. 지금은 AI 역량과 함께 ‘비판적 사고’를 키워야 할 시점이에요. AI를 사용할 때는 ‘AI도 틀린다’는 사실을 인지하며 결과를 검토, 확인해야 하죠. 저 역시 AI가 제안하는 코드를 활용하기 전에 항상 검증하는 습관을 기르고 있어요. AI는 편리한 도우미일 뿐, 최종적으로 판단할 권한과 책임은 우리의 몫이라는 점을 언제나 기억해야 해요!

 

 - 박바름, 이혜준(프론트엔드 개발자) 

 


 

기억을 지키기 위해 필요한 AI UX

 

2_AI Eyes_4_AI에 드리운 그늘.webp
출처:  챗GPT와 만듦

‘만델라 효과’는 다수가 거짓을 사실로 알고 있는 사회적 착각을 말해요. 넬슨 만델라는 1964년 감옥에 갇혔다가 풀려난 뒤 남아프리카공화국 최초의 흑인 대통령으로 당선됐는데, 많은 사람들이 사실과 다르게 ‘넬슨 만델라가 감옥에서 생을 마감했다’고 기억하는 데서 비롯됐죠. 전문가들은 수감 당시 넬슨 만델라의 처참한 모습이 매체를 통해 노출되면서 대중의 기억을 왜곡시켰다고 추측했어요. 그런데 AI로 편집한 이미지나 영상도 ‘거짓 기억’을 심어 만델라 효과를 일으킬 수 있다는 사실을 알고 계셨나요? 최근 CHI(Conference on Human Factors in Computing Systems) 학술대회에서 발표된 연구에 따르면, AI로 조작된 콘텐츠를 본 사람은 그렇지 않은 사람보다 실제와 다르게 기억할 확률이 최대 2.05배 높았어요. 조작 전 원본 이미지를 확인했음에도 불구하고, 왜곡된 기억을 1.19배 더 확신했죠. 특히 인물이나 배경을 편집한 콘텐츠가 거짓 기억을 야기할 확률이 높았고 피험자들은 자신이 본 콘텐츠가 ‘AI로 편집된 것'을 알면서도 편집된 내용이 사실이라 기억하는 경향을 보였어요. 

 

요즘 편리한 AI 덕에 누구나 콘텐츠를 만들고 이를 소셜 미디어, 웹 페이지 등에 공유, 확산시킬 수 있죠. 그만큼 누군가 악의적으로 조작한 콘텐츠가 개인 또는 사회 전체의 인식에 영향을 미칠 위험성도 있어요. 오픈AI, 구글 등 AI 업계는 이러한 문제에 대응해 ‘AI로 조작된 콘텐츠’를 표시하는 워터마크 삽입, 딥페이크 탐지 기술 개발, 윤리 가이드라인 배포 등 여러 해결책을 시도하고 있는데요. AI 콘텐츠의 파급력이 커지고 있는 만큼, 보다 적극적인 UX 대책이 필요한 시점이에요. 뉴스나 다큐멘터리처럼 사실 여부가 중요한 콘텐츠에는 AI 생성 여부를 시각적으로 구분할 수 있는 레이아웃을 적용해 인식 가능성을 높이고, 사용자가 직접 AI 콘텐츠의 시청 여부를 선택할 수 있는 필터링 기능을 제공해 선택권을 보장하는 방법도 있을 거예요. '진짜 같은' 콘텐츠를 만들 수 있는 AI에는 '진실과 거짓을 구별할 수 있는' 사용자경험이 뒷받침돼야 해요. “보이는 대로 믿는다”라는 말은 더 이상 '진실만을 믿는다'라는 뜻으로 통하지 않는 시대니까요.

 

 -  장한울(UX 디자이너)

 


 

책임 있는 AI를 위한 제도

 

3_AI Eyes_4_AI에 드리운 그늘 (1).webp
출처: 챗GPT와 만듦

AI는 기존에 학습한 데이터, 즉 사진, 그림, 영상 등을 조합하고 응용해 사용자 의도에 따른 결과물을 생성해요. 이 과정에서 초상권, 지식재산권 등 누군가의 권리를 침해하는 부작용을 낳기도 하죠. 지난 2023년 게티이미지는 스테이블 디퓨전의 개발사 스태빌리티AI를 상대로 지식재산권 침해 소송을 제기했어요. AI가 게티이미지 소유의 이미지 1,200만 장과 텍스트, 메타데이터를 무단으로 학습했다며 18억 달러(한화 약 2조 5,000억 원)를 배상하라는 취지였죠. 이 재판은 2년이 넘은 현재까지 결론이 나지 않고 있어요. 지난해 배우 스칼렛 요한슨이 자신의 목소리를 무단으로 사용했다며 챗GPT 음성 서비스에 불쾌감을 드러내자, 오픈AI가 해당 서비스를 삭제한 사건도 있었죠.


생성형 AI가 대중화되고 그로 인한 권리 침해 우려가 커짐에 따라, 세계 각국에서는 AI와 관련한 정책을 마련 중이에요. EU는 ‘인공지능법(AI Act)'을 제정해 생성형 AI 개발사는 의무적으로 AI 학습에 사용된 데이터의 출처를 공개하도록 했어요. 미국 뉴욕주에서는 오는 6월부터 AI를 사용할 때는 반드시 해당 모델의 동의를 얻어야 한다는 내용을 포함한 ‘패션노동자법’을 시행할 예정이죠. 한국도 내년 ‘인공지능 발전과 신뢰 기반 조성 등에 관한 기본법’ 시행을 앞두고 있는데요. 앞으로 권리를 보호하는 제도를 통해 AI가 지속가능한 발전을 이뤄갈 수 있을지 지켜봐야겠어요.

 

 - 권혜림(프로덕트 디자이너)

 

 
박바름, 이혜준, 장한울, 권혜림, 임현경
그래픽 김은정(그래픽 디자이너)
편집 임현경
 
이 글은 pxd Insights에서도 보실 수 있습니다.