오픈 AI가 최근 발표한 챗 GPT의 새로운 추론형 모델, 'o3'와 'o4-미니'가 이전보다 심한 수준의 환각 문제를 드러내고 있습니다. 환각은 생성형 인공지능이 존재하지 않는 정보를 사실처럼 만들어내는 오류 현상을 뜻하는데요.
미국 IT 전문매체 테크크런치는 오픈 AI의 자체 벤치마크 테스트 '퍼슨 QA'결과를 인용해 o3 모델의 환각률이 33%, o4-미니는 무려 48%에 달한다고 보도했습니다. 이는 이전 세대 모델인 o1(16%)과 o3-미니(14.8%)에 비해 두 배 가까이 증가한 수치인데요. 특히 비추론형 모델인 GPT-4o보다도 환각 빈도가 높은 것으로 나타났습니다.
오픈 AI는 o3와 o4-미니를 "역대 가장 우수한 추론형 AI"로 소개했던 바 있으며, 실제로 수학, 코딩, 과학 분야에서는 기존 모델 대비 뛰어난 정답률을 기록한 바 있습니다. 대학 수준의 이미지-텍스트 통합 문제에서도 80% 이상의 정확도를 보였죠. 현재 오픈 AI는 환각 증가의 명확한 원인을 밝히지 못하고 있으며, "더 많아진 요청에 반응하면서 잘못된 응답 또한 늘어난 것으로 보인다"라고 전하며 "해결을 위해 추가적인 연구가 필요하다"라고 밝혔습니다.
절반의 확률로 존재하지 않는 정보를 사실처럼 만들어낼 수도
© 게티 이미지
오픈 AI가 최근 발표한 챗 GPT의 새로운 추론형 모델, 'o3'와 'o4-미니'가 이전보다 심한 수준의 환각 문제를 드러내고 있습니다. 환각은 생성형 인공지능이 존재하지 않는 정보를 사실처럼 만들어내는 오류 현상을 뜻하는데요.
미국 IT 전문매체 테크크런치는 오픈 AI의 자체 벤치마크 테스트 '퍼슨 QA'결과를 인용해 o3 모델의 환각률이 33%, o4-미니는 무려 48%에 달한다고 보도했습니다. 이는 이전 세대 모델인 o1(16%)과 o3-미니(14.8%)에 비해 두 배 가까이 증가한 수치인데요. 특히 비추론형 모델인 GPT-4o보다도 환각 빈도가 높은 것으로 나타났습니다.
오픈 AI는 o3와 o4-미니를 "역대 가장 우수한 추론형 AI"로 소개했던 바 있으며, 실제로 수학, 코딩, 과학 분야에서는 기존 모델 대비 뛰어난 정답률을 기록한 바 있습니다. 대학 수준의 이미지-텍스트 통합 문제에서도 80% 이상의 정확도를 보였죠. 현재 오픈 AI는 환각 증가의 명확한 원인을 밝히지 못하고 있으며, "더 많아진 요청에 반응하면서 잘못된 응답 또한 늘어난 것으로 보인다"라고 전하며 "해결을 위해 추가적인 연구가 필요하다"라고 밝혔습니다.
Editor: 정민