인공지능 ai 수학적 추론 능력의 한계. 최신 연구 결과 분석

 

인공지능 기술이 빠르게 발전하면서, 고도화된 '추론' 능력을 보여주는 여러 모델이 소개되고 있습니다.

특히, 오픈AI와 구글과 같은 기업들이 이러한 기능을 대대적으로 홍보하며 기술의 미래를 이끌고 있지만, 최근 애플 연구진에 의해 발표된 연구 결과는 이러한 인공지능 모델의 추론 능력이 예상치 못한 변화에 매우 취약할 수 있음을 보여줍니다.

연구진은 GSM8K라는 표준화된 수학 문제 집합을 사용하여 시작했습니다.

이는 주로 초등학교 수준의 수학 문제로 구성되어 있으며, 인공지능 모델의 복잡한 추론 능력을 평가하는 데 널리 사용됩니다.
연구의 독창적인 접근 방식으로, 테스트 세트의 일부 문제에서 특정 이름과 숫자를 새로운 값으로 동적으로 교체하여, 기존의 GSM8K 질문이 AI 모델의 학습 데이터로 직접 흘러들어가는 것을 방지하고자 했습니다.

인공지능의 패턴 매칭을 시각적으로 표현한 이미지

이러한 변경은 문제의 본질적인 난이도를 전혀 변화시키지 않으면서도, 모델이 GSM-Symbolic에서 GSM8K와 동일하게 잘 수행되어야 한다는 이론을 검증하기 위함이었습니다.

 

하지만, 연구 결과에 따르면, 실제로는 이름과 숫자의 변경만으로도 많은 모델들의 성능이 크게 떨어진 것으로 나타났습니다.

연구진은 20개 이상의 최신 LLM 모델을 GSM-Symbolic에서 테스트했는데, 평균 정확도가 전반적으로 GSM8K 대비 낮아진 것을 확인할 수 있었습니다.

성능 저하는 모델에 따라 0.3%에서 9.2% 사이였으며, 동일 모델 내에서도 50회의 별도 실행에서 이름과 값을 변경했을 때 나타나는 정확도의 차이는 최대 15%에 이르렀습니다.

 

각 섹션별로 핵심 내용을 간결하게 정리한 표입니다.

섹션	주요 내용
연구 배경	고도화된 '추론' 능력을 자랑하는 AI 모델의 취약성이 최근 연구를 통해 제기됨.
연구 방법	GSM8K 표준 수학 문제 집합을 수정하여 이름과 숫자를 변경, AI 모델의 추론 능력 시험.
성능 변동	이름과 숫자 변경으로 인한 AI 모델의 성능 저하 확인, 변동성 큰 결과 관찰.
논리적 추론 한계	AI가 형식적 추론을 수행하지 않고 확률적 패턴 매칭으로 문제를 해결하려는 시도.
기술의 환상	AI가 충분한 데이터와 계산력으로 이해의 환상을 제공하지만 예상치 못한 상황에 취약.
실제 추론과 패턴 매칭	훈련 데이터와 유사한 패턴 매칭으로 높은 정확도를 보이지만 깊은 논리적 이해 부족.

이러한 결과는 예상치 못한 방향으로 프롬프트가 밀려나갔을 때, 인공지능 모델이 훈련 데이터와 정확히 일치하지 않는 경우에 취약하다는 점을 시사합니다.

연구진은 이 모델들이 '공식적인' 추론을 수행하기보다는, 주어진 질문과 해결 단계를 훈련 데이터에서 본 비슷한 것들과 일치시키려는 일종의 분포 내 패턴 매칭을 시도하고 있다고 평가했습니다.

특히, Apple 연구진이 GSM-Symbolic 벤치마크를 수정하여 문제에 "관련 있어 보이지만 궁극적으로 중요하지 않은 진술"을 추가했을 때, 대부분의 '추론' LLM은 심각한 성능 저하를 경험했습니다.

 

이러한 'GSM-NoOp' 벤치마크 세트에서, 여러 날에 걸쳐 키위를 수집하는 문제에 "그 중 다섯 개는 평균보다 조금 작았다"는 불필요한 정보가 추가된 경우, 모델들은 최종 합계에서 빼는 방식으로 오류를 범하는 경향을 보였습니다.

이는 모델의 훈련 데이터셋에 비슷한 예시들이 포함되어 있었기 때문이며, 이것은 연구진이 "모델의 추론 과정에 더 깊은 문제가 있음을 시사한다"고 언급한 '치명적 결함'입니다.

즉, 인공지능이 단순한 '패턴 매칭'을 사용하여 진술을 연산으로 변환하지만, 그 의미를 진정으로 이해하지 못한다는 한계를 드러내는 것입니다.

이러한 연구 결과는 인공지능이 실제로 형식적 추론을 수행하지 않고 있으며, 오히려 광범위한 훈련 데이터 세트에서 본 가장 유사한 데이터와의 확률적 패턴 매칭을 통해 그것을 모방하고 있음을 제안합니다.

그러나 새로운 연구는 이러한 모방이 질문이 이전에 훈련된 데이터와 정확히 일치하지 않을 때 취약해질 수 있음을 강조합니다.

이와 같은 연구 결과는 인공지능 연구의 세계에서 새로운 것은 아닙니다.
최근의 다른 논문들도 인공지능이 실제로 형식적 추론을 수행하지 않고 확률적 패턴 매칭을 통해 가장 유사한 데이터를 모방한다고 제안하고 있습니다.

그럼에도 불구하고, 새로운 연구는 프롬프트가 훈련 데이터와 정확히 일치하지 않는 방향으로 밀려날 때 이러한 모방이 얼마나 취약할 수 있는지를 강조합니다.

이는 논리나 세계에 대한 기본적인 모델 없이 고차원적 추론을 수행하려는 시도의 한계를 드러냅니다.

오픈AI의 GPT-4와 같은 모델은 텍스트 합성에서 큰 관심을 끌었는데, 이는 모델이 충분한 정보를 훈련 데이터에서 흡수하여 실제로 세계를 이해하고 모델링할 수 있을지도 모른다는 인상을 줄 만큼 큰 규모에 도달했기 때문입니다.

하지만 현실은, 그 성공의 핵심 요소는 인간보다 훨씬 더 많은 것을 '알고' 있으며, 이러한 기존 개념을 새로운 방식으로 결합함으로써 우리를 감탄하게 만든다는 것입니다.

충분한 훈련 데이터와 계산 능력을 갖춘 AI 산업은 결국 AI 비디오 합성에서 , 모델이 예상치 못한 상황에 직면했을 때 이 환상은 깨질 수 있습니다.

인공지능이 학생들에게 수학 문제를 가르치는 장면

AI 전문가 게리 마커스는 새로운 GSM-Symbolic 논문에 대한 그의 분석에서, 이러한 신경망이 실제로 변수와 변수에 대한 연산을 포함하여 추상적으로 일부 지식을 나타내는 '기호 조작'을 통합할 때만 AI 능력의 다음 큰 도약이 이루어질 것이라고 주장합니다.

그 때까지 우리는 인공지능 모델이 수학 테스트에서 계산기와는 다르게 실패할 수 있는 종류의 취약한 '추론'을 경험할 것입니다.

이러한 연구 결과는 인공지능 모델이 어떻게 훈련 데이터와 가장 유사한 패턴을 매칭하려는 시도로 인해 진정한 이해 없이도 높은 정확도를 유지할 수 있는지를 보여줍니다.

하지만 그러한 성과는 깊이 있는 논리적 사고나 문제 해결 능력을 대체할 수 없으며, 인공지능의 추론 과정에 심각한 결함이 있음을 드러내는 사례로서, AI 기술의 발전에 있어 이러한 한계를 극복하는 것이 중요한 연구 주제가 되고 있습니다.

비록 인공지능이 특정 벤치마크에서 인상적인 성과를 보일 수 있지만, 실제로 복잡하고 예측 불가능한 실세계 상황에서의 성능은 더 많은 연구와 기술적 개선이 필요함을 보여줍니다.

 

앞으로 더욱 발전해서 믿고 신뢰할수 있는 인공지능 시스템이 되길 바랍니다.