LLM 한계점과 공생을 위한 대안책

 

지난 포스팅에서는 LLM(대규모 언어 모델)과 ChatGPT의 관계 및 차이에 대해서 알아보았습니다.

LLM(대규모 언어 모델)과 ChatGPT의 관계 및 차이 2

 

이번 포스팅에서는 LLM의 한계의 대해서 알아보도록 하겠습니다.

---

LLM의 한계

ChatGPT와 Gemini등 여러 인공지능 대규모 언어 모델들이 나오고 나서, 인공지능의 학습능력이 눈에 띄게 발전해나가고 있습니다. 얼마 안 있어 곧 인간의 자리를 위협할것만 같은 인공지능의 한계는 무엇일까요?

 

여러 연구 기관에서 급속히 발전해 사회에 침투하고 있는 인공지능 및 LLM의 능력과 한계의 대해서 이론적인 분석을 하고 있습니다. 이 포스팅에서는 종합적인 관점에서의 대규모 언어모델(LLM)의 본질적인 한계에 대해 논리적인 접근방식으로 다뤄보겠습니다. 

많은 연구가 이루어지고 있는 와중에 가장 핵심이 되는 주장은 LLM이 생성하는 '할루시네이션'(환각, 잘못된 정보 생성)이 단순한 일시적 오류가 아니라 이들 시스템에 내재된 불가피한 특징이라는 것입니다. 이 주장을 계산 이론이나 괴델의 불완전성 정리(Gödel's incompleteness theorems)를 이용해 논증하고 있습니다.

 

LLM의 구조와 한계

먼저, LLM의 처리 과정을 다음과 같은 5단계로 나누어 분석해볼 수 있습니다:

1. 교육 데이터 구축
2. 의도의 분류
3. 정보의 검색
4. 출력 생성
5. 생성 후 사실 확인

그렇다면 이러한 각 단계에서 할루시네이션이 불가피한 이유를 수학적으로 증명해볼 수 있습다.

 

증명의 핵심

증명은 다음과 같은 5가지 주장에 근거해볼 수 있습니다:

1. 어떤 훈련 데이터 세트도 100% 완전할 수 없다.
2. 데이터가 완전하다고 해도 LLM은 100% 정확도로 정보를 검색할 수 없다.
3. LLM은 100%의 정밀도로 의도를 분류할 수 없다.
4. 어떤 사전 훈련에서도 할루시네이션을 완전히 배제할 수는 없다.
5. 어떤 사실 확인 메커니즘이라도 할루시네이션을 완전히 배제할 수는 없다.

이러한 주장을 계산이론의 기본적인 개념인 '정지문제'나 '수리문제'의 결정불능성을 이용하여 증명할 수 있습니다. 예를 들면 LLM이 자신의 출력 길이를 사전에 알 수 없다는 점(정지문제의 결정불능성)에서 어떤 출력도 생성할 수 있음을 보여줍니다.

 

할루시네이션의 불가피성

이러한 증명을 통해 할루시네이션이 LLM의 본질적인 특징이라는 것을 알 수 있습니다. 즉, 아키텍처의 개량이나 데이터 세트의 확대, 사실 확인 메커니즘의 도입과 같은 수법으로는 할루시네이션을 완전히 배제할 수 없다는 것입니다.

이 증명을 통해서 LLM의 이용이나 개발에 대해 중요한 시사점을 가지고 있습니다. 완벽한 LLM을 지향하는 것이 아니라 할루시네이션이라는 특성을 이해한 후에 어떻게 그것과 공존해 나갈 것인가를 생각할 필요가 있다는 것입니다.

---

이론에 의한 관점변화와 실천적 과제

할루시네이션이 불가피하다는 주장으로 관점을 바꾸는 것은 LLM 연구에 새로운 시각을 가져오는 중요한 성과라고 할 수 있습니다.

한편, 이 이론적인 분석이 실제 LLM 개발이나 이용에 어떻게 영향을 미치는지에 대해서는, 추가 논의가 필요합니다. 예를 들어 할루시네이션이 불가피하더라도 그 빈도나 심각도를 줄이는 방법은 여전히 중요한 연구과제가 될 것입니다.

또, 이 주장이, LLM의 유용성이나 장래성을 부정하는 것은 아니라는 것에도 주의가 필요합니다. 할루시네이션은 LLM의 창의성의 원천이기도 합니다. 중요한 것은 LLM의 특성을 올바르게 이해하고 적절하게 활용하는 것입니다.

 

사회적 영향과 윤리적 고찰

LLM의 할루시네이션이 초래하는 사회적 영향으로는 어떤 것들이 있을까요? 오정보의 확산, 법적·윤리적 리스크, 공중보건에 미치는 영향, AI에 대한 신뢰 저하, 편견 증폭 등이 예로 들 수 있습니다. 이러한 문제는 LLM이 사회에 침투함에 따라 점점 더 중요해질 것입니다.

이러한 과제에 대처하기 위해 AI 리터러시 향상, 디지털 격차 해소, 어린이 및 취약 계층을 위한 안전한 이용 방법 확립, 적절한 규제 정비 등을 제안해볼 수 있습니다. 이런 보완들은 기술 개발과 병행해 임해야 할 중요한 과제입니다.

 

LLM과의 공생을 위한 우리의 과제

이번 포스팅에서는 LLM의 한계를 이론적으로 밝힘으로써 우리가 이 강력한 도구와 어떻게 마주해야 하는지를 묻고 있습니다. 할루시네이션이라는 특성을 이해하고 그것을 전제로 한 후 LLM을 활용해 나갈 필요가 있습니다.

LLM은 인간의 사고나 인지의 '확장'이지 '대체'가 아닙니다. 이러한 관점은 AI와 인간의 관계를 생각하는 데 중요한 지침이 될 것입니다. 기술자뿐만 아니라 정책 입안자나 일반 시민에게도 AI 시대를 살기 위한 중요한 시사점을 담고 있다고 할 수 있습니다. 앞으로의 빠른 LLM의 발전 속도에 맞추어 우리 모두 고민을 해보는 시간을 가질 수 있으면 좋겠습니다.

---

이번 포스팅에서는 LLM의 한계, 그에 대한 영향, 그리고 LLM과의 공생을 위한 대안책에 대해 알아보았습니다.

 

다음 포스팅에서는 AI의 윤리 및 사회 문제에 대해서 조금 더 자세히 다뤄보도록 하겠습니다.