이 전 포스팅에서 인공지능의 딥러닝이란 뉴럴 네트워크를 이용한 학습이라고 말씀드렸던 적이 있습니다. 그리고 충분한 양의 데이터만 있다면 이 뉴럴 네트워크를 통해 사람의 도움 없이 인공지능이 데이터에서 특징을 추출할 수 있다고 했습니다.
딥러닝의 정의, 특징, 알고리즘 종류
이전 블로그 포스팅에서 머신러닝과 딥러닝의 차이에 대해서 간략하게 알아보았습니다. 머신러닝과 딥러닝의 정의, 차이, 장단점AI 기술의 발달로 '머신러닝(기계학습)'을 활용함으로써 업무를
lets.hope2solveproblems.com
뉴럴 네트워크가 인간의 뇌의 신경세포를 본떠서 만들어진 것을 알고 계실까요? 이번 포스팅에서는 그 뉴럴 네트워크와 인류의 '뇌'와의 관계에 대해 설명해 보겠습니다.
인간 뇌세포의 구조
뉴럴 네트워크는, 인간의 뇌의 신경세포(뉴런)의 구조를 프로그램상에서 본뜬 모델이라고 알려져 있습니다. 더 자세히 이해하기 위해, 우선 인간의 뇌 구조와 기능에 대해 설명하겠습니다.
뇌의 구조
인간의 뇌는 신경세포에 의한 거대한 네트워크 구조로 되어 있고, 그것을 구성하고 있는 것이 '신경세포'입니다. 신경세포는 전기신호를 발하여 정보를 주고받는 세포로 그 수는 대뇌에서 수백억 개, 소뇌에서 약 1000억 개, 전체로는 천수백억 개에 이릅니다.
신경세포는, 각각을 연결하는 '축삭'과, 무성한 나뭇가지처럼 다양한 방향으로 분기하고 있는 '수상돌기'로 서로 연결되어 네트워크 구조의 '신경 회로'를 형성하고 있습니다. 신경세포는 세포체와 축삭과 수지상 돌기로 하나의 단위 뉴런(신경단위)이라고도 부릅니다.
세포체의 크기는 큰 것은 0.1mm 이상이 되지만 작은 것은 0.005mm 정도의 크기입니다. 대뇌에서는 불과 1입방 밀리미터에 10만 개 이상의 신경세포가 막혀 있고, 뇌 전체의 신경세포에서 나와 있는 축삭이나 수지상 돌기를 모두 연결하면 100만 km 이상이나 됩니다. 인간의 뇌가 얼마나 밀도가 높은 복잡한 네트워크인지 알 수 있습니다.
뇌가 작용하는 방법
뉴런의 '수상 돌기'가 다른 신경세포로부터 전기 신호의 정보(임펄스)를 받는 역할을 해, '수상 돌기'가 받은 전기 신호는 '세포체'로부터 '축삭'을 지나 다음의 신경세포에 전달해 간다고 하는 구조로 정보 처리를 실시하고 있습니다.
각각의 뉴런은 약 1만의 다른 뉴런에 연결되어 있고, 실은 병원 등에서 측정하는 '뇌파'는, 이 신경세포 네트워크를 지나간 임펄스를 외부로부터 측정한 것입니다.
전기 신호의 세기
'축삭'과 '수상돌기'는 직접 연결되어 있는 것은 아니고, 이 둘이 접속된 부분에는 틈새(시냅스)가 있습니다. 시냅스까지 도착한 전기신호는 신경전달물질과 함께 다음 세포에 전달되는데, 그 양이 일정해지면 다음 세포에 전기신호가 생겨나 정보가 전달되는('발화'하는) 구조로 되어 있습니다.
인공지능의 신경망이란
위와 같은 구조를 컴퓨터상에 재현하면 어떨까 하는 생각이 당연히 들것입니다.
이 뉴런의 구조를 시험하는 발상은 1943년경에 생겨났으며, 신경생리학자·외과의사인 워런 매컬록(Warren Sturgis McCulloch)과 논리학자·수학자인 월터 피츠(Walter Pitts)가 발표한 것이 세계 최초의 인공 뉴런(형식 뉴런)입니다.
임펄스는 일정한 양의 전기신호를 받아 정보를 전달하지만, 형식 뉴런에서는 「입력×무게<역치」라고 하는 계산으로 출력에 이릅니다. (형식 뉴런의 경우에는 통상적인 경우 입력, 출력 모두 0인가 1인가입니다.)
신경망 발전의 역사
퍼셉트론
그 후 1957년에 미국의 심리학자 프랭크 로젠블랫(Frank Rosenblatt)이 고안한 것이 퍼셉트론입니다. 퍼셉트론은 패턴 인식을 할 수 있고 학습할 수 있었기 때문에 일시적인 붐을 일으키지만, '선형 분리 가능한 문제'밖에 대응할 수 없는 것을 지적받아 그 붐은 곧 시들해집니다.
백프로파게이션 발표
그로부터 30년 정도 지난 1986년에는 미국의 인지심리학자 데이비드 럼멜하트(David E. Rumelhart) 등에 의한 다층 퍼셉트론을 사용한 백프로퍼게이션(오차역전파학습법)이라는 알고리즘이 생겨나게 됩니다.
이는 '숨은 층'을 더한 2층 이상의 퍼셉트론을 사용함으로써 '비선형 분리 가능한 문제'를 풀 수 있게 됐지만 동시에 알고리즘 조정이 어려워진다는 문제에 백프로퍼게이션을 사용함으로써 다층 구조에서도 가중치 조정을 가능하게 하고 적절한 학습을 할 수 있게 되는 돌파구였습니다.
딥러닝의 시작
형식 뉴런을 발전시키는 형태로 퍼셉트론이 등장하여 제한적이지만 학습이 가능해졌고, 그 한계도 퍼셉트론을 다층으로 만들어 학습할 수 있게 되었습니다. 그렇다면 한층 더 다층으로 함으로써 더 기능이 향상되는 걸까요?
아쉽게도 다층으로 만든 복잡한 네트워크에서는 잘 학습할 수 없는 현상이 일어났습니다.
각각의 층에서 무게를 튜닝해도, 전체의 네트워크 안에서 균질해져 버려 무게 부여의 의미가 상실되어 버리는 문제가 나왔습니다.(구배 소실 문제) 이를 해결하기 위한 방법 중 하나로 자기 부호 화기에 의한 사전 학습으로 초기값 설정을 할 수 있습니다.
'왜 잘 학습할 수 있게 되는가'에 대한 답은 이론적으로는 풀기 어렵지만, 경험적으로 잘 되었기 때문에 경험을 바탕으로 사용하고 있다고 말할 수 있는 것입니다.
인공지능과 우리의 뇌는 닮은 점이 많습니다. 그러나 신경망은 인간의 뇌를 모방하고 있다는 표현에는 약간의 오류가 있습니다. 신경망은 어디까지나 함수의 모델로서 신경세포의 원리를 바탕으로 만든 것입니다. '인공 뉴럴 네트워크'는 '인공 뇌'가 아니라는 것을 확실히 해두는 것이 좋을 것 같습니다.
그렇지만 인공지능 알고리즘의 연구로부터의 뇌 과학도 발전된다는 재미있는 현상도 있습니다. 예를 들자면 소뇌 퍼셉트론 가설이죠. 서로의 연구와 발전에 도움을 주는 인공지능과 뇌과학. 앞으로의 새로운 인공 지능·뉴럴 네트워크의 연구를 기대하게 됩니다.
'인공지능 (AI)' 카테고리의 다른 글
| LLM(대형 언어 모델)을 만드는 프로세스, 과정 (10) | 2024.12.18 |
|---|---|
| LLM(대형 언어 모델)의 개념과 차이 (생성 AI, 머신러닝, NLP) (2) | 2024.12.17 |
| 머신러닝을 활용한 데이터 분석 활용 사례 (의료 / 금융 / 교통 / 에너지 / 마케팅) (0) | 2024.12.17 |
| 통계학적 데이터 분석과 머신러닝의 차이 3 (2) | 2024.12.16 |
| 통계학적 데이터 분석과 머신러닝의 차이 2 (0) | 2024.12.16 |
