누가 딥 잔차 학습을 발명했나 — 1991년에서 ResNet까지, 24년의 진화 지도

한 문장 요약: 이 글을 읽으면 "ResNet의 발명자는 누구인가"라는 질문에 대해, 잔차 연결이 1991년 순환 신경망에서 시작해 2015년 ResNet으로 도착한 24년의 계보로 답할 수 있게 됩니다.

개요

  • 주제: Jürgen Schmidhuber의 AI 블로그 기술 보고서(2509.24732v1) 분석 — 딥 잔차 학습(Deep Residual Learning)의 발명 계보
  • 핵심 관점: ResNet은 2015년에 갑자기 등장한 기술이 아니라, LSTM을 거쳐 Highway Net으로 이어진 하나의 원리(가중치 1.0의 잔차 연결)의 변형이다
  • 핵심 키워드: 잔차 연결, 소실 gradient, LSTM, Highway Network, ResNet, 게이트

핵심 메시지 3가지

1. 잔차 연결의 원점은 1991년이다

Sepp Hochreiter는 1991년 6월 Jürgen Schmidhuber가 지도한 학위 논문에서 순환 신경망(RNN)용 잔차 연결을 도입했습니다. 논문은 "compute was about 10 million times more expensive than today (2025)"라는 조건에서, 소실·폭발하는 기울기 문제를 수학적으로 처음 규명하고 해결책을 제시했습니다.

2. ResNet은 "게이트를 항상 열어둔 Highway Net"이다

2015년 5월 Highway Net의 게이트를 항상 1.0으로 두면 7개월 뒤(2015년 12월) 발표된 ResNet이 됩니다. 즉 ResNet = open-gated Highway Net = 펼쳐진(unfolded) 1997 LSTM 구조입니다.

"Setting the Highway NN gates of May 2015 to 1.0 at all times (not just in the initial phase of training) effectively gives us the so-called plain Residual Net or ResNet published 7 months later."

3. 21세기 가장 인용된 논문의 뿌리는 20세기 LSTM에 있다

2025년 기준 21세기 가장 인용된 과학 논문은 잔차 연결을 다룬 딥러닝 논문이며, 그 원형인 1997년 LSTM 논문은 "the most cited AI paper of the 20th century"입니다. 두 논문 모두 같은 원리 — 가중치 1.0의 잔차 연결 — 위에 서 있습니다.

왜 이 주제를 알아야 하는가

현대 AI의 상당 부분은 딥 인공 신경망(NN)에 기반합니다. 그리고 2025년 시점에서 21세기 최다 인용 논문이 "deep residual learning with residual connections" 논문이라는 사실이 출발점입니다. 문제는 "그걸 누가 발명했는가"입니다.

이 문서는 감정적 주장이 아니라, 각 단계의 연도·구조·가중치 초기값·작성자를 대조하는 방식으로 계보를 증명합니다.

잔차 학습 진화 타임라인: 6단계

시점 단계 구조적 특징
1991 순환 잔차 연결 가중치 1.0 — 소실 기울기 문제 해결
1997 LSTM 단순 순환 잔차 연결(가중치 1.0), CEC 구조
1999 LSTM(게이트 추가) 게이트가 초기 열림(1.0) 인 순환 잔차 연결
2005 LSTM 펼치기(unfolding) 순환 → 피드포워드 잔차 NN로 전환 (BPTT)
2015년 5월 Highway Net 게이트형 피드포워드 잔차 연결(초기 1.0)
2015년 12월 ResNet 게이트가 항상 열린 Highway Net = 펼쳐진 1997 LSTM

진화 경로: ① 순환 잔차(1991) → ② LSTM 상수 오류 캐럿셀(1997) → ③ 게이트 추가·초기 열림(1999) → ④ BPTT로 펼치기(2005) → ⑤ 피드포워드 게이트 잔차 = Highway Net(2015.5) → ⑥ 게이트 상시 개방 = ResNet(2015.12)

1991년 순환 잔차 연결에서 2015년 Highway Net·ResNet까지의 구조 진화 다이어그램 — ADD GATE, UNFOLD, OPEN GATE 전환 관계를 표시

단계별 핵심 내용

1991: 소실 기울기 문제의 규명과 해결

Hochreiter의 잔차 연결은 "at every time step of information processing, this unit just adds its current input to its previous activation value" — 즉 증분 적분기 구조입니다. 1676년 라이프니츠의 연쇄 법칙에 따라 관련 미분값과 가중치가 항상 1.0이 되므로, 오류 신호가 수백만 단계를 거쳐도 소실·폭발하지 않습니다.

중요한 단서: 자체 연결이라도 실수 가중치가 1.0이 아니면 잔차 연결이 아닙니다. 다만 1.0에 가까운 값은 허용됩니다.

  • 가중치 0.99 → 100단계 후 약 37% 유지
  • 가중치 0.9 → 100단계 후 약 0.0027% 유지

같은 "거의 1"이라도 100단계에서 약 13,700배의 차이가 납니다 (37% ÷ 0.0027%).

1997–1999: LSTM — 잔차의 상용화

  • 1997년 LSTM: 핵심 단위를 "constant error carrousels (CECs)"라 명명 — 잔차 연결(가중치 1.0)이 LSTM이 수백·수천 단계의 시간 지연을 처리할 수 있는 이유입니다.
  • 1999년 LSTM(vanilla): forget gate를 추가하되 초기 상태를 열림(1.0) 으로 초기화. 학습 과정에서 게이트를 닫는 법을 배우되, 닫으면 "the vanishing gradient problem... but in a controlled way"로 재도입됩니다.

2005: LSTM 펼치기 — 순환에서 피드포워드로

BPTT 알고리즘은 시퀀스 처리 LSTM을 시간 스텝마다 가상 레이어를 갖는 딥 피드포워드 NN(FNN) 으로 펼칩니다. Schmidhuber의 박사과정 Alex Graves가 2005년 BPTT에 집중하면서 LSTM은 이전 RNN보다 훨씬 깊어졌습니다. 펼친 구조에서도 잔차 연결 가중치는 시간에 걸쳐 공유되지만 모두 1.0에 묶여 있으므로 본질은 변하지 않습니다.

2015년 5월: Highway Net — FNN에 깊이를 열다

2014년까지 GPU 하드웨어에도 불구하고 피드포워드 NN는 "at most 20-30 layers or so"에 머물렀습니다. Schmidhuber의 박사과정 Rupesh Kumar Srivastava와 Klaus Greff는 LSTM의 게이트형 잔차 연결 원리를 FNN으로 옮겨, 수백 층짜리 최초의 작동 딥 FNN인 Highway Networks를 만들었습니다.

각 층은 g(x)x + t(x)h(x) 를 계산하며, 핵심은 잔차 부분 g(x)x — 게이트 g(x)를 1.0으로 초기화해 plain residual connection(가중치 1.0)을 확보합니다.

2015년 12월: ResNet — 게이트를 열어둔 결과

ResNet은 ImageNet 2015 경쟁을 우승하며 주목받았지만, 문서는 "Highway Nets perform roughly as well as ResNets on ImageNet"이라고 전하며, ResNet 논문이 Highway Net을 "concurrent"로 표기한 방식이 관계를 불명확하게 만들었다고 지적합니다. 구조적으로는 1997 LSTM의 피드포워드 변형입니다.

LSTM·Highway Networks·ResNet의 관계를 한 장에 압축한 텍스트 아트 — "BASED ON LSTM PRINCIPLE, OPEN-GATED VARIANT: RESNET" 표기

발명 귀속을 둘러싼 문서의 논지

항목 문서의 주장
발명 시점 1991년 6월 Hochreiter 학위 논문 (Schmidhuber 지도)
원리 가중치 1.0의 잔차 연결 — 1.0이 아니면 잔차 연결이 아님
LSTM 기여 1997년 CEC, 1999년 게이트형 vanilla LSTM
Highway Net Srivastava·Greff(2015.5) — LSTM 원리를 FNN로 이식
ResNet의 정체 Highway Net의 open-gated 변형(2015.12)
특허 2021년 미국 특허청이 Highway Nets(=generalized ResNets)에 대해 NNAISENSE에 특허 부여
용어 출처 "residual"은 signal processing와 control theory에서 차용됨

사람들이 자주 오해하는 부분

오해: ResNet이 2015년에 처음 제안된 고유한 아이디어다. 실제: ResNet은 2015년 5월 Highway Net의 게이트를 상시 개방(1.0)한 특수한 경우이며, Highway Net은 1999년 LSTM의 피드포워드 변형이다. 문서는 "The basic LSTM... also to deep FNNs. And it all dates back to 1991"로 요약합니다.

오해: 어떤 자체 연결도 잔차 연결이다. 실제: "previous self-connections with real-valued weights other than 1.0 are not residual connections. Only 1.0 weights neutralize the vanishing/exploding gradient problem."

그래서 무엇을 확인해야 하는가

  1. 가중치 값 — 해당 연결의 초기 가중치가 정확히 1.0인지, 1.0에 가까운지(0.99 vs 0.9의 차이)를 먼저 확인합니다.
  2. 게이트 유무 — 게이트가 있으면 Highway Net 계열, 없으면 ResNet 계열로 구분합니다.
  3. 초기화 상태 — 게이트가 "initially open(1.0)"인지가 1999 LSTM과 2015 Highway Net을 잇는 고리입니다.
  4. 구조 전환 방식 — 순환 → 펼치기(unfold) → 게이트 개방(open gate)의 3단계 전환으로 모든 관계가 설명되는지 점검합니다.
  5. 발표 시점의 선후 — 2015년 5월(Highway)과 12월(ResNet) 사이의 7개월 간격이 관계 판단의 핵심 단서입니다.

관점 포인트

  • 잔차 연결 논쟁의 본질은 "아키텍처 이름"이 아니라 가중치가 1.0인가입니다.
  • 소실 기울기 문제의 해결은 제어된 재도입(게이트 닫기)까지 포함할 때 완성됩니다.
  • 딥러닝의 핵심은 NN의 깊이이며, LSTM은 지도 학습 RNN에, Highway NN은 FNN에 각각 그 깊이를 열었습니다.
  • 인용 순위는 계보를 대변합니다 — 20세기 최다 인용 LSTM, 21세기 최다 인용 ResNet이 같은 원리의 앞뒤입니다.

최종 핵심 정리

확인해야 할 핵심 질문

  • 잔차 연결을 최초로 수학적으로 도입한 시점과 인물은? → 1991년 6월, Sepp Hochreiter (Schmidhuber 지도)
  • ResNet과 Highway Net의 구조적 차이는? → 게이트의 상시 개방 여부
  • 1999년 LSTM이 게이트를 왜 열림(1.0)으로 초기화했는가? → 잔차 속성을 유지하되 필요 시 제어적으로 닫기 위해
  • 2021년에 별도로 등록된 지식재산은? → Highway Nets(=generalized ResNets)에 대한 미국 특허, NNAISENSE 명의

한 줄 요약: ResNet을 발명한 것은 2015년의 한 논문이 아니라, 1991년의 가중치 1.0이라는 원리가 LSTM을 거쳐 Highway Net의 게이트를 열 때까지 24년간 이어진 계보입니다.