누가 심층 잔차 학습을 발명했는가 — Schmidhuber의 2025년 기술 보고서 읽기

한 문장 요약: 이 글을 읽으면 Schmidhuber가 2025년 기술 보고서에서 제시한 '잔차 학습 진화 타임라인'(1991 → 2015)의 구조와, 저자 주장·선행 연구 기여·기술적 전제 조건을 균형 있게 이해할 수 있습니다.

1. 왜 이 주제를 알아야 하는가

2025년 기준, 21세기 가장 인용된 과학 논문은 심층 잔차 학습(deep residual learning)에 관한 신경망 논문입니다. 저자인 Jürgen Schmidhuber(2025년 9월 28일, AI Blog / Technical Report IDSIA-09-25)는 "Who Invented Deep Residual Learning?"이라는 보고서에서 이 발명의 출발점을 1991년으로 소급하며 주장을 전개합니다 (01_2509.24732v1.pdf Page1).

핵심은 단순한 연대기 나열이 아니라, ResNet·Highway Net·LSTM이 어떤 수학적 조건에서 서로 같은 구조인지를 규명하는 데 있습니다.

2. 잔차 연결이란 무엇인가

잔차 연결은 매 시간 단계에서 현재 입력을 이전 활성값에 더하는 구조로, 저자는 이를 "그냥 증분 적분기(incremental integrator)"라고 설명합니다 (01_2509.24732v1.pdf Page2). 이 단순한 구조가 깊은 그래디언트 기반 오차 최소화 RNN에서 일정 오류 흐름(constant error flow)**을 보장합니다.

핵심 특징

• 가중치 1.0이 전제 — 1676년 라이프니츠의 연쇄 법칙에 따라 곱셈 미분값이 항상 1.0이 되어, 오차 신호가 수백만 단계를 소실·폭발 없이 전파
• 1.0이 아닌 실수 가중치는 잔차 연결이 아님 — 저자는 "이전의 자기 연결들(예: 1988년)은 잔차 연결이 아니다. 오직 1.0 가중치만 소실/폭발 문제를 중화한다"고 단정합니다 (01_2509.24732v1.pdf Page2)
• 근사 가중치는 시간에 따라 감쇠 — 저자가 제시한 계산에 따르면 0.99는 100단계 후 약 37%, 0.9는 100단계 후 약 0.0027%로 떨어집니다

3. 저자가 제시하는 진화 타임라인

저자는 발명의 계보를 여섯 단계로 정리합니다 (01_2509.24732v1.pdf Page1).

4. 기술 관계의 전제 조건 — "ResNet = Highway Net"의 의미

저자의 핵심 기술 주장은 수식 수준의 조건부 등치성에 있습니다. 전제 조건을 지키지 않으면 성립하지 않는 관계라는 점이 중요합니다.

Highway Net의 계산 구조

Highway NN의 각 비입력 층은 g(x)x + t(x)h(x) 를 계산합니다 (x는 이전 층 데이터, g·t·h는 비선형 미분 가능 함수). 여기서 결정적인 잔차 부분은 g(x)x 부분이며, 게이트 g(x)는 일반적으로 1.0으로 초기화됩니다 (01_2509.24732v1.pdf Page3, Page4).

등치 관계의 성립 조건

• ResNet = Highway Net의 게이트를 학습 내내(초기화가 아니라) 항상 1.0으로 설정한 경우 — 저자는 이 조건에서 "so-called plain Residual Net or ResNet"이 7개월 후 출판된 것과 효과적으로 같다고 주장합니다 (01_2509.24732v1.pdf Page4)
• Highway Net = 게이트 달린 ResNet, 즉 1999 LSTM의 피드포워드 변형 — 단, 게이트가 열려 있는 초기 상태에서만 ResNet과 구조적으로 유사하며, 성능 향상 시 맥락에 따라 게이트를 닫을 수 있습니다
• 1997 LSTM의 피드포워드 변형 = 열린 게이트 Highway Net(=ResNet) — 저자가 주장하는 대응 관계

"Setting the Highway NN gates of May 2015 to 1.0 at all times (not just in the initial phase of training) effectively gives us the so-called plain Residual Net or ResNet published 7 months later." (01_2509.24732v1.pdf Page4)

주의할 점: 이 등치는 "게이트를 항상 1.0으로 고정"이라는 전제 아래에서만 성립하는 구조적 유사성입니다. 저자 자신도 Highway Net이 "맥락에 따라 잔차 속성을 일시적으로 제거할 수 있다"고 명시하므로, 두 구조가 무조건 동일하다는 주장은 아닙니다.

5. 선행·후속 연구의 기여 균형

선행 연구의 기여

• Hochreiter(1991) — 잔차 연결을 최초로 도입하고 소실/폭발 그래디언트를 최초로 분석. Schmidhuber는 지도교수로서 이 연구를 포함시켰습니다
• Gers·Schmidhuber·Cummins(1999) — 오늘날 TensorFlow 등에서 쓰이는 vanilla LSTM의 forget gate 구조 제안
• Srivastava·Greff·Schmidhuber(2015) — 수백 층 깊이의 최초 동작 피드포워드 신경망 Highway Networks
• He·Zhang·Ren·Sun(2015) — ResNet 논문. ImageNet 2015 대회 우승으로 잔차 학습이 확산됨
• Fukushima(1979), LeCun 외(1989) — 참고문헌에서 현대적 CNN의 선행 계보로 함께 언급됩니다 (01_2509.24732v1.pdf Page6~Page7)
• Bengio·Simard·Frasconi(1994) — 저자는 이 논문의 결과가 Hochreiter(1991)와 "본질적으로 동일하다(essentially identical)"고 서술합니다 (01_2509.24732v1.pdf Page12)

저자가 제기하는 인용·선행 관련 쟁점

• ResNet 논문이 Highway Net을 "동시 연구(concurrent)"로 표기한 것에 대해, 저자는 "그렇지 않았다(but it wasn't)"며 7개월 선행을 근거로 반박합니다 (01_2509.24732v1.pdf Page5)
• ResNet 저자의 후속 논문에 대해, 저자는 Srivastava(2025년 1월)의 "Weighted Skip Connections are Not Harmful for Deep Nets" [HW25b]를 근거로 설계 결함으로 인한 잘못된 결론이 있었다고 지적합니다 (01_2509.24732v1.pdf Page9)
• 2017년 Transformer 논문 [TR1]이 1991년 ULTRA를 인용하지 않았다는 점, Schmidhuber가 1993년 "attention" 용어를 도입했다는 점을 참고문헌에서 함께 제시합니다 (01_2509.24732v1.pdf Page11)

후속 확장

• 2021년 미국 특허청이 Highway Net(=일반화된 ResNet)에 대해 Schmidhuber의 AI 회사 NNAISENSE에 특허를 부여했다고 기록됩니다 (01_2509.24732v1.pdf Page5)
• 저자는 LSTM이 20세기, 열린 게이트 Highway Net 변형이라 불리는 ResNet이 21세기 가장 많이 인용된 신경망이라고 인용 데이터를 근거로 제시합니다 [MOST] (01_2509.24732v1.pdf Page5)

6. 사람들이 자주 오해하는 부분

오해: ResNet이 잔차 연결을 최초로 발명했다. 실제: 저자에 따르면 잔차 연결(가중치 1.0)의 수학적 도입은 1991년 Hochreiter의 학위논문에서 완성되었고, ResNet은 2015년 5월 Highway Net의 게이트를 항상 열어둔 변형입니다.

오해: Highway Net과 ResNet은 서로 다른 별개 기술이다. 실제: 저자는 "Highway Nets are gated ResNets: set the gates to 1.0→ResNet"이라고 정리하며, ImageNet에서 두 성능이 대체로 비슷하다고 인용합니다 [HW3] (01_2509.24732v1.pdf Page8).

오해: 게이트가 있으면 잔차 연결이 성립하지 않는다. 실제: 1999 LSTM·Highway Net의 게이트는 초기값이 1.0(열림)이므로 초기에는 순수 잔차 연결이며, 게이트를 닫는 것은 학습 과정에서 성능 향상 시에만, 그것도 통제된 방식으로 재도입되는 것입니다 (01_2509.24732v1.pdf Page2, Page5).

7. 그래서 무엇을 확인해야 하는가

1. 언급된 등치 관계의 전제 조건은 무엇인가 — "게이트 = 1.0 고정" 조건이 붙는지 확인
2. 발명 주장과 인용 데이터는 구분되는가 — 인용 순위([MOST])는 사실 데이터, 발명 계보는 저자의 해석
3. 선행 연구 인정 여부 — Hochreiter 1991, Gers 1999, Srivastava 2015, He 2015의 기여가 함께 서술되는가
4. 비판 대상의 근거 — ResNet 후속 논문 비판은 Srivastava(2025) [HW25b]라는 별도 근거에 연결되는가
5. 성능 비교의 범위 — "Highway Nets perform roughly as well as ResNets on ImageNet"은 ImageNet 한정 표현인가

최종 핵심 정리

• 발명 시점 주장: 저자는 잔차 학습의 뿌리를 1991년 6월 Hochreiter의 학위논문으로 소급합니다
• 구조적 관계: ResNet은 "게이트가 항상 열린 Highway Net", Highway Net은 "게이트 달린 ResNet" — 1.0 고정 조건에서 성립하는 유사성
• 인용 균형: 20세기 최다 인용 LSTM, 21세기 최다 인용 ResNet 모두 Schmidhuber 연구실 계보에 연결된다고 저자는 주장하며, 이는 [MOST]·[MOST25] 인용 데이터에 근거합니다
• 한계: 본 보고서는 저자 본인의 기술 보고서(AI Blog)로, 발명 계보의 해석은 전적으로 저자 관점이며 독립 검증이 필요합니다

한 줄 요약: 잔차 학습은 1991년의 수학적 아이디어에서 1997·1999년 LSTM의 게이트를 거쳐 2015년 Highway Net과 ResNet으로 도달했으며, "ResNet = 열린 게이트 Highway Net"이라는 관계는 게이트 1.0 고정이라는 전제 위에서만 성립한다.