누가 심층 잔차 학습을 발명했는가 — Schmidhuber의 2025년 기술 보고서 해설

한 문장 요약: 이 글을 읽으면 잔차 연결(Residual Connection)의 기원을 둘러싼 Schmidhuber의 주장을, 원문의 성립 조건·설정 예외·선행/후속 연구 균형까지 포함해 이해할 수 있습니다.

개요

• 주제: Jürgen Schmidhuber(2025년 9월 28일, Technical Report IDSIA-09-25)가 AI 블로그에 게재한 "Who Invented Deep Residual Learning?"의 기술적·역사적 주장 정리
• 핵심 관점: 저자는 ResNet을 독립 발명이 아닌 "LSTM에서 파생된 Highway Net의 변형"으로 본다
• 핵심 키워드: 잔차 연결, 소실하는 기울기, LSTM, Highway Network, ResNet, 가중치 1.0

핵심 메시지 3가지

1. 잔차 연결의 조건은 "가중치 1.0"이다

저자는 잔차 연결의 성립 조건을 명확히 구분한다. 1.0이 아닌 실수 가중치의 자기 연결은 잔차 연결이 아니며, "Only 1.0 weights neutralize the vanishing/exploding gradient problem"라고 주장한다. 다만 근사 조건도 허용한다 — 0.99¹⁰⁰ ≈ 37%는 수백 단계까지 수용 가능하지만, 0.9¹⁰⁰ ≈ 0.0027%는 의미 있는 신호가 남지 않는다.

2. ResNet은 "게이트를 항상 연 Highway Net"이다

저자에 따르면 2015년 5월 Highway Net의 게이트를 학습 초기가 아니라 항상 1.0으로 고정하면 7개월 뒤(2015년 12월)의 ResNet이 된다. 즉 ResNet은 open-gated Highway Net, Highway Net은 gated ResNet이다.

"Setting the Highway NN gates of May 2015 to 1.0 at all times (not just in the initial phase of training) effectively gives us the so-called plain Residual Net or ResNet published 7 months later." [원문 Page4]

3. 원점은 1991년 Hochreiter의 학위논문으로 거슬러 올라간다

저자는 Sepp Hochreiter가 1991년 6월 Schmidhuber 지도 아래 작성한 학위논문 [VAN1]에서 순환 잔차 연결이 최초로 수학적으로 도입되었다고 주장한다. 소실·폭발하는 기울기 문제도 같은 논문에서 최초로 분석되었다.

잔차 학습 진화 타임라인

성립 조건과 저자가 실제 사용한 설정

잔차 연결이 작동하는 조건

① 자기 연결 가중치 = 1.0 (Leibniz의 연쇄 법칙에 의해 미분 곱셈항이 항상 1.0) → ② 오차 신호가 수백만 단계 동안 소실/폭발 없이 전파 → ③ 깊은 네트워크 학습 가능

Highway Net의 수식과 설정 예외

저자에 따르면 Highway NN의 각 비입력층은 g(x)x + t(x)h(x) 를 계산하며, 핵심은 잔차 부분인 g(x)x이다. 여기서 두 가지 설정이 등장한다.

• 일반형: 게이트 g(x)를 1.0으로 초기화 → 순수 잔차 연결 확보. 이후 학습 과정에서 성능 향상 시 맥락에 따라 게이트를 일시 닫을 수 있음 (1999 LSTM의 forget gate와 동일 원리)
• 저자가 언급하는 최초 논문 [HW1]의 특수한 경우: 파라미터 수를 줄이기 위해 g(x) = 1 − t(x), t(x)를 0에 가깝게 초기화 → 순전파 시 각 층이 사실상 입력을 복사, 역전파 오차 미분이 1.0에 근접

즉 "게이트가 열려 있는 것"은 이론적 보장이 아니라 초기화 설계 의도이며, 학습 중 게이트가 닫히면 소실 기울기 문제가 통제된 방식으로 재등장한다고 저자는 설명한다.

선행·후속 연구의 기여 균형

선행 연구 측면

• Hochreiter [VAN1] (1991): 잔차 연결과 소실 기울기 문제 분석의 원점. 지도교수는 Schmidhuber
• Bengio et al. [VAN2] (1994): 저자도 [VAN2]의 결과가 Hochreiter(1991)와 "essentially identical"하다고 인정한다. 다만 원 저작을 인용하지 않은 사례를 문제로 지적한다
• Highway Net [HW1] (2015년 5월): Srivastava·Greff·Schmidhuber. 수백 층 깊이의 최초 동작 피드포워드 NN

ResNet 측면의 기여와 쟁점

• ResNet [HW2] (He et al., 2015년 12월)는 ImageNet 2015 우승으로 주목받았고, 21세기 최다 인용 논문이 되었다 [MOST25, Nature 2025-04-15]
• 저자는 ResNet 논문이 Highway Net을 "concurrent"로 표기한 것에 이의를 제기한다 — 실제로는 7개월 앞선 연구였다는 것이다
• 후속 논문에 대해서는 저자가 아니라 ResNet 저자 측 후속작의 문제를 Srivastava [HW25b]가 지적했다는 점을 원문은 함께 기재한다: "Weighted Skip Connections are Not Harmful for Deep Nets" — 설계 결함으로 게이트 달린 잔차 연결에 대한 부정확한 결론을 유도했다는 내용이다
• 균형점: 저자도 Highway Net이 ImageNet에서 ResNet과 대략 비슷한 성능을 낸다고 [HW3] 기재하며, 특정 알고리즘 과제에서는 Highway 게이트 변형이 순수 잔차 층보다 효과적인 경우가 있다고 인정한다 [NDR]

사람들이 자주 오해하는 부분

오해: ResNet은 완전히 새로운 발명이다. 실제: 저자에 따르면 ResNet은 게이트가 상시 열린 Highway Net이며, 구조적으로는 1997 LSTM을 전개한 피드포워드 변형이다. "The term residual was apparently adopted from signal processing and control theory"라며 용어의 출처도 별도임을 밝힌다.

오해: 어떤 자기 연결도 잔차 연결이다. 실제: 가중치는 반드시 1.0이어야 한다. 1.0이 아니면 소실/폭발 기울기 문제를 중화하지 못한다.

그래서 무엇을 확인해야 하는가

1. 잔차 연결을 논할 때 가중치 1.0이라는 성립 조건을 명시했는가
2. Highway Net과 ResNet의 관계를 초기화 설정(게이트 1.0)과 상시 고정의 차이로 설명했는가
3. 우선권 주장과 별개로 Bengio(1994), ResNet(2015)의 독립적 기여를 함께 제시했는가
4. 인용 관계의 쟁점([VAN2], ResNet 논문의 표기)이 사실 서술과 저자 주장을 구분되어 있는가
5. 특허·최다 인용 같은 외부 검증 지표(2021년 NNAISENSE Highway Net 특허, LSTM·ResNet의 세기별 최다 인용)를 원문 출처와 함께 확인했는가

최종 핵심 정리

• 발명의 기원: 저자는 1991년 Hochreiter의 학위논문을 잔차 연결의 출발점으로 본다
• 구조적 관계: ResNet = 열린 게이트 Highway Net = 전개된 1997 LSTM (저자의 해석)
• 성립 조건: 가중치 1.0 + 게이트 초기 열림(1.0), 학습 중 게이트 폐쇄는 통제된 예외
• 균형점: ResNet의 독자적 성과(ImageNet 2015, 최다 인용)와 선행 연구(Highway Net, LSTM)의 계보가 공존한다

한 줄 요약: 잔차 학습의 역사는 "1.0으로 고정된 자기 연결"이라는 하나의 조건에서 시작해, 게이트의 유무라는 축을 따라 LSTM → Highway Net → ResNet으로 갈라진 34년의 계보다.