Paper Review/그외

[Paper Review] NoProp: Training Neural Networks without Back-propagation or Forward-propagation

서이서 2025. 5. 26. 18:09

Noprop.pdf
1.66MB

 

NoProp: Training Neural Networks without Back-propagation or Forward-propagation

The canonical deep learning approach for learning requires computing a gradient term at each layer by back-propagating the error signal from the output towards each learnable parameter. Given the stacked structure of neural networks, where each layer build

arxiv.org

 

연구실 세미나 때 발표한 논문이다.

논문 내용을 요약하면 propagation을 사용하지 않고 diffusion 기반으로 텍스트 임베딩 생성해서 image classification을 수행한다.

수식은 기존 diffusion model에서 약간 변형되서 나온다.

근데 결국 gradient descent를 사용해서 결국 propagation 쓰는거 아니냐는 말이 reddit에 있더라

코드도 미공개임