Paper Review/그외
[Paper Review] NoProp: Training Neural Networks without Back-propagation or Forward-propagation
서이서
2025. 5. 26. 18:09
NoProp: Training Neural Networks without Back-propagation or Forward-propagation
The canonical deep learning approach for learning requires computing a gradient term at each layer by back-propagating the error signal from the output towards each learnable parameter. Given the stacked structure of neural networks, where each layer build
arxiv.org
연구실 세미나 때 발표한 논문이다.
논문 내용을 요약하면 propagation을 사용하지 않고 diffusion 기반으로 텍스트 임베딩 생성해서 image classification을 수행한다.
수식은 기존 diffusion model에서 약간 변형되서 나온다.
근데 결국 gradient descent를 사용해서 결국 propagation 쓰는거 아니냐는 말이 reddit에 있더라
코드도 미공개임