NoProp: Training Neural Networks without Back-propagation or Forward-propagation
The canonical deep learning approach for learning requires computing a gradient term at each layer by back-propagating the error signal from the output towards each learnable parameter. Given the stacked structure of neural networks, where each layer build
arxiv.org
연구실 세미나 때 발표한 논문이다.
논문 내용을 요약하면 propagation을 사용하지 않고 diffusion 기반으로 텍스트 임베딩 생성해서 image classification을 수행한다.
수식은 기존 diffusion model에서 약간 변형되서 나온다.
근데 결국 gradient descent를 사용해서 결국 propagation 쓰는거 아니냐는 말이 reddit에 있더라
코드도 미공개임
'Paper Review > 그외' 카테고리의 다른 글
| [Paper Review] A Survey on Time-Series Pre-Trained Models (0) | 2025.02.27 |
|---|---|
| [Paper Review] Question-Based Retrieval using Atomic Units for Enterprise RAG (0) | 2024.09.06 |
| Co2PT: Mitigating Bias in Pre-trained Language Models through Counterfactual Contrastive Prompt Tuning (0) | 2024.07.05 |
| [paper review] 심장소리 분류를 위한 inverted residuals 기반 경량화 모델 (2) | 2023.10.26 |
| 논문 쓰는 법 (0) | 2023.09.20 |
