전체 글 (282) 썸네일형 리스트형 7월 첫주 목표 논문 관련related work 조사실험 진행일단 완성논문 수정논문 피드백영어 번역overleaf그외veo3 써보기미드저니 써보기노트북 포멧하고 환경설정하기 [Paper Review] SELF-REFINE: Iterative Refinement with Self-Feedback Goal대형 언어 모델(Large Language Models, LLMs)이 첫 번째 시도에서 완벽한 출력을 만들지 못하는 경우가 많으므로, 모델이 자기 자신의 출력을 피드백하고 개선하는 self refinement 방법을 도입하여 출력 품질을 높임Contribution새로운 SELF-REFINE 알고리즘을 제안: 동일한 언어 모델을 사용하여 생성, 피드백, 정제를 반복하는 구조.감독 학습이나 보상 모델 없이 작동하며, 단일 LLM만 필요함.GPT-3.5, GPT-4 등의 SOTA 모델을 사용하여 7가지 다양한 생성 작업에 적용.평균적으로 약 20%의 성능 향상 Methods단계초기 출력 생성: 모델 M이 입력 x에 대해 출력 y_0 생성자기 피드백 제공: 동일한 모델 M이 자신의 출력에 대한 피드백 f.. [Paper Review] NoProp: Training Neural Networks without Back-propagation or Forward-propagation NoProp: Training Neural Networks without Back-propagation or Forward-propagationThe canonical deep learning approach for learning requires computing a gradient term at each layer by back-propagating the error signal from the output towards each learnable parameter. Given the stacked structure of neural networks, where each layer buildarxiv.org 연구실 세미나 때 발표한 논문이다.논문 내용을 요약하면 propagation을 사용하지 않고 .. [Paper Review] A Survey on Time-Series Pre-Trained Models AbstractTime-Series Pre-Trained Models, TS-PTMs에 대한 분석 및 리뷰 제공1. IntroductionTime Series Mining(TSM)은 금융, 음성인식, 동작인식 등 다양한 응용분야에서 활용되고 있음TSM의 근본적 문제는 시계열 데이터를 어떻게 효과적으로 표현할 것인가에 대한 문제임shapelets 과 같은 표현방식의 경우 데이터에서 중요한 패턴만 추출하여 활용하므로 전문가의 도메인 지식에 크게 의존함최근 딥러닝 모델은 머신러닝과 달리 Feature extraction이 없이 자동으로 시계열 표현을 학습하며 TSM에서 큰 성공을 거둠. 그러나 이러한 모델은 대량의 라벨링 데이터를 필요로 함. 그러나 대규모 라벨링 시계열 데이터 구축은 어려움데이터 부족 문제를.. 12월 4주차 - 휴벳 분석 업무 진행- 휴벳 논문 내용 revision 확인- fine grained zero shot learning 관련 논문 탐색- knowledge distillation, knowledge injection에 대해 공부하기- 데이터 수집 및 필터링 24년 12월 2주차 오 벌써 다음주 귀국... 24년 끝남...남은 시간 빡세게 하자 fine-grained method + VLM 관련 방법론 생각해보기논문 계획 구체적으로 짜고 Feedback 받기 (제발 12월 내로 끝내줘 나 자신아...) MACD(Moving Average Convergence Divergence) MACD(Moving Average Convergence Divergence)이용법추세를 파악하고, 추세의 전환점 예측단독으로 사용하기보다는 다른 기술적 분석 지표와 함께 사용 구성 요소1. 단기 이동평균(short term moving average)- 보통 12일 동안 종가의 평균값- 가격의 최근 동향, 단기적인 움직임을 보여줌 2. 장기 이동평균(long term moving average)- 26일동안 종가의 평균값- 가격의 장기적 움직임 보여줌 3. signal line- 단기 이동평균과 장기이동평균의 차이에 대한 9일 이동평균- 추세의 방향성을 더 명확히 나타냄 생성 시그널1. MACD Line(이동평균 수렴선)- 단기이동평균에서 장기 이동평균을 뺀 값- 단기 추세의 강도와 방향성 보여줌- 0.. Reciprocal Rank Fusion(RRF) 기존 RAG의 경우 Retrieval 과정이 매우 중요함Retrieval 과정의 성능을 높이기 위해 BM25와 같은 키워드 기반 검색 기술, 임베딩을 사용하는 밀집 검색 방법이 제시됨 Reciprocal Rank Fusion(RRF)여러 소스의 Rank를 하나의 통합된 순위로 결합하는 순위 집계 방법D: DocumentR: 순위 지정자 집합k: 상수(일반적으로 60)r(d): 순위 지정자 r에 있는 문서 d의 순위 Steps사용자 쿼리 입력쿼리가 다중 검색기로 전송각 검색기가 관련 문서에 대한 자체 순위 생성RRF 공식을 사용해 각 검색기의 순위 결합RRF score를 토대로 통합 순위 산출상위 순위 사용해 최종 답변 생성 수식에 대한 수학적 직관1/(k+r(d))를 사용하면 더 높은 순위(낮은 숫자)에.. 이전 1 2 3 4 5 ··· 36 다음
