AI Theory (82) 썸네일형 리스트형 Reciprocal Rank Fusion(RRF) 기존 RAG의 경우 Retrieval 과정이 매우 중요함Retrieval 과정의 성능을 높이기 위해 BM25와 같은 키워드 기반 검색 기술, 임베딩을 사용하는 밀집 검색 방법이 제시됨 Reciprocal Rank Fusion(RRF)여러 소스의 Rank를 하나의 통합된 순위로 결합하는 순위 집계 방법D: DocumentR: 순위 지정자 집합k: 상수(일반적으로 60)r(d): 순위 지정자 r에 있는 문서 d의 순위 Steps사용자 쿼리 입력쿼리가 다중 검색기로 전송각 검색기가 관련 문서에 대한 자체 순위 생성RRF 공식을 사용해 각 검색기의 순위 결합RRF score를 토대로 통합 순위 산출상위 순위 사용해 최종 답변 생성 수식에 대한 수학적 직관1/(k+r(d))를 사용하면 더 높은 순위(낮은 숫자)에.. LLM 사용 전술, Dragonfly VLM LLM 사용전술1. 전술적 측면프롬프팅 기법 활용에 집중:n-shot prompting, 문맥내 학습, CoT, 관련 리소스 제공 등입출력 구조화하기작고 한 가지 일을 잘하는 프롬프트를 만들 것컨텍스트 토큰 만들기정보검색/RAG새로운 지식에 대해서는 파인튜닝보다 RAG를 더 선호워크플로우 튜닝 및 최적화평가 및 모니터링 2. 운영적 측면데이터개발-프로덕션 편향 확인매일 LLM 입출력 샘플 확인하기모델 버전 관리 및 고정하기작업을 완료할 수 있는 가장 작은 모델 선택하기초기부터 디자인을 INVOLVE하기항상 실험하기 3. 전략적 측면대부분의 조직에서 LLM을 거의 처음부터 pretraining하는 것은 의미없음필요하다고 확인되기 전까지는 fine tuning 금지llmovpsai를 루프안에 넣고 사람을 중.. Qwen2, Stable Audio Open 오픈소스 모델 공개 Qwen2알리바바에서 공개한 오픈소스 LLM으로 특히 코딩, 수학분야에서 뛰어남모델 크기는 Qwen2-0.5B, Qwen2-1.5B, Qwen2-7B, Qwen2-57B-A14B, Qwen2-72BQwen2-72B-Instruct는 16개 벤치마크에서 Llama-3-70B-Instruct와 견줄만한 성능을 보임특히 코딩, 수학분야는 Llama3보다 낫다고 말함Llama3와 마찬가지로 GQA 기법을 사용앞으로 멀티모달 언어 모델로서 확장할 계획임허깅페이스에서 사용가능 Stable Audio Open텍스트 to 오디오 오픈소스 모델최대 47초 분량의 오디오 생성 가능허깅페이스에서 사용가능Stable Audio는 최대 3분 길이의 일관된 음악 구조를 가진 풀 트랙을 생성하는 등 고급 기능을 제공하나, Stab.. LLM 웹데이터 기반 학습 ↓ 내용요약- 과거에는 LLM이 주로 인터넷 데이터로 학습되었고, 현재도 대부분 그렇지만, 점점 덜 사실(less true)이며 이제는 맞춤형 데이터로 학습되고 있음- 증거?: OpenAI의 경우 GPT-3 논문때와 다르게 Sora, GPT-5 논문에서 학습 데이터에 대한 설명 없음- 데이터 처리 및 비공개 데이터(주석 및 필터링, RLHF, 사용 데이터 등)는 기존데이터와 다른 출력을 생성하는데 LLM이 취약하다는 단점을 완벽히 해결하지 못함- 해결방법: 개선된 아키텍처, 더 많은 파라미터, 그리고 새로운 예제 데이터- 예를 들어, Phi-3 모델의 경우 합성한 고품질의 맞춤형 데이터를 사용하여 더 크고 무거운 Mixtral 모델과 경쟁할만한 성능을 보여줌 결론데이터가 중요하다: 훌륭한 합성 데이터를 만드.. 위키피디아 벡터 데이터셋, Llama3를 활용한 멀티모달 모델 1. 위키피디아 전체를 벡터로 임베딩한 데이터셋- JVector로 벡터 인덱스 생성 후 Chronicle Map으로 기사 데이터를 저장하여 사용함- 벡터 압축을 위해 Locally-Adaptive Quantization 사용- 데이터 병렬 처리- Linux, Mac에서만 사용가능 노트북에서 Wikipedia 전체를 벡터 인덱싱하기 | GeekNewsCohere가 위키피디아 전체를 벡터로 임베딩한 데이터셋을 공개했음이 데이터셋을 사용하면 개인이 위키피디아의 의미 기반 벡터 인덱스를 만들 수 있게 됨어려운 점데이터셋 크기(영어 코퍼스만news.hada.io GitHub - jbellis/coherepedia-jvectorContribute to jbellis/coherepedia-jvector devel.. Phi3, LLaMa3 출시 1. Phi 3 출시3.8B, 7B, 14B의 SLM벤치마크 데이터셋으로 성능 평가한 결과 GPT-3.5 와 성능 비교도 가능 2. Stable Diffusion3 API 공개 3. 똑같은 실수를 반복하지 않으려면 실수에 대한 반응 패턴이 중요 4. OpenVoice v2 출시더 나은 음성 복제 품질, 다국어 지원, 상업적 사용 무료(MIT 라이센스)감정, 억양 등 음성 스타일을 세밀하게 제어 가능훈련 데이터에 포함되지 않은 언어도 제로샷으로 교차 언어 복제 가능 5. LLama3현재까지 성능이 가장 뛰어난 오픈소스 LLM실험적 동시성 기능: 단일 모델이 여러 요청 동시에 처리, 여러 모델 동시에 로드24.4.18. 모델 공개 이후 120만회 이상 모델 다운로드, huggingface에 600개 이상 .. Batch Normalization과 Layer Normalization Batch Normalization과 Layer Normalization 배치 정규화(batch normalization) 해당 레이어 층의 값의 분포를 변경하는 방법 평균과 분산 고정시킴 그래디언트 소실을 줄임으로서 신경망의 학습 속도를 향상시킬 수 있음 미니배치의 각 feature별로 평균, 분산을 계산하고 이를 이용해 정규화하여 평균0, 분산1이 되도록 함 scale prapmeter $\gamma$, shift parameter $\beta$를 이용해 정규화 시킨 값에 affine transformation을 수행할 수도 있음 단점 batch size가 너무 작은 모델에서는 잘 동작하지 않는다 RNN에서는 sequence data를 사용하기에 배치 정규화를 적용하기 힘들다. 따라서 RNN 모델에서.. latent vector 과 latent space 의 의미 latent vector 과 latent space latent vector와 latent space generation model는 train dataset의 distribution을 학습하여 해당 distribution을 따르는 새로운 데이터를 생성한다. 이때 latent vector는 dataset의 하나의 데이터 샘플이 갖는 잠재적인(hidden) 벡터 형태의 변수이고, latent vector들이 모여 분포 형태를 이루며 latent space를 형성한다. 결국 latent vector는 데이터를 설명하는 하나의 feautre이고 latent space는 결국 데이터를 가장 잘 설명할 수 있는 feature의 모임을 의미한다. 이는 곧 차원 축소와도 관련이 있는 것 같다. 이미지 데이터로 예를 .. 이전 1 2 3 4 ··· 11 다음
