위키피디아 벡터 데이터셋, Llama3를 활용한 멀티모달 모델

1. 위키피디아 전체를 벡터로 임베딩한 데이터셋

- JVector로 벡터 인덱스 생성 후 Chronicle Map으로 기사 데이터를 저장하여 사용함

- 벡터 압축을 위해 Locally-Adaptive Quantization 사용

- 데이터 병렬 처리

- Linux, Mac에서만 사용가능

 

노트북에서 Wikipedia 전체를 벡터 인덱싱하기 | GeekNews

 

GitHub - jbellis/coherepedia-jvector

 

2. Llama3-8B + vision encoder > Llava

- LLama3-8B에 vision encoder를 추가해서 멀티모달 모델로 변경하였더니 벤치마크 데이터셋 기준 Llava 모델보다 10~20% 성능향상

 

Llama 3-V - GPT4-V와 동등한 성능을 100배 작은 모델과 500달러로 구현하 | GeekNews

 

Llama 3-V: Matching GPT4-V with a 100x smaller model and 500 dollars