[23.07.20.] 서울대학교 Data Science Day Review
느낀 점
지난 7월 20일, 서울대학교 데이터사이언스 대학원에서 주관한 Data Science Day에 다녀왔다.
이른 아침부터 무더운 날씨 + 평일 오전이라 사람들이 많이 오지 않을 거라고 생각했는데 이게 웬걸... 서울대 가는 버스를 타는 버스 정류장부터 사람들이 인산인해였다. 사람들이 꽉찬 버스를 내 눈앞에서 보내고 다음 버스를 타고 나서야 서울대 문화관 대강당에 무사히 도착할 수 있었다. 혹시 운좋으면 선착순 100명에게 주는 티셔츠를 받을 수 있을까 해서 예상시간보다 30분 일찍 출발했는데, 어림도 없었다. 오히려 제시간에 도착해서 다행이었다.
접수를 마치고 대강당 중간쯤 되는 자리에 앉아서 강연이 시작되기를 기다렸다.
아니 그런데 나는 가만히 앉아있는데 앞사람들은 열심히 논문을 읽고 있는 것이 아니겠는가? 그 모습을 보면서 내 자신을 좀 반성했다. 시간은 금인데! 아무튼 이른 아침부터 대강당을 가득 채운 1000여명의 사람들, 자투리 시간까지 알뜰히 쓰는 사람들의 모습을 보며 나도 열심히 공부해서 실력 좋은 데이터 사이언티스트로 빠르게 성장하고 싶다고 생각했다. 열심히 해야지...
그리고 응 교수님 실물을 영접했다... 귀여우시다... 학생들 전부랑 셀카찍어주신다고 응 교수님이 뒤돌아서 1000대 1 셀카도 찍어주셨다... 마지막에는 시간이 부족해서 모든 질문에 답변하지 못하고 떠나셨는데 그 때 계속 뒤돌아보시면서 손흔들어주셨다...코세라 강의를 들으며 쌓인 내적 친밀감이 더더욱 돈독해졌다...
강연 내용 Review
무음 카메라 + 어두운 장소 + 뒷자리라 화질구지 주의
1. 초거대 AI 모델 및 플랫폼 최적화 센터
서울대학교 데이터사이언스 대학원 이재진 교수님이 강연하셨다. 사실 오늘 Data Science Day는 서울대학교 데이터사이언스 대학원의 주도로 설립된 초거대 AI 모델 및 플랫폼 최적화 센터의 개소식이다.
초거대 AI 모델이란 최근 매우매우매우매우매우 핫한 chatGPT와 같은 모델이다. 이러한 초거대 모델인 GPT-3는 초기 버전에 무려 1,750개의 파라미터를 갖고 있으며 마이크로소프트 Azure의 슈퍼 컴퓨팅 인프라를 이용해 2022년 초에 학습이 완료되었다.
이렇듯 초거대 모델을 생성하는 것은 훌륭한 AI 알고리즘, 데이터를 수집, 정제하는 것 외에도 SW(ex: pytorch), HW(ex:GPU) 등의 요소들이 필수적이다. 이러한 다양한 필수 기술들에 대한 자사의 부족함을, OpenAI는 다른 빅테크 기업인 mircrosoft와의 협업을 통해 해결하였다. 그러나 나같이 돈도 없고 인프라도 없는 사람, 혹은 스타트업 기업과 같은 경우에는 초거대 모델을 생성하는 것에 대한 크나큰 장벽이 존재한다.
또한 초거대 AI 모델의 전체 플랫폼, 최적화가 현재 부진한 상태이며, 특히 한국어의 경우 tokenizer를 일본어 tokenizer 오픈소스를 일부 수정하여 사용할 정도로 타 LLM 모델에 비해 상대적인 질이 떨어진다고 한다.
따라서 서울대학교 데이터사이언스 대학원의 주도로 설립된 초거대 AI 모델 및 플랫폼 최적화 센터에서는 위의 문제들을 해결하고 초거대 AI 모델의 플랫폼, 알고리즘, 응용 부분에서 전체적인 최적화를 수행한 뒤, 이 결과를 산업체에 확산시키는 것이 목표라고 한다. 이를 위해, 2026년까지 GPT-3.5와 정확도가 비슷하지만 크기는 1/100인 경량화 모델 및 SW, HW 플랫폼을 개발하는 것이 목표이고, 2029년까지는 최신 AI 모델과 정확도가 비슷하고 크기가 1/100인 경량화 모델 및 SW, HW 플랫폼을 개발하는 것이 목표라고 한다.
2. Andrew Ng 교수님 초청강연
영어공부 미리 열심히할걸...
AI is new electricity
AI는 새로운 전기와 같다. 과거 전기가 모든 산업을 바꾼 것처럼, AI 또한 크나큰 변화를 일으킬 것이다.
prompting is revolutionizing AI application development
기존의 AI 생성과정과는 다르게, Prompt를 사용하여 만들어진 AI는 모델 생성 과정을 획기적으로 줄일 수 있다. 예를 들어 openai를 사용하여 단 4개의 셀만으로 모델을 생성할 수 있다.
이렇게 프롬프트를 활용해 모델을 제작하는 과정을 "prompting as a developer tool"이라는 강의에서 배울 수 있다고 한다. 한국어 자막도 달릴 예정이라고 한다. 많관부!
AI opportunities
AI는 크게 Supervised Learing, Unsupervised Learning, Generative AI, Reinforcement Learning으로 나뉘어지는데, 3년 뒤, Supervised Learing이 크게 발전할 것이며, 그 다음이 Unsupervised Learning과 Generative AI이고, Reinforcement Learning 분야의 성장은 다소 소극적일 것으로 예상하였다.
supervised learning, generative AI에 의해 생성될 막대한 가치들이 아직 남아있다.
그런데 왜 AI가 아직 널리 적용되지 않을까? customization 문제와 low/no code tool 때문이다
가장 높은 가치를 가진 AI 프로젝트부터 순차적으로 AI가 도입될 것이며, 이후 유저들은 코드를 작성하는 것 대신 low/no code tools로 prompt를 작성하여 AI를 커스터마이징 할 것이다.
아직 실현되지 않은 가치있는 AI project들을 스타트업으로 진행할 수 있을 것이다.
앤드류 응 교수님이 startup을 building한 과정은 다음과 같다.
이러한 과정에서 AI 전문가들의 역할이 매우 중요하다!
risk of AI?
인간이 할 수 있는 모든 것을 할 수 있는 AI가 나타나는 것은 수십년 뒤의 일이다.
AI가 인류 멸종 위험을 초래한 다는 것은 과장된 말이며, 현실적이지 않다.
AI는 오히려 인류의 실질적 문제에 대한 중요한 해결책이다.
이렇게 강연이 끝나고 서울대학교 데이터사이언스 대학원 학생분들이 준비한 포스터들을 구경했다. 뒤에 사람이 밀려서 느긋하게 구경 못하고 관심있는 NLP 부분만 찍어왔다! 전체적인 주제는 NLP보다는 분자 AI(?)랑 CV쪽이 많았던 것 같다.
'AI Theory' 카테고리의 다른 글
| [시계열 데이터] 1. introduction (0) | 2023.08.29 |
|---|---|
| [Boostcourse beyond ai] Optimization (0) | 2023.05.31 |
| [boostcourse beyond ai] Nueral Network (0) | 2023.05.29 |
| [Paper Review] You Only Look Once: Undefied, Real-Time Object Detection (0) | 2023.02.15 |
