분류 전체보기 (264) 썸네일형 리스트형 [Boostcourse beyond ai] Optimization [Boostcourse beyond ai] Optimization Important concepts in optimization generalization 많은 경우 모델 제작시의 목적 Test error과 training error간의 차이 underfitting vs overfitting overfitting 학습 데이터에 대해서는 잘 작용하지만, 테스트 데이터에 대해서는 잘 작동 x underfitting network가 너무 간단하거나 학습데이터가 너무 적음 cross-validation 보통은 traindata와 validation data를 나눠서 학습 train data와 validation data를 얼마나 나누는 것이 좋을까? 데이터 분할시의 데이터 부족을 해결하기 위해 등장한 cross.. [boostcourse beyond ai] Nueral Network Neural Networks function approximators that stack affine transforamtions followed by nonlinear transformations. 예를 들어, 이미지라는 텐서가 주어졌을때 label이 나오는 모델이 있다고 할때, 우리가 찾고자 하는 nnt는 그것을 우리가 정의한 function으로 정의하는 function approximators이고, 행렬곱(affine transformation) 비선형 연산으로 함수를 수행. 가장 간단한 nn은 linear neural networks 역전파 우리의 목적은 loss함수를 최소화하는 것이다. 내 파라미터가 어느 방향으로 움직였을 때 loss function이 줄어드는지를 찾고 해당 방향으로 파라미터를.. [boostcourse beyond ai] 딥러닝의 역사 denny britz, "deep learining's most import ideas" 2012 AlexNet 224*224 이미지 분류 2012년도 이미지넷 대회에서 1등 고전적 머신러닝이 아닌 딥러닝을 이용해 최초로 우승 blackbox로만 여겨지던 딥러닝의 성능을 확인 2013 DQN Q러닝이라는 강화학습 방법론 사용 알파고 2014 Encoder / Decoder NMT(Nueral machine translation) 문제를 풀기 위함 단어의 연속이 주어졌을 때 이를 잘 표현해서 다른 언어로 해석할지 이후 기계어 번역의 트랜드 번역 2014 Adam Optimizer 많은 사람들이 딥러닝 사용할 때 지금도 adam을 optimizer로 많이 사용 결과가 잘나옴 일반적으로 딥러닝 모델을 만들 때.. [ICR] Probability Calibration Techniques Probability Calibration Techniques 이진 분류기의 출력을 조정하는 기술 분류기의 잘못된 예측 방지 특히 예측 확률의 임계값 기반 예측의 경우! probability calibaration techniques는 예측된 확률을 조정하여 실제 확률을 더 잘 반영하고 신뢰할 수 있는 예측 제공 종류 Platt Scaling Isotonic Regression Beta Calibration SplineCalib 과정 분류기가 예측한 확률과 실제 확률에 대해 그래프를 그려보자. 왼쪽 그래프의 x(predicted)를 확인해보면 0.2~0.8 사이의 값에서 분류기의 예측 확률이 잘 조정되어 있지 않음. 오른쪽 히스토그램을 살펴보면 대부분의 예측 확률값들은 0.1 이하이며 여기에 중점을 두어.. 분류 평가지표 분류 평가지표 Confusion Matrix : 모델의 예측값 (Prediction)과 실제값을 비교하기 위한 표. TP, TN: 실제값을 맞게 예측한 것 FP, FN: 실제값과 다르게 예측한 것 Accuracy (정확도) : (TP + TN) / (TP + TN + FP) 전체 데이터 중 모델이 바르게 분류한 비율 불균형한 데이터 (imbalanced data)에 사용하기엔 부적절 100명 중 1명의 암환자 100명 모두 암이 없다고 예측하면 정확도는 99%지만 실제 암환자에 대해서 예측하지 못함 Precision (정밀도): TP / (TP + FN) 실제 값이 Negative인 데이터를 Positive로 판단하면 안 될 때 사용할 수 있는 지표 예시: 스팸 메일 분류 Recall (재현율): TP .. MySQL csv 오류 | Unhandled exception: 'cp949' codec can't decode 해결법 MySQL csv 오류 | Unhandled exception: 'cp949' codec can't decode 해결법 MySQL에 csv 파일을 import 해야 하는데... 에러가 난다... 전에도 똑같은 오류를 겪었던 기억이 나... 한글의 경우 csv 파일이 cp949인 경우가 많은데 mySQL에선 지원 안해줘서 그렇다. cp949를 utf-8로 바꿔야 됨. 이거 관련해서 구글링하면 정보가 많이 나온다. 메모장을 이용해서 utf-8로 바꿔라 mysql 설정을 바꿔라 등등... 난 그냥 csv 파일을 json으로 바꿔서 해결했다. 여기서함 CSVJSON - CSVJSON JSON JSON stands for JavaScript Object Notation and has become the defac.. [정책분석과 빅데이터] week6. 빅데이터 분석의 활용사례 정책분석에서의 빅데이터 미래의 정책대안 결과 예측에 사용 단기 중장기 특정분야 데이터 문제해결 선제적 대응 광범위 데이터 조기경보 아젠다 발굴 교통안전공단의 확률적 예측모형을 활용한 교통사고 위험예보 KOTRA의 데이터기반 수출컨설팅 기상청의 딥러닝 기반 폭염예측 시스템 빅데이터 분석의 한계 개인정보 침해 데이터 공유의 문제 데이터분석 및 해석의 문제: 주관성으로 인한 왜곡, 편향 데이터 대표성의 문제 데이터의 질 문제 데이터의 양 문제 데이터 분석 방법의 한계 [정책분석과 빅데이터] week5. AI와 빅데이터 이론 4차 산업혁명 기술 융합기반의 초지능 혁명 초연결성, 초지능성 AI 인공적으로 만들어진 지능 충분히 많은 데이터, 좋은 알고리즘, 고효율의 하드웨어가 상호 보완적으로 연관 약인공지능 VS 강인공지능 강인공지능은 사람과 같은 지능을 가진 인공지능이며 약인공지능은 특정 분야에 국한해서만 지능적 판단이 가능한 인공지능 인공지능의 활용단계 규칙기반 인공지능 전문가의 도움으로 컴퓨터가 학습하여 인간의 의사결정 보조하는인공지능 인공지능이 스스로 의사결정 머신러닝과 딥러닝의 차이 머신러닝은 데이터와 알고리즘을 사람이 제공하여 패턴을 학습하게 하지만, 딥러닝은 기존 학습내용을 기반으로 패턴을 스스로 학습하여 스스로 의사결정 머신러닝 과정 문제정의 데이터수집 데이터처리 모형학습 성능평가 빅데이터 3V의 특성을 갖는 1T.. 이전 1 ··· 9 10 11 12 13 14 15 ··· 33 다음
