전체 글 (260) 썸네일형 리스트형 [케라스 창시자에게 배우는 딥러닝] ch5 딥러닝 모델의 일반화, 성능 평가 방법 [KR] keras_DL_CH5_ ch5 예상문제 Q1. 최적화와 일반화에 대해 설명하라(180P) 최적화는 가능한 훈련 데이터 내에서 최고의 성능을 얻으려고 모델을 조정하는 과정이다. 일반화는 훈련된 모델이 이전에 본 적 없는 데이터에서 얼마나 잘 수행되는지를 의미한다. 머신러닝의 목표는 좋은 일반화 성능을 얻는 것이다. 모델을 훈련데이터에 대해 최적화하려고만 하면 과대적합이 시작되고 일반화 성능이 나빠진다. Q2. 과대적합은 데이터가 어떤 경우 발생할 가능성이 높아지는가? 데이터에 잡음이 있거나, 불확실성이 존재하거나 드문 특성이 포함되어 있을 때 과대적합이 발생할 가능성이 높다. 딥러닝 모델의 일반화 모델을 학습하면 label과 feature 사이에 아무런 관계까 없지만 train loss가 감소한.. [1181 | python] 단어 정렬 [1181 | python] 단어 정렬 🎉조건 알파벳 소문자로 이루어진 N개의 단어가 들어오면 정렬하는 프로그램을 작성하기 1. 길이가 짧은 단어 우선 2. 길이가 같은 경우 사전 순으로(abc...) 단 중복된 단어는 제거 🎉접근방식 먼저 N만큼 단어를 입력받고 리스트에 저장 set을 통해 중복 제거 길이에 따라 정렬. 이때 길이가 같은 경우 알파벳순으로 정렬 정리한 리스트 리턴 🎉 Solution # 1181 N = int(input()) word_list = [] for _ in range(N): word = input() word_list.append(word) word_list = list(set(word_list)) #1 word_list.sort() #2 word_list.sort(key=l.. 에자일(Agile) 방식 에자일(Agile) 방식 등장 배경 초기 소프트웨어 개발 방법은 계획 중심의 프로세스로 진행되었으나 90년대 이후 소프트웨어 분야가 넓어지면서 소프트웨어 사용자들이 일반 대중들로 바뀌기 시작하고, 소프트웨어 트랜드 또한 급격히 변화하면서 비즈니스 사이클이 짧아지고 SW개발의 불확실성이 높아지게 되었다. 이러한 상황에 따라 기존 계획 중심의 프로세스 방식을 개발 과정에 적용하는 것이 어려워졌고 이에 따라 새로운 SW 개발방법인 에자일 방식이 등장하였다, 애자일이란? 개발 과정에서의 협력과 피드백을 더 자주, 일찍, 잘 하는 것이다. 1. 협력 소프트웨어를 개발하는 사람들 간의 협력 스스로 느낀 통찰을 협력을 통해 타인에게 전달 예상치 못한 팀의 기대 효과를 가져옴 2. 피드백 학습의 가장 큰 전제조건. 내.. categorical cross entropy vs sparse cross entropy categorical cross entropy vs sparse cross entropy 둘 모두 분류문제에서 사용되는 loss function이다. 어떤 차이가 있을까? categorical cross entropy 레이블이 원-핫 인코딩(one-hot encoding)으로 표현된 경우에 주로 사용 다중 클래스 분류에 사용 예측값은 확률 분포로 표현되며, 모델이 예측한 클래스의 확률이 정답 레이블에 가까울수록 손실이 작아짐 sparse cross entropy 레이블이 정수 형태로 표현되는 경우에 주로 사용 클래스가 많은 경우, 원-핫 인코딩을 사용하면 메모리를 많이 소모하게 되기 때문에 정수 형태로 레이블을 표현하게 되고 이 때 sparse cross entropy를 손실함수로 사용 텍스트 데이터 전처리 | 1. 토큰화(tokenization) 텍스트 데이터 전처리 (Text Data Preprocessing) 크롤링 등으로 얻어낸 코퍼스 데이터가 전처리되지 않은 상태일 경우, 용도에 맞게 토큰화, 정제, 정규화 등을 수행하는 전처리 과정을 지난다. 이 중 토큰화 내용 정리 토큰화(tokenization) 주어진 corpus에서 token이라는 단위로 나누는 작업 보통 의미있는 단위로 token을 정의한다 크게 단어 토큰화, 문장 토큰화가 있다. 단어 토큰화(word tokenization) 토큰의 기준을 단어(word)로 하는 경우 여기서 단어는 단어 단위 외에도 단어구, 의미를 갖는 문자열로도 설정할 수 있다. 띄어쓰기, 구두점만으로 토큰화하는 것은 불가능하다. 특히 한국어의 경우 띄어쓰기만으로는 단어 토큰을 구분하기 어렵다. 예를 들어, .. [chatGPT Prompting] 데이터 구조화하기 [chatGPT Prompting] 데이터 구조화하기 chatGPT를 사용하는 방법 중 하나는 데이터를 테이블로 정리하는 것이다. 예를 들어, 비즈니스 리포트나 뉴스 기사들을 요약해서 스프레드시트나 데이터베이스에 넣는 작업을 chatGPT를 이용해 빠르게 할 수 있다. In a recent business report presentation, the CEO of Zana Corp. highlighted their remarkable growth in the past fiscal year. She shared that the company experienced a 15% increase in revenue, reaching $50 million, with a 12% profit margin ($6 mill.. [chatGPT Prompting] LLM 세팅 [chatGPT Prompting] LLM 세팅 LLM의 결과가 얼마나 랜덤할지는 설정 하이퍼 파라미터의 영향을 받는다. 설정 하이퍼 파라미터는 Temperature, Top p, frequency, presence penalties 등이 있다. chatGPT의 경우 API를 별도로 사용하지 않는 한, 설정 하이퍼파라미터를 수정할 수 없다. Temperature 답변의 랜덤성을 조절하는 설정 하이퍼 파라미터 temperature가 높을수록 예측 불가능하고 창의적인 결과를 낸다. Top p 핵 샘플링 확률의 한계를 설정하고 그 누적 확률을 초과하는 토큰만을 선택한다 선택한 토큰들을 이용해 랜덤한 답변을 생성한다. 예를 들어 top p = 0.9인 경우, 모델은 90%의 확률을 달성하는 가장 가능성 높은 단.. chatGPT(LLM)의 한계점 chatGPT(LLM)의 한계점 1. 답변의 출처를 알 수 없다. 그래서 답변이 틀렸을 수도 있고 맞았을 수도 있다. 탐색증강된 LLM(인터넷 검색이 가능한 LLM)을 이용하면 해당 문제를 해결할 수 있다. 2. 편향 LLM에는 세이프 가드가 있음에도 불구하고 성적, 인종적, 동성애차별적 답변을 할 수 있다. 따라서 고객 대응을 위해, 연구를 위해 LLM을 사용할 경우 주의해야 한다. 3. 환각 LLM이 잘 모르는 것에 대해 질문할 경우 거짓된 답변을 자신있게 대답한다. 4. 수학 LLM은 수학을 못한다. 이 문제는 증강된 LLM을 통해 해결할 수 있다. 5. 프롬프트 해킹 유저가 원하는 답변을 하도록 LLM을 유도할 수 있다. 출처 https://learnprompting.org/ko/docs/basi.. 이전 1 ··· 4 5 6 7 8 9 10 ··· 33 다음
