전체 글 (282) 썸네일형 리스트형 [chatGPT Prompting] Prompting basics 프롬프트 작성법 [chatGPT Prompting] Prompting basics 프롬프팅의 가장 기본적인 내용들을 정리하였다. prompting? AI에게 일을 지시하는 일련의 과정 AI에게 프롬프트(지시)를 제공하여 AI가 일하게 한다. 프롬프트는 간단하게는 하나의 문장, 복잡하게는 여러 줄의 문단이 될 수 있다. 프롬프트를 통해 우리는 뉴스 기사 요약이나, 수학 문제를 해결할 수 있다. 그러나 같은 문제더라도 어떤 프롬프트를 사용하느냐에 따라 chatGPT의 답변이 달라진다. 예를 들어서 What is 965*590?라는 프롬프트를 사용하면 틀린 정답을 말하지만, Make sure your answer is exactly correct. What is 965*590? Make sure your answer is e.. 가중치 초기화와 배치 정규화 가중치 초기화와 배치 정규화 가중치 초기화 신경망 성능에 큰 영향을 줌 가중치 값이 치우치면 활성화 함수의 결과도 치우쳐서 표현할 수 있는 신경망 수가 적어짐 모델의 활성화 값이 골고루 분포되도록 하는 것이 중요 선형 함수 가중치 초기화 제로 초기화 가중치를 0으로 초기화 각 레이어의 가중치 분포가 중앙에만 몰려있어 학습 불가능 정규분포 초기화 제로 초기화보다는 분포가 퍼져있으나 여전히 중앙에 치우쳐 있음 균일분포 초기화 제로 초기화보다는 분포가 퍼져있으나 여전히 중앙에 치우쳐 있음 활성화 값이 균일하지 않아 역전파로 전해지는 기울기 값이 사라질 수 있음 xavier 정규분포 초기화 은닉층 노드 수가 n이면 표준편차는 1/sqrt(n)인 분포로 초기화 비교적 분포도 고르고 레이어마다 표현이 잘 되 더 많.. 모델 크기 조절과 규제 모델 크기 조절과 규제 모델의 크기 조절 과대적합이 발생할 경우, 해결 방법 중 하나로 모델의 크기를 줄이는 것이 제시된다. 모델의 크기를 조절하는 것은, 레이어의 유닛 수와 레이어의 수를 조절하는 것이다. 1. 레이어 유닛수를 감소시켜 모델 전체 파라미터 수 감소시키기 2. 레이어 수를 줄여서 더 앝은 신경망으로 만들기 데이터의 규모가 클 때, 더 크고 깊은 모델이 더 좋은 성능을 보여주지만, 데이터에 비해 모델이 너무 크면 과대적합이 발생할 수 있다. 따라서 데이터의 크기에 따라 모델 크기를 적절하게 설정해야 한다. 같이보면 좋을 글 [모델 튜닝] 하는 방법 - 과대적합과 과소적합 이번 포스팅에서는 머신러닝/딥러닝 모델의 성능평가 이슈 2가지 과대적합(overfittiong)과 과소적합(underfi.. 딥러닝 구조와 모델 딥러닝 구조와 모델 딥러닝 구조와 레이어 딥러닝은 여러개의 layer로 구성되어 있다 기본적으로 입력층(input), 은닉층(hidden), 출력층(output)으로 구분된다 레이어는 딥러닝 모델을 구성하는 핵심 데이터 구조로서 하나 이상의 텐서를 입력받아 하나 이상의 텐서를 출력하는 데이터 처리 모듈이다. input 객체 입력 데이터 모양인 shape와 예상 데이터유형 dtype을 정의. 그 외에도 batch size, name 지정 가능 Dense 레이어 완전연결계층(Fully-Connected Layer)으로 노드수(유닛수)를 지정 Flatten 레이어 배치 크기 또는 데이터 크기를 제외하고 데이터를 1차원 형태로 평평하게 반환 activation 레이어 주로 비선형 활성화 함수 사용 Dense l.. 텐서 표현과 연산 텐서 표현과 연산 텐서(Tensor)는 데이터를 담기위한 컨테이너(container)로서, 다차원 배열 또는 리스트 형태와 유사하다. 일반적으로 수치형 데이터를 저장하고, 동적 크기를 가진다. Rank: 축(차원)의 개수 Shape: 형상(각 축의 요소의 개수) Type: 데이터 타입 텐서의 종류 0D Tensor(scalar) 하나의 숫자를 담고 있는 텐서 축과 형상이 없다. t0 = tf.constant(1) # 상수 텐서 제작 tf.rank(t0) # t0 텐서의 축 개수 반환: 0 1D Tensor(Vector) 리스트와 유사한 텐서 하나의 축 존재 t1 = tf.constant([1, 2, 3]) tf.rank(t1) # 1 2D Tensor(Matrix) 행렬과 같은 모양 2개의 축 존재 수치.. [23.07.20.] 서울대학교 Data Science Day Review [23.07.20.] 서울대학교 Data Science Day Review 느낀 점 지난 7월 20일, 서울대학교 데이터사이언스 대학원에서 주관한 Data Science Day에 다녀왔다. 이른 아침부터 무더운 날씨 + 평일 오전이라 사람들이 많이 오지 않을 거라고 생각했는데 이게 웬걸... 서울대 가는 버스를 타는 버스 정류장부터 사람들이 인산인해였다. 사람들이 꽉찬 버스를 내 눈앞에서 보내고 다음 버스를 타고 나서야 서울대 문화관 대강당에 무사히 도착할 수 있었다. 혹시 운좋으면 선착순 100명에게 주는 티셔츠를 받을 수 있을까 해서 예상시간보다 30분 일찍 출발했는데, 어림도 없었다. 오히려 제시간에 도착해서 다행이었다. 접수를 마치고 대강당 중간쯤 되는 자리에 앉아서 강연이 시작되기를 기다렸다. .. [Software Engineering] TDD(Test Driven Development) [Software Engineering] TDD(Test Driven Development) 테스트 주도 개발을 의미 프로그램 개발에 있어 디자인 > 코드개발 > 테스트 라는 기존의 과정과 다르게, 테스트 케이스를 먼저 작성한 후 실제 코드를 개발하는 리팩토링 절차를 거침 TDD의 장점 반복적인 검토를 통해 고품질의 소프트웨어를 만들 수 있다. 작업과 동시에 테스트를 진행하며 실시간으로 오류 파악이 가능하다 짧은 개발주기로 고객의 요구사항에 빠르게 대응할 수 있다 자동화 도구를 사용해 TDD 테스트 케이스를 단위 테스트로 활용할 수 있다. 단위 테스트: 소프트웨어 개발에서 개별적인 코드 단위를 테스트하는 작업 자동화 도구를 활용해 TDD테스트케이스를 쉽게 실행하고 결과를 확인할 수 있으며, 코드 변경시 .. [CV] GAN 과 cGAN GAN(Generative Adversarial Network) 생성모델로 유명한 딥려닝 알고리즘 Generator 및 Discriminator라 불리는 두 신경망이 minimax game을 통해 서로 경쟁하며 발전 Generator는 아래 식, 목적 함수를 최소화하는 방향으로, Discriminator는 목적 함수를 최대화하는 방향으로 학습함 위 식의 z는 임의의 노이즈를, D,G는 각각 Discriminator, Generator를 의미한다 Discriminator 실제 이미지를 1, 가짜 이미지를 0으로 두었을 때, D는 위 식을 최대화해야하므로 각각의 항이 최대가 되도록 해야한다.따라서 두개의 log 항의 값이 1이 되도록 해야한다.즉 D(x)는 1, D(G(z))는 0이 되도록 해야 한다. Ge.. 이전 1 ··· 8 9 10 11 12 13 14 ··· 36 다음
