분류 전체보기 (270) 썸네일형 리스트형 [chatGPT Prompting] LLM 세팅 [chatGPT Prompting] LLM 세팅 LLM의 결과가 얼마나 랜덤할지는 설정 하이퍼 파라미터의 영향을 받는다. 설정 하이퍼 파라미터는 Temperature, Top p, frequency, presence penalties 등이 있다. chatGPT의 경우 API를 별도로 사용하지 않는 한, 설정 하이퍼파라미터를 수정할 수 없다. Temperature 답변의 랜덤성을 조절하는 설정 하이퍼 파라미터 temperature가 높을수록 예측 불가능하고 창의적인 결과를 낸다. Top p 핵 샘플링 확률의 한계를 설정하고 그 누적 확률을 초과하는 토큰만을 선택한다 선택한 토큰들을 이용해 랜덤한 답변을 생성한다. 예를 들어 top p = 0.9인 경우, 모델은 90%의 확률을 달성하는 가장 가능성 높은 단.. chatGPT(LLM)의 한계점 chatGPT(LLM)의 한계점 1. 답변의 출처를 알 수 없다. 그래서 답변이 틀렸을 수도 있고 맞았을 수도 있다. 탐색증강된 LLM(인터넷 검색이 가능한 LLM)을 이용하면 해당 문제를 해결할 수 있다. 2. 편향 LLM에는 세이프 가드가 있음에도 불구하고 성적, 인종적, 동성애차별적 답변을 할 수 있다. 따라서 고객 대응을 위해, 연구를 위해 LLM을 사용할 경우 주의해야 한다. 3. 환각 LLM이 잘 모르는 것에 대해 질문할 경우 거짓된 답변을 자신있게 대답한다. 4. 수학 LLM은 수학을 못한다. 이 문제는 증강된 LLM을 통해 해결할 수 있다. 5. 프롬프트 해킹 유저가 원하는 답변을 하도록 LLM을 유도할 수 있다. 출처 https://learnprompting.org/ko/docs/basi.. [ChatGPT Prompting] 챗봇을 더 잘 활용하는 법: 프라이밍(점화) 프롬프트 [ChatGPT Prompting] 챗봇을 더 잘 활용하는 방법 GPT3는 메모리가 없는 LLM으로 사용자의 이전 질문을 기억하지 못하지만, ChatGPT와 같은 챗봇은 대화 내역을 기억한다. 챗봇의 진정한 가치는 좋은 프롬프트를 사용할 때에만 접근할 수 있다. 그렇다면 어떻게 해야 챗봇을 더 잘 활용할 수 있을까? 챗봇을 더 잘 활용하는 방법은 크게 프롬프트 수정, 프라이밍 프롬프트가 있다. 1. 프롬프트 수정하기 스타일 가이드 AI에게 특정 스타일로 말하도록 요청하는 것. 스타일 안내가 없을 경우 chatGPT는 몇 단락 형태의 답변을 한다. 필요한 경우 프롬프트 끝에 답변 스타일 관련 내용을 추가해서 더 나은 응답을 하도록 할 수 있다. 어조를 요청할수도 있고, 글머리 기호 목록 등을 요청할 수도 .. [1259 | Python] 팰린드롬수 [1259 | Python] 팰린드롬수 🎉문제 총평 흑흑 쉬운데 어려워 일주일 쉬었더니 뇌가 굳은것같다 더 정진할것 🎉조건 앞부터 읽어도, 뒤부터 읽어도 똑같은 숫자를 팰린드롬수라고 한다. 여러개의 숫자 입력시 각 수가 팰린드롬수인지 판단하자. 팰린드롬수인 경우 yes를, 아닌 경우 no를 출력하라. 🎉접근방식 처음에 인덱싱을 사용하려다가 실패해서 reverse 함수로 접근. reverse 함수만 사용하면 쉽게 뒤집을 수 있다고 생각했는데 reverse를 사용하니 str이나 int가 아니라 reverse 형태였다. 그래서 추가적으로 list()랑 join을 사용해야 했다. 🎉try1: 틀렸습니다! # 1259 num1 = input() num_list = list(reversed(num1)) # num1.. [chatGPT Prompting] Prompting basics 프롬프트 작성법 [chatGPT Prompting] Prompting basics 프롬프팅의 가장 기본적인 내용들을 정리하였다. prompting? AI에게 일을 지시하는 일련의 과정 AI에게 프롬프트(지시)를 제공하여 AI가 일하게 한다. 프롬프트는 간단하게는 하나의 문장, 복잡하게는 여러 줄의 문단이 될 수 있다. 프롬프트를 통해 우리는 뉴스 기사 요약이나, 수학 문제를 해결할 수 있다. 그러나 같은 문제더라도 어떤 프롬프트를 사용하느냐에 따라 chatGPT의 답변이 달라진다. 예를 들어서 What is 965*590?라는 프롬프트를 사용하면 틀린 정답을 말하지만, Make sure your answer is exactly correct. What is 965*590? Make sure your answer is e.. 가중치 초기화와 배치 정규화 가중치 초기화와 배치 정규화 가중치 초기화 신경망 성능에 큰 영향을 줌 가중치 값이 치우치면 활성화 함수의 결과도 치우쳐서 표현할 수 있는 신경망 수가 적어짐 모델의 활성화 값이 골고루 분포되도록 하는 것이 중요 선형 함수 가중치 초기화 제로 초기화 가중치를 0으로 초기화 각 레이어의 가중치 분포가 중앙에만 몰려있어 학습 불가능 정규분포 초기화 제로 초기화보다는 분포가 퍼져있으나 여전히 중앙에 치우쳐 있음 균일분포 초기화 제로 초기화보다는 분포가 퍼져있으나 여전히 중앙에 치우쳐 있음 활성화 값이 균일하지 않아 역전파로 전해지는 기울기 값이 사라질 수 있음 xavier 정규분포 초기화 은닉층 노드 수가 n이면 표준편차는 1/sqrt(n)인 분포로 초기화 비교적 분포도 고르고 레이어마다 표현이 잘 되 더 많.. 모델 크기 조절과 규제 모델 크기 조절과 규제 모델의 크기 조절 과대적합이 발생할 경우, 해결 방법 중 하나로 모델의 크기를 줄이는 것이 제시된다. 모델의 크기를 조절하는 것은, 레이어의 유닛 수와 레이어의 수를 조절하는 것이다. 1. 레이어 유닛수를 감소시켜 모델 전체 파라미터 수 감소시키기 2. 레이어 수를 줄여서 더 앝은 신경망으로 만들기 데이터의 규모가 클 때, 더 크고 깊은 모델이 더 좋은 성능을 보여주지만, 데이터에 비해 모델이 너무 크면 과대적합이 발생할 수 있다. 따라서 데이터의 크기에 따라 모델 크기를 적절하게 설정해야 한다. 같이보면 좋을 글 [모델 튜닝] 하는 방법 - 과대적합과 과소적합 이번 포스팅에서는 머신러닝/딥러닝 모델의 성능평가 이슈 2가지 과대적합(overfittiong)과 과소적합(underfi.. 딥러닝 구조와 모델 딥러닝 구조와 모델 딥러닝 구조와 레이어 딥러닝은 여러개의 layer로 구성되어 있다 기본적으로 입력층(input), 은닉층(hidden), 출력층(output)으로 구분된다 레이어는 딥러닝 모델을 구성하는 핵심 데이터 구조로서 하나 이상의 텐서를 입력받아 하나 이상의 텐서를 출력하는 데이터 처리 모듈이다. input 객체 입력 데이터 모양인 shape와 예상 데이터유형 dtype을 정의. 그 외에도 batch size, name 지정 가능 Dense 레이어 완전연결계층(Fully-Connected Layer)으로 노드수(유닛수)를 지정 Flatten 레이어 배치 크기 또는 데이터 크기를 제외하고 데이터를 1차원 형태로 평평하게 반환 activation 레이어 주로 비선형 활성화 함수 사용 Dense l.. 이전 1 ··· 6 7 8 9 10 11 12 ··· 34 다음
