하이퍼파라미터란?  사용자가 인공지능 모델의 세팅을 조절하는 변수로,

chat gpt 프롬프트 명령어 입력 후에 이어서 이 값을 추가해 주면 원하는 방향으로 좋은 답변을 얻어낼 수 있습니다.

자세한 내용은 아래 글을 참고해 주세요.▼

Chat GPT 네 번째 이야기! 하이퍼파라미터, 확장 프로그램 추천

[문장의 톤과 문체를 지정하는 하이퍼파라미터 ]

: 글의 톤과 문체는 의미상 유사하지만 톤(tone)은 문장에 담긴 감정적 분위기를 의미하며,

문체(writing style)는 글의 내용적 측면의 분위기를 의미합니다.

▶ ton : 형용사

• Authoritative(권위적인), Clinical(냉담한), Cold(차가운), Confident(자신감에찬), Cynical(냉소적

인), Emotional(감정적인), Empathetic(공감하는), Formal(격식있는), Friendly(친근한),

Humorous(유머있는), Informal(비격식적인), Ironic(역설적인), Optimistic(낙관적인),

Pessimistic(비관적인), Sarcastic(빈정대는), Serious(심각한), Sympathetic(동조적인),

Tentative(머뭇되는), Warm(따뜻한)

▶ writing style : 형용사

• Academic(학술적인), Analytical(분석적), Argumentative(논쟁적인), Conversational(대화적인),

Creative(창의적인), Critical(비판적인), Descriptive(설명적인), Epigrammatic(풍자적인), Epistolary

(편지체), Expository(설명적인), Informative(자세한), Instructive(유익한), Journalistic(신문체),

Metaphorical(은유적인), Narrative(서술적인), Persuasive(설득적인), Poetic(시적인), Satirical(풍자

적인), Technical(기술적인)

[문장 길이와 표현력에 관련된 하이퍼파라미터]

: 본문의 길이, 문장의 길이, 단어의 다양성, 인공지능의 창작성을 높이기 위한 변수로

값의조절을 통해 다양한 결과물을 얻어낼 수 있습니다. 

▶ max_length : (0~2,048) 결과 값의 길이를 의미하며 2,048은 모델의 토큰 수를 의미함.

2,048일 때 입력할 수 있는 최대 글자 수는 약 1,000자에서 2,000자 정도.

이 값은 실제로는 입력 텍스트의 길이와 토큰화 방식에 따라 달라질 수 있음

▶ Length penalty : (0.5~2.0) 생성된 문장의 길이를 조정하는 변수로, 이 값이 높을수록 길이가

긴 문장이 우선순위가 높아짐.

▶ Repetition penalty : (0~1) 중복된 단어가 생성되는 것을 피하기 위해 사용되는 파라미터.

이 값이 높을수록 중복된 단어가 생성되는 것을 방지함.

▶ Beam width : (0~10) 빔 서치(beam search) 알고리즘에서 사용되는 파라미터.

이 값이 높을수록 다양한 문장을 생성할 가능성이 높아짐. 일반적으로 빔 너비는 5에서 10 사이의 값을 많이

사용.

⇨ 값이 높을 수록 다양한 문장이 출연할 확률이 높아짐.

[예시] "나는 밥을"이라는 문장을 생성하는 경우, Beam width가 1이면 "나는 밥을 먹었다"와 같

은 하나의 문장만 생성 된다.

하지만 Beam width가 3으로 늘어난다면 "나는 밥을 먹었다", "나는 밥을 좋아한다", "나는 밥을 사러 갔다"와 같이 다양한 문장이 생성될 수 있다.

▶ top-p : (0~1) 이전 단어들을 바탕으로 생성한 후보 중에서, 누적 확률 분포의 상위 p%에 해당하

는 후보만을 선택하는 기법.

예를 들어, top-p가 0.9이면 누적 확률 분포의 상위 90%에 해당하는 후보들만을 선택

⇨ 값이 낮을수록 다음 단어의 예측 가능성이 커지며(일반적),

값이 높을수록 다양한 단어가 도출될 가능성이 높음.

[예시] "나는 OOO 에 갔다."

• top-p가 0.5일 경우, 모델이 생성한 단어 확률 분포에서 상위 50%의 단어만을 고려하여 다음

단어를 선택합니다.

이 경우, 가능한 다음 단어로는 "학교", "영화관", "식당" 등이 있습니다.

• top-p가 0.9일 경우, 모델이 생성한 단어 확률 분포에서 상위 90%의 단어만을 고려하여 다음

단어를 선택합니다.

이 경우, 가능한 다음 단어로는 "학교", "영화관", "식당", "수영장", "공원" 등이 있습니다.

▶ temperature : (0~1) 생성된 후보 단어들의 확률 분포를 조절하는 파라미터.

값이 높을수록 분포가 평탄해지며, 낮을수록 분포가 sharp해짐.

예를 들어, temperature가 0.5일 때는 큰 확률의 단어가 선택되지만,

temperature가 1일 때는 모든 단어들의 확률이 비슷해짐

⇨ 값이 높을수록, 예측 불가한 단어 출연확률 이 커짐

[예시] "나는 OOO 에 갔다."

• temperature가 0.5일 경우, 모델이 생성한 단어 확률 분포의 폭이 좁아져서 예측 결과가 보다

확정적이고 일관성 있게 생성됩니다.

이 경우, 가능한 다음 단어로는 "학교", "도서관", "영화관" 등이 있습니다.

• temperature가 2.0일 경우, 모델이 생성한 단어 확률 분포의 폭이 넓어져서 예측 결과가 더

다양해집니다.

이 경우, 가능한 다음 단어로는 "바다", "사진관", "서점", "노래방" 등이 있습니다.

#chatgpt #hyperparameter #챗gpt하이퍼파라미터 #챗gpt마케팅

chat gpt hyper parameter