Azure OpenAI

Azure OpenAI λ…Έλ“œλŠ” Microsoft Azure 계정을 톡해 OpenAI의 ν…μŠ€νŠΈ 생성 λͺ¨λΈ(text-davinci-003 λ“±)을 ν˜ΈμΆœν•  수 μžˆλŠ” LLM λ…Έλ“œμž…λ‹ˆλ‹€. OpenAI의 κΈ°λŠ₯을 Azure 인프라와 톡합해 λ³΄μ•ˆ, ν™•μž₯μ„±, κ·œμ • μ€€μˆ˜ μš”κ±΄μ„ λ§Œμ‘±ν•˜λ©΄μ„œλ„ λ™μΌν•œ λͺ¨λΈ μ„±λŠ₯을 μ œκ³΅ν•©λ‹ˆλ‹€.


μ£Όμš” κΈ°λŠ₯

  • Azure κ³„μ •μœΌλ‘œ OpenAI의 text-davinci λͺ¨λΈ 계열 μ‚¬μš© κ°€λŠ₯

  • Temperature, Top Probability, Frequency Penalty λ“± μ„ΈλΆ€ 생성 μ œμ–΄ νŒŒλΌλ―Έν„° 제곡

  • μΊμ‹œ 및 Timeout 섀정을 톡해 μ•ˆμ •μ μΈ 운영 κ°€λŠ₯

  • Microsoft Azure 정책에 λ”°λ₯Έ λ³΄μ•ˆμ„± 및 μ„œλΉ„μŠ€ 레벨 보μž₯

WindyFlo Azure OpenAI
WindyFlo Azure OpenAI Parameters

μž…λ ₯κ°’ (Inputs)

ν•­λͺ©
μ„€λͺ…
ν•„μˆ˜ μ—¬λΆ€

Cache

동일 μž…λ ₯에 λŒ€ν•œ 응닡 μΊμ‹œ μ‚¬μš© μ—¬λΆ€

선택

Connect Credential

Azure OpenAI 호좜용 인증 정보 (Credential에 등둝)

ν•„μˆ˜

Model Name

μ‚¬μš©ν•  λͺ¨λΈ 이름 (예: text-davinci-003)

ν•„μˆ˜

Temperature

생성 ν…μŠ€νŠΈμ˜ μ°½μ˜μ„± 쑰절 (κΈ°λ³Έκ°’: 0.7, ꢌμž₯ λ²”μœ„: 0 ~ 1.0)

선택


νŒŒλΌλ―Έν„° (Parameters)

ν•­λͺ©
μ„€λͺ…

Max Tokens

μ΅œλŒ€ 생성 토큰 수 (예: 256, 512 λ“±)

Top Probability

Top-p μƒ˜ν”Œλ§ ν™•λ₯  κ°’ (예: 0.95)

Best Of

μ—¬λŸ¬ 응닡 쀑 μ΅œμ„  κ²°κ³Ό 선택 (예: 3)

Frequency Penalty

반볡 단어 μ–΅μ œ 정도 (-2.0 ~ 2.0)

Presence Penalty

μƒˆλ‘œμš΄ 주제 μœ λ„ 정도 (-2.0 ~ 2.0)

Timeout

API 응닡 μ œν•œ μ‹œκ°„ (ms λ‹¨μœ„)

BasePath

Azureμ—μ„œ μ œκ³΅ν•˜λŠ” API Endpoint 경둜 (예: https://{resource-name}.openai.azure.com/)


좜λ ₯κ°’ (Outputs)

좜λ ₯ ν•­λͺ©
μ„€λͺ…

AzureOpenAI

LLM 응닡 ν…μŠ€νŠΈ λ˜λŠ” JSON 객체 (ν”„λ‘¬ν”„νŠΈ κ²°κ³Ό 포함)


ν™œμš© μ˜ˆμ‹œ

  • λ³΄μ•ˆμ΄ μ€‘μš”ν•œ κΈˆμœ΅Β·κ³΅κ³΅κΈ°κ΄€ ν™˜κ²½μ—μ„œ GPT λͺ¨λΈμ„ ν™œμš©ν•œ μžλ™ 응닡 μ‹œμŠ€ν…œ ꡬ좕

  • Microsoft 기반 λ‚΄λΆ€ μ‹œμŠ€ν…œκ³Ό μ—°λ™λ˜λŠ” LLM κΈ°λŠ₯ λ‚΄μž¬ν™”

  • λ‹€μ–‘ν•œ ν”„λ‘¬ν”„νŠΈ μ„ΈνŒ…μ„ 톡해 ν…œν”Œλ¦Ώ 기반 μš”μ•½, μž¬μž‘μ„±, 뢄석 μžλ™ν™”

  • OpenAI λŒ€λΉ„ 더 κ°•λ ₯ν•œ SLA 및 μ•‘μ„ΈμŠ€ μ œμ–΄κ°€ ν•„μš”ν•œ μ—”ν„°ν”„λΌμ΄μ¦ˆ ν™˜κ²½ 적용


μ‚¬μš© 팁

  • BasePathλŠ” Azure λ¦¬μ†ŒμŠ€ 배포 μ‹œ μžλ™ μƒμ„±λœ Endpoint 경둜λ₯Ό μ •ν™•νžˆ μž…λ ₯ν•΄μ•Ό 정상 ν˜ΈμΆœλ©λ‹ˆλ‹€.

  • TemperatureλŠ” 0.2~0.4둜 μ„€μ •ν•˜λ©΄ 더 μΌκ΄€λœ 응닡, 0.8 이상이면 더 창의적인 응닡을 μœ λ„ν•  수 μžˆμŠ΅λ‹ˆλ‹€.

  • Top Probability와 TemperatureλŠ” λ™μ‹œμ— μ‚¬μš©ν•˜μ§€ μ•ŠλŠ” 것을 ꢌμž₯ν•˜λ©°, ν•˜λ‚˜λ§Œ μ‘°μ •ν•΄ μ‹€ν—˜ν•˜λŠ” 것이 μ’‹μŠ΅λ‹ˆλ‹€.

  • Best OfλŠ” λΉ„μš©μ΄ μ¦κ°€ν•˜λ―€λ‘œ ν’ˆμ§ˆ κ°œμ„ μ΄ ν•„μš”ν•œ κ³ μ • μž‘μ—…μ—μ„œλ§Œ ν™œμš©ν•˜μ„Έμš”.


μ£Όμ˜μ‚¬ν•­

  • Model Name은 Azureμ—μ„œ 사전 배포된 λͺ¨λΈλ§Œ μ§€μ›λ˜λ―€λ‘œ, OpenAI 곡식 λͺ…μΉ­κ³Ό λ‹€λ₯Ό 수 μžˆμŠ΅λ‹ˆλ‹€.

  • Credential 등둝 μ‹œ Azure OpenAI λ¦¬μ†ŒμŠ€μ˜ 이름, ν‚€, 배포된 λͺ¨λΈ IDλ₯Ό λͺ¨λ‘ μ •ν™•νžˆ μž…λ ₯ν•΄μ•Ό ν•©λ‹ˆλ‹€.

  • μš”μ²­λ‹Ή Max Tokensκ°€ 클수둝 λΉ„μš© 및 지연이 μ¦κ°€ν•˜λ―€λ‘œ λͺ©μ μ— 맞게 적정 μˆ˜μ€€ 섀정이 ν•„μš”ν•©λ‹ˆλ‹€.

  • API 응닡 였λ₯˜κ°€ λ°œμƒν•˜λŠ” 경우, Azure Resource Quota λ˜λŠ” μš”μ²­ 속도 μ œν•œ 정책을 점검해야 ν•©λ‹ˆλ‹€.

Last updated