AWS Bedrock

AWS Bedrock ๋…ธ๋“œ๋Š” Amazon Bedrock ํ”Œ๋žซํผ์—์„œ ์ œ๊ณตํ•˜๋Š” ๋‹ค์–‘ํ•œ LLM ๋ชจ๋ธ์„ ํ˜ธ์ถœํ•  ์ˆ˜ ์žˆ๋Š” ๋ฒ”์šฉ LLM ๋…ธ๋“œ์ž…๋‹ˆ๋‹ค. Anthropic Claude, AI21, Amazon Titan, Meta Llama ๋“ฑ ์—ฌ๋Ÿฌ ๋ฒค๋”์˜ ๋ชจ๋ธ์„ ๋‹จ์ผ ์ธํ„ฐํŽ˜์ด์Šค๋กœ ํ†ตํ•ฉํ•˜์—ฌ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.


์ฃผ์š” ๊ธฐ๋Šฅ

  • AWS Bedrock์— ๋ฐฐํฌ๋œ ๋‹ค์–‘ํ•œ LLM ๋ชจ๋ธ ํ˜ธ์ถœ ๊ฐ€๋Šฅ

  • Region, Model Name, Temperature ๋“ฑ ์ฃผ์š” ํŒŒ๋ผ๋ฏธํ„ฐ ์„ค์ • ์ง€์›

  • ์บ์‹œ ๊ธฐ๋Šฅ์„ ํ†ตํ•ด ๋™์ผ ์š”์ฒญ ๋ฐ˜๋ณต ์‹œ ์„ฑ๋Šฅ ์ตœ์ ํ™”

  • Amazon ๊ด€๋ฆฌํ˜• ์ธํ”„๋ผ ๊ธฐ๋ฐ˜์œผ๋กœ ์‹ ๋ขฐ์„ฑ ๋†’์€ API ํ˜ธ์ถœ ๊ฐ€๋Šฅ

WindyFlo AWS Bedrock
WindyFlo AWS Bedrock Parameters

์ž…๋ ฅ๊ฐ’ (Inputs)

ํ•ญ๋ชฉ
์„ค๋ช…
ํ•„์ˆ˜ ์—ฌ๋ถ€

Cache

๋™์ผ ์š”์ฒญ์— ๋Œ€ํ•ด ์‘๋‹ต ์บ์‹œ ์‚ฌ์šฉ ์—ฌ๋ถ€ (ON/OFF)

์„ ํƒ

AWS Credential

AWS Bedrock ํ˜ธ์ถœ์šฉ ์ธ์ฆ ์ •๋ณด (Credential์— ๋“ฑ๋ก)

ํ•„์ˆ˜

Region

์‚ฌ์šฉ ์ค‘์ธ AWS Bedrock ๋ฆฌ์ „ (์˜ˆ: us-east-1)

ํ•„์ˆ˜

Model Name

์‚ฌ์šฉํ•  LLM ๋ชจ๋ธ ์ด๋ฆ„ (์˜ˆ: anthropic.claude-v2)

ํ•„์ˆ˜

Custom Model Name

๋ณ„๋„๋กœ ์ •์˜ํ•œ ์‚ฌ์šฉ์ž ๋ชจ๋ธ๋ช… (์„ ํƒ)

์„ ํƒ


ํŒŒ๋ผ๋ฏธํ„ฐ (Parameters)

ํ•ญ๋ชฉ
์„ค๋ช…

Temperature

์ถœ๋ ฅ ํ…์ŠคํŠธ์˜ ์ฐฝ์˜์„ฑ ์ •๋„ (0.0 ~ 1.0, ๊ธฐ๋ณธ๊ฐ’: 0.7)

Max Tokens to Sample

์ƒ์„ฑํ•  ์ตœ๋Œ€ ํ† ํฐ ์ˆ˜ (์˜ˆ: 200)


์ถœ๋ ฅ๊ฐ’ (Outputs)

์ถœ๋ ฅ ํ•ญ๋ชฉ
์„ค๋ช…

AWSBedrock

Bedrock LLM ์‘๋‹ต ๊ฒฐ๊ณผ (ํ…์ŠคํŠธ ๋˜๋Š” JSON ํ˜•์‹ ํฌํ•จ ๊ฐ€๋Šฅ)


ํ™œ์šฉ ์˜ˆ์‹œ

  • Claude ๊ธฐ๋ฐ˜ ๋Œ€ํ™”ํ˜• QA ์‹œ์Šคํ…œ ๊ตฌ์„ฑ (์˜ˆ: anthropic.claude-v2)

  • Amazon Titan ๋ชจ๋ธ์„ ํ™œ์šฉํ•œ ํ…์ŠคํŠธ ์ƒ์„ฑ ๋ฐ ์ž๋™ํ™” ์‘๋‹ต ์ฒ˜๋ฆฌ

  • ๋™์ผ ์›Œํฌํ”Œ๋กœ์šฐ ๋‚ด์—์„œ ๋‹ค์–‘ํ•œ ๋ชจ๋ธ์„ ๋น„๊ต ํ…Œ์ŠคํŠธํ•˜๋Š” ๋ฉ€ํ‹ฐ LLM ์„ค์ •

  • ์‚ฌ๋‚ด ์‹œ์Šคํ…œ๊ณผ AWS ๊ธฐ๋ฐ˜ API ์—ฐ๋™ํ•˜์—ฌ LLM ์‘๋‹ต ์ฒ˜๋ฆฌ ์ž๋™ํ™” ๊ตฌ์ถ•


์‚ฌ์šฉ ํŒ

  • Model Name์—๋Š” Bedrock์—์„œ ์ง€์›ํ•˜๋Š” ์ •ํ™•ํ•œ ๋ชจ๋ธ๋ช…(๋ฒค๋”.๋ชจ๋ธ๋ช…)์„ ์ž…๋ ฅํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.

    • ์˜ˆ: anthropic.claude-v2, amazon.titan-text-express-v1, meta.llama2-13b-chat-v1

  • Temperature๋Š” ๋†’์„์ˆ˜๋ก ์ฐฝ์˜์ ์ธ ์‘๋‹ต์ด ๋‚˜์˜ค๋ฉฐ, ๋‚ฎ์„์ˆ˜๋ก ์ผ๊ด€๋œ ์‘๋‹ต์ด ์ƒ์„ฑ๋ฉ๋‹ˆ๋‹ค.

  • ์‘๋‹ต์ด ๋„ˆ๋ฌด ์งง์„ ๊ฒฝ์šฐ Max Tokens to Sample ๊ฐ’์„ ๋Š˜๋ ค์„œ ์ถœ๋ ฅ ๋ฒ”์œ„๋ฅผ ํ™•์žฅํ•˜์„ธ์š”.

  • ๋‹ค์–‘ํ•œ ๋ชจ๋ธ์„ ์‹คํ—˜ํ•ด๋ณด๊ธฐ ์œ„ํ•ด Custom Model Name์„ ์‚ฌ์šฉํ•˜๋ฉด ์›Œํฌํ”Œ๋กœ์šฐ ๊ด€๋ฆฌ๊ฐ€ ์‰ฌ์›Œ์ง‘๋‹ˆ๋‹ค.


์ฃผ์˜์‚ฌํ•ญ

  • AWS Bedrock์€ ๊ธฐ๋ณธ์ ์œผ๋กœ ์œ ๋ฃŒ API์ด๋ฉฐ, ๋ชจ๋ธ๋ณ„ ์š”๊ธˆ ๋‹จ๊ฐ€๊ฐ€ ์ƒ์ดํ•˜๋ฏ€๋กœ ์‚ฌ์ „ ํ™•์ธ์ด ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.

  • Model Name์„ ์ž˜๋ชป ์ž…๋ ฅํ•˜๋ฉด "Model not found" ์˜ค๋ฅ˜๊ฐ€ ๋ฐœ์ƒํ•ฉ๋‹ˆ๋‹ค. ๊ณต์‹ ๋ฌธ์„œ์—์„œ ์ •ํ™•ํ•œ ๋ช…์นญ์„ ํ™•์ธํ•˜์„ธ์š”.

  • ์ผ๋ถ€ ๋ชจ๋ธ์€ ํŠน์ • ๋ฆฌ์ „์—์„œ๋งŒ ์‚ฌ์šฉ ๊ฐ€๋Šฅํ•˜๋ฏ€๋กœ Region ์„ ํƒ ์‹œ ์ œ์•ฝ์‚ฌํ•ญ์„ ๊ณ ๋ คํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.

  • Max Tokens to Sample ๊ฐ’์ด ๋„ˆ๋ฌด ํฌ๋ฉด ์š”๊ธˆ์ด ๊ณผ๋‹ค ๋ฐœ์ƒํ•˜๊ฑฐ๋‚˜ ์‘๋‹ต์ด ์ง€์—ฐ๋  ์ˆ˜ ์žˆ์œผ๋‹ˆ ์ ์ ˆํžˆ ์„ค์ •ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.

Last updated