GoogleVertexAI

GoogleVertexAI ๋…ธ๋“œ๋Š” Google Cloud์˜ Vertex AI ํ”Œ๋žซํผ์„ ํ†ตํ•ด ํ…์ŠคํŠธ ์ƒ์„ฑ ๋ชจ๋ธ(์˜ˆ: text-bison)์„ ํ˜ธ์ถœํ•  ์ˆ˜ ์žˆ๋Š” LLM ๋…ธ๋“œ์ž…๋‹ˆ๋‹ค. Google์˜ ์ตœ์‹  PaLM ๊ธฐ๋ฐ˜ ๋ชจ๋ธ์„ ํ™œ์šฉํ•˜์—ฌ ์•ˆ์ „ํ•˜๊ณ  ๊ณ ์„ฑ๋Šฅ์˜ ํ…์ŠคํŠธ ์ƒ์„ฑ์ด ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค.


์ฃผ์š” ๊ธฐ๋Šฅ

  • Google Vertex AI์˜ text-bison ๋ชจ๋ธ์„ ํ™œ์šฉํ•œ ๊ณ ํ’ˆ์งˆ ํ…์ŠคํŠธ ์ƒ์„ฑ

  • Temperature, Top Probability, max Output Tokens ๋“ฑ ์„ธ๋ถ€ ํŒŒ๋ผ๋ฏธํ„ฐ ์กฐ์ • ๊ฐ€๋Šฅ

  • ์บ์‹œ ๊ธฐ๋Šฅ์„ ํ†ตํ•ด ๋ฐ˜๋ณต ์š”์ฒญ ๋น„์šฉ ์ ˆ๊ฐ

  • GCP ์ธ์ฆ ๊ธฐ๋ฐ˜์˜ ๋ณด์•ˆ๋œ API ์—ฐ๊ฒฐ ์ง€์›

WindyFlo GoogleVertexAI
WindyFlo GoogleVertexAI Parameters

์ž…๋ ฅ๊ฐ’ (Inputs)

ํ•ญ๋ชฉ
์„ค๋ช…
ํ•„์ˆ˜ ์—ฌ๋ถ€

Cache

๋™์ผ ์š”์ฒญ ์‘๋‹ต์„ ์บ์‹ฑํ•˜์—ฌ ์žฌ์‚ฌ์šฉ ์—ฌ๋ถ€ ์„ค์ •

์„ ํƒ

Connect Credential

GCP ์ธ์ฆ ์ •๋ณด (Credential์— ๋“ฑ๋ก)

ํ•„์ˆ˜

Model Name

์‚ฌ์šฉํ•  ๋ชจ๋ธ ์ด๋ฆ„ (์˜ˆ: text-bison)

ํ•„์ˆ˜

Temperature

์ƒ์„ฑ ๊ฒฐ๊ณผ์˜ ๋‹ค์–‘์„ฑ ์กฐ์ ˆ (0.0 ~ 1.0, ๊ธฐ๋ณธ๊ฐ’: 0.7)

์„ ํƒ


ํŒŒ๋ผ๋ฏธํ„ฐ (Parameters)

ํ•ญ๋ชฉ
์„ค๋ช…

max Output Tokens

์ตœ๋Œ€ ์ƒ์„ฑ ํ† ํฐ ์ˆ˜ (์˜ˆ: 256, 1024 ๋“ฑ)

Top Probability

Top-p ์ƒ˜ํ”Œ๋ง ํ™•๋ฅ  ์„ค์ • (์˜ˆ: 0.9, 1.0 ๋“ฑ)


์ถœ๋ ฅ๊ฐ’ (Outputs)

์ถœ๋ ฅ ํ•ญ๋ชฉ
์„ค๋ช…

GoogleVertexAI

์ƒ์„ฑ๋œ ํ…์ŠคํŠธ ๋˜๋Š” JSON ํ˜•์‹ ๊ฒฐ๊ณผ


ํ™œ์šฉ ์˜ˆ์‹œ

  • Google Cloud ์ธํ”„๋ผ ๊ธฐ๋ฐ˜์˜ ์—”ํ„ฐํ”„๋ผ์ด์ฆˆ๊ธ‰ AI ํ…์ŠคํŠธ ์ƒ์„ฑ ์‹œ์Šคํ…œ ๊ตฌ์„ฑ

  • ๋‚ด๋ถ€ ๋ฐ์ดํ„ฐ์™€ ์—ฐ๊ฒฐ๋œ RAG ์‹œ์Šคํ…œ์—์„œ PaLM ๊ณ„์—ด ๋ชจ๋ธ์„ ํ™œ์šฉํ•œ ์‘๋‹ต ์ƒ์„ฑ

  • SEO, ๋งˆ์ผ€ํŒ… ๋ฌธ์„œ ์ž๋™ ์ƒ์„ฑ๊ณผ ๊ฐ™์€ ์ฝ˜ํ…์ธ  ์ œ์ž‘ ์—…๋ฌด ์ž๋™ํ™”

  • ์‘๋‹ต ์ผ๊ด€์„ฑ๊ณผ ์•ˆ์ •์„ฑ์„ ์š”๊ตฌํ•˜๋Š” ๊ณ ๊ฐ ์‘๋Œ€์šฉ AI ๋„์šฐ๋ฏธ ๊ตฌ์ถ•


์‚ฌ์šฉ ํŒ

  • text-bison์€ Google PaLM 2 ๊ธฐ๋ฐ˜์œผ๋กœ, ์ผ๋ฐ˜ ์ง€์‹ ๋ฐ ๋น„์ฆˆ๋‹ˆ์Šค ์‘๋‹ต ํ’ˆ์งˆ์ด ๋›ฐ์–ด๋‚˜๋ฉฐ ๋‹ค์–‘ํ•œ ๋„๋ฉ”์ธ์— ์ ํ•ฉํ•ฉ๋‹ˆ๋‹ค.

  • Temperature๋Š” ๋‚ฎ๊ฒŒ ์„ค์ •ํ• ์ˆ˜๋ก ์ •ํ˜•ํ™”๋œ ์‘๋‹ต์„, ๋†’๊ฒŒ ์„ค์ •ํ• ์ˆ˜๋ก ์ฐฝ์˜์ ์ธ ์ถœ๋ ฅ์„ ์œ ๋„ํ•ฉ๋‹ˆ๋‹ค.

  • max Output Tokens๋Š” ์‹ค์ œ ์‚ฌ์šฉ ์‹œ ํ•„์š”ํ•œ ์‘๋‹ต ๊ธธ์ด์— ๋งž์ถฐ ์กฐ์ •ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. ๊ณผ๋„ํ•˜๊ฒŒ ์„ค์ •ํ•˜๋ฉด ๋น„์šฉ์ด ์ฆ๊ฐ€ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

  • GCP IAM ๊ถŒํ•œ์ด ์ ์ ˆํžˆ ๊ตฌ์„ฑ๋˜์ง€ ์•Š์œผ๋ฉด Credential ์˜ค๋ฅ˜๊ฐ€ ๋ฐœ์ƒํ•  ์ˆ˜ ์žˆ์œผ๋ฏ€๋กœ ์‚ฌ์ „ ์„ค์ • ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.


์ฃผ์˜์‚ฌํ•ญ

  • GoogleVertexAI๋Š” ์‚ฌ์ „ GCP ํ”„๋กœ์ ํŠธ ๋“ฑ๋ก ๋ฐ Vertex AI API ์‚ฌ์šฉ ์„ค์ •์ด ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.

  • ๋ชจ๋ธ ํ˜ธ์ถœ ์‹œ ์‚ฌ์šฉ๋˜๋Š” ๋ฆฌ์†Œ์Šค์— ๋”ฐ๋ผ ์š”๊ธˆ์ด ์ฒญ๊ตฌ๋˜๋ฏ€๋กœ ํ˜ธ์ถœ ํšŸ์ˆ˜ ๋ฐ ํ† ํฐ ๊ธธ์ด์— ์œ ์˜ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.

  • Top Probability์™€ Temperature๋ฅผ ๋™์‹œ์— ๋†’๊ฒŒ ์„ค์ •ํ•˜๋ฉด ์˜ˆ์ธก ๋ถˆ๊ฐ€๋Šฅํ•œ ์‘๋‹ต์ด ์ƒ์„ฑ๋  ์ˆ˜ ์žˆ์œผ๋ฏ€๋กœ ํ…Œ์ŠคํŠธ๋ฅผ ํ†ตํ•ด ์ตœ์ ๊ฐ’์„ ์ฐพ๋Š” ๊ฒƒ์ด ์ข‹์Šต๋‹ˆ๋‹ค.

  • Vertex AI๋Š” ์ง€์—ญ ๋ฆฌ์ „ ์„ค์ •์— ๋”ฐ๋ผ ์ ‘๊ทผ ๊ฐ€๋Šฅํ•œ ๋ชจ๋ธ์ด ์ œํ•œ๋  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค (us-central1, us-east1 ๋“ฑ).

Last updated