GoogleVertexAI
GoogleVertexAI ๋
ธ๋๋ Google Cloud์ Vertex AI ํ๋ซํผ์ ํตํด ํ
์คํธ ์์ฑ ๋ชจ๋ธ(์: text-bison)์ ํธ์ถํ ์ ์๋ LLM ๋
ธ๋์
๋๋ค. Google์ ์ต์ PaLM ๊ธฐ๋ฐ ๋ชจ๋ธ์ ํ์ฉํ์ฌ ์์ ํ๊ณ ๊ณ ์ฑ๋ฅ์ ํ
์คํธ ์์ฑ์ด ๊ฐ๋ฅํฉ๋๋ค.
์ฃผ์ ๊ธฐ๋ฅ
Google Vertex AI์
text-bison๋ชจ๋ธ์ ํ์ฉํ ๊ณ ํ์ง ํ ์คํธ ์์ฑTemperature,Top Probability,max Output Tokens๋ฑ ์ธ๋ถ ํ๋ผ๋ฏธํฐ ์กฐ์ ๊ฐ๋ฅ์บ์ ๊ธฐ๋ฅ์ ํตํด ๋ฐ๋ณต ์์ฒญ ๋น์ฉ ์ ๊ฐ
GCP ์ธ์ฆ ๊ธฐ๋ฐ์ ๋ณด์๋ API ์ฐ๊ฒฐ ์ง์


์
๋ ฅ๊ฐ (Inputs)
Cache
๋์ผ ์์ฒญ ์๋ต์ ์บ์ฑํ์ฌ ์ฌ์ฌ์ฉ ์ฌ๋ถ ์ค์
์ ํ
Connect Credential
GCP ์ธ์ฆ ์ ๋ณด (Credential์ ๋ฑ๋ก)
ํ์
Model Name
์ฌ์ฉํ ๋ชจ๋ธ ์ด๋ฆ (์: text-bison)
ํ์
Temperature
์์ฑ ๊ฒฐ๊ณผ์ ๋ค์์ฑ ์กฐ์ (0.0 ~ 1.0, ๊ธฐ๋ณธ๊ฐ: 0.7)
์ ํ
ํ๋ผ๋ฏธํฐ (Parameters)
max Output Tokens
์ต๋ ์์ฑ ํ ํฐ ์ (์: 256, 1024 ๋ฑ)
Top Probability
Top-p ์ํ๋ง ํ๋ฅ ์ค์ (์: 0.9, 1.0 ๋ฑ)
์ถ๋ ฅ๊ฐ (Outputs)
GoogleVertexAI
์์ฑ๋ ํ ์คํธ ๋๋ JSON ํ์ ๊ฒฐ๊ณผ
ํ์ฉ ์์
Google Cloud ์ธํ๋ผ ๊ธฐ๋ฐ์ ์ํฐํ๋ผ์ด์ฆ๊ธ AI ํ ์คํธ ์์ฑ ์์คํ ๊ตฌ์ฑ
๋ด๋ถ ๋ฐ์ดํฐ์ ์ฐ๊ฒฐ๋ RAG ์์คํ ์์ PaLM ๊ณ์ด ๋ชจ๋ธ์ ํ์ฉํ ์๋ต ์์ฑ
SEO, ๋ง์ผํ ๋ฌธ์ ์๋ ์์ฑ๊ณผ ๊ฐ์ ์ฝํ ์ธ ์ ์ ์ ๋ฌด ์๋ํ
์๋ต ์ผ๊ด์ฑ๊ณผ ์์ ์ฑ์ ์๊ตฌํ๋ ๊ณ ๊ฐ ์๋์ฉ AI ๋์ฐ๋ฏธ ๊ตฌ์ถ
์ฌ์ฉ ํ
text-bison์ Google PaLM 2 ๊ธฐ๋ฐ์ผ๋ก, ์ผ๋ฐ ์ง์ ๋ฐ ๋น์ฆ๋์ค ์๋ต ํ์ง์ด ๋ฐ์ด๋๋ฉฐ ๋ค์ํ ๋๋ฉ์ธ์ ์ ํฉํฉ๋๋ค.Temperature๋ ๋ฎ๊ฒ ์ค์ ํ ์๋ก ์ ํํ๋ ์๋ต์, ๋๊ฒ ์ค์ ํ ์๋ก ์ฐฝ์์ ์ธ ์ถ๋ ฅ์ ์ ๋ํฉ๋๋ค.max Output Tokens๋ ์ค์ ์ฌ์ฉ ์ ํ์ํ ์๋ต ๊ธธ์ด์ ๋ง์ถฐ ์กฐ์ ํด์ผ ํฉ๋๋ค. ๊ณผ๋ํ๊ฒ ์ค์ ํ๋ฉด ๋น์ฉ์ด ์ฆ๊ฐํ ์ ์์ต๋๋ค.GCP IAM ๊ถํ์ด ์ ์ ํ ๊ตฌ์ฑ๋์ง ์์ผ๋ฉด Credential ์ค๋ฅ๊ฐ ๋ฐ์ํ ์ ์์ผ๋ฏ๋ก ์ฌ์ ์ค์ ํ์ํฉ๋๋ค.
์ฃผ์์ฌํญ
GoogleVertexAI๋ ์ฌ์ GCP ํ๋ก์ ํธ ๋ฑ๋ก ๋ฐ Vertex AI API ์ฌ์ฉ ์ค์ ์ด ํ์ํฉ๋๋ค.
๋ชจ๋ธ ํธ์ถ ์ ์ฌ์ฉ๋๋ ๋ฆฌ์์ค์ ๋ฐ๋ผ ์๊ธ์ด ์ฒญ๊ตฌ๋๋ฏ๋ก ํธ์ถ ํ์ ๋ฐ ํ ํฐ ๊ธธ์ด์ ์ ์ํด์ผ ํฉ๋๋ค.
Top Probability์Temperature๋ฅผ ๋์์ ๋๊ฒ ์ค์ ํ๋ฉด ์์ธก ๋ถ๊ฐ๋ฅํ ์๋ต์ด ์์ฑ๋ ์ ์์ผ๋ฏ๋ก ํ ์คํธ๋ฅผ ํตํด ์ต์ ๊ฐ์ ์ฐพ๋ ๊ฒ์ด ์ข์ต๋๋ค.Vertex AI๋ ์ง์ญ ๋ฆฌ์ ์ค์ ์ ๋ฐ๋ผ ์ ๊ทผ ๊ฐ๋ฅํ ๋ชจ๋ธ์ด ์ ํ๋ ์ ์์ต๋๋ค (
us-central1,us-east1๋ฑ).
Last updated