OpenAI Embeddings

OpenAI Embeddings ๋…ธ๋“œ๋Š” OpenAI์˜ ๊ณ ์„ฑ๋Šฅ ์ž„๋ฒ ๋”ฉ ๋ชจ๋ธ(text-embedding-3 ์‹œ๋ฆฌ์ฆˆ ๋ฐ text-embedding-ada-002)์„ ํ˜ธ์ถœํ•˜์—ฌ ํ…์ŠคํŠธ๋ฅผ ๋ฒกํ„ฐ๋กœ ๋ณ€ํ™˜ํ•˜๋Š” ๋…ธ๋“œ์ž…๋‹ˆ๋‹ค. ๋‹ค์–‘ํ•œ ํฌ๊ธฐ์™€ ์„ฑ๋Šฅ์˜ ๋ชจ๋ธ์„ ์„ ํƒํ•  ์ˆ˜ ์žˆ์œผ๋ฉฐ, ๊ฒ€์ƒ‰, ์œ ์‚ฌ๋„ ๋น„๊ต, ๋ถ„๋ฅ˜, ํด๋Ÿฌ์Šคํ„ฐ๋ง ๋“ฑ ๋‹ค์–‘ํ•œ AI ์›Œํฌํ”Œ๋กœ์šฐ์— ํ™œ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.


์ฃผ์š” ๊ธฐ๋Šฅ

  • OpenAI๊ฐ€ ์ œ๊ณตํ•˜๋Š” ์ตœ์‹  ์ž„๋ฒ ๋”ฉ ๋ชจ๋ธ์„ ํ†ตํ•ด ๊ณ ํ’ˆ์งˆ ๋ฒกํ„ฐ ์ƒ์„ฑ

  • text-embedding-3-large, text-embedding-3-small, text-embedding-ada-002 ์ค‘ ์„ ํƒ ๊ฐ€๋Šฅ

  • ๋Œ€๋Ÿ‰ ์ž…๋ ฅ์„ ์ฒ˜๋ฆฌํ•˜๊ธฐ ์œ„ํ•œ Batch ์„ค์ •, ์‘๋‹ต ์ง€์—ฐ ์ œ์–ด, ์ฐจ์› ์ˆ˜ ์„ค์ • ๋“ฑ ๋‹ค์–‘ํ•œ ํŒŒ๋ผ๋ฏธํ„ฐ ์ง€์›

  • ์ค„๋ฐ”๊ฟˆ ์ฒ˜๋ฆฌ ์˜ต์…˜ ๋“ฑ ๋ฐ์ดํ„ฐ ์ •์ œ ์œ ์—ฐ์„ฑ ํ™•๋ณด

WindyFlo OpenAI Embeddings
WindyFlo OpenAI Embeddings Parameters

์ž…๋ ฅ๊ฐ’ (Inputs)

ํ•ญ๋ชฉ
์„ค๋ช…
ํ•„์ˆ˜ ์—ฌ๋ถ€

Connect Credential

OpenAI API ์ธ์ฆ ์ •๋ณด (Credential์— ๋“ฑ๋ก)

ํ•„์ˆ˜

Model Name

์‚ฌ์šฉํ•  ์ž„๋ฒ ๋”ฉ ๋ชจ๋ธ ์ด๋ฆ„ (์˜ˆ: text-embedding-3-large, text-embedding-ada-002)

ํ•„์ˆ˜


ํŒŒ๋ผ๋ฏธํ„ฐ (Parameters)

ํ•ญ๋ชฉ
์„ค๋ช…

Strip New Lines

๊ฐœํ–‰ ๋ฌธ์ž ์ œ๊ฑฐ ์—ฌ๋ถ€ (๊ธฐ๋ณธ๊ฐ’: false)

Batch Size

ํ•œ ๋ฒˆ์— ์ฒ˜๋ฆฌํ•  ํ…์ŠคํŠธ ์ˆ˜ (์˜ˆ: 100)

Timeout

์‘๋‹ต ๋Œ€๊ธฐ ์‹œ๊ฐ„ ์ œํ•œ (ms ๋‹จ์œ„)

BasePath

OpenAI API ์ปค์Šคํ…€ ์—”๋“œํฌ์ธํŠธ (์„ ํƒ, ์˜ˆ: ํ”„๋ก์‹œ ์„œ๋ฒ„ ์ฃผ์†Œ)

Dimensions

์ถœ๋ ฅ ์ž„๋ฒ ๋”ฉ ๋ฒกํ„ฐ ์ฐจ์› ์ˆ˜ (๋ชจ๋ธ์— ๋”ฐ๋ผ ์ง€์› ๋ฒ”์œ„ ์ƒ์ด)


์ถœ๋ ฅ๊ฐ’ (Outputs)

์ถœ๋ ฅ ํ•ญ๋ชฉ
์„ค๋ช…

OpenAIEmbeddings

์ž…๋ ฅ ํ…์ŠคํŠธ์— ๋Œ€ํ•œ ์ž„๋ฒ ๋”ฉ ๋ฒกํ„ฐ ๋ฐฐ์—ด ๊ฒฐ๊ณผ


ํ™œ์šฉ ์˜ˆ์‹œ

  • RAG ํŒŒ์ดํ”„๋ผ์ธ์—์„œ ์‚ฌ์šฉ์ž ์งˆ๋ฌธ๊ณผ ๋ฌธ์„œ ์ž„๋ฒ ๋”ฉ์„ ์ƒ์„ฑํ•ด ์œ ์‚ฌ๋„ ๊ธฐ๋ฐ˜ ๊ฒ€์ƒ‰ ๊ตฌํ˜„

  • ์ œํ’ˆ ์„ค๋ช…, ๋ฆฌ๋ทฐ ๋ฐ์ดํ„ฐ๋ฅผ ์ž„๋ฒ ๋”ฉ ํ›„ ํด๋Ÿฌ์Šคํ„ฐ๋ง์„ ํ†ตํ•œ ์ธ์‚ฌ์ดํŠธ ๋„์ถœ

  • ๋‹ค๊ตญ์–ด ํ…์ŠคํŠธ ๋ฐ์ดํ„ฐ๋ฅผ ์ž„๋ฒ ๋”ฉ ํ›„ ๋ถ„๋ฅ˜ ๋ชจ๋ธ์˜ ์ž…๋ ฅ ๋ฐ์ดํ„ฐ๋กœ ํ™œ์šฉ

  • ๊ธฐ์กด ๊ฒ€์ƒ‰ ์‹œ์Šคํ…œ์— ๋ฒกํ„ฐ ํ•„ํ„ฐ ๊ธฐ๋Šฅ์„ ์ถ”๊ฐ€ํ•˜์—ฌ ์ •ํ™•๋„ ํ–ฅ์ƒ


์‚ฌ์šฉ ํŒ

  • text-embedding-3-large๋Š” ๊ฐ€์žฅ ๋†’์€ ํ’ˆ์งˆ์˜ ๋ฒกํ„ฐ๋ฅผ ์ƒ์„ฑํ•˜๋ฉฐ, ์„ฑ๋Šฅ์ด ์ค‘์š”ํ•œ ๋ถ„์„์ด๋‚˜ ๊ณ ์ •๋„ ๊ฒ€์ƒ‰์— ์ ํ•ฉํ•ฉ๋‹ˆ๋‹ค.

  • text-embedding-ada-002๋Š” ๋น ๋ฅด๊ณ  ์ €๋ ดํ•œ ๋น„์šฉ์œผ๋กœ ์‹ค์‹œ๊ฐ„ ์ž„๋ฒ ๋”ฉ ์ฒ˜๋ฆฌ์— ์ ํ•ฉํ•ฉ๋‹ˆ๋‹ค.

  • Strip New Lines๋ฅผ ํ™œ์„ฑํ™”ํ•˜๋ฉด ์ค„๋ฐ”๊ฟˆ์„ ์ œ๊ฑฐํ•ด ์ผ๊ด€๋œ ๋ฒกํ„ฐ ์ƒ์„ฑ์ด ๊ฐ€๋Šฅํ•˜๋ฉฐ, ํŠนํžˆ ๋ฌธ์žฅ ๋‹จ์œ„ ์ž„๋ฒ ๋”ฉ ์‹œ ์œ ์šฉํ•ฉ๋‹ˆ๋‹ค.

  • Dimensions ํŒŒ๋ผ๋ฏธํ„ฐ๋Š” text-embedding-3 ์‹œ๋ฆฌ์ฆˆ์—์„œ๋งŒ ์‚ฌ์šฉ ๊ฐ€๋Šฅํ•˜๋ฉฐ, ์ถœ๋ ฅ ์ฐจ์› ์ˆ˜๋ฅผ ์กฐ์ •ํ•˜์—ฌ ๊ณต๊ฐ„ ์ตœ์ ํ™”๊ฐ€ ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค.


์ฃผ์˜์‚ฌํ•ญ

  • Model Name์€ ๋ฐ˜๋“œ์‹œ OpenAI๊ฐ€ ๊ณต์‹ ์ง€์›ํ•˜๋Š” ๋ชจ๋ธ๋ช…๋งŒ ์ž…๋ ฅํ•ด์•ผ ํ•˜๋ฉฐ, ์˜คํƒ€ ๋˜๋Š” ์ง€์› ์ข…๋ฃŒ๋œ ๋ชจ๋ธ์€ ํ˜ธ์ถœ ์‹คํŒจ ์›์ธ์ด ๋ฉ๋‹ˆ๋‹ค.

  • Dimensions ํŒŒ๋ผ๋ฏธํ„ฐ๋Š” text-embedding-3์—์„œ๋งŒ ์‚ฌ์šฉ ๊ฐ€๋Šฅํ•˜๋ฉฐ, text-embedding-ada-002์—์„œ๋Š” ๋ฌด์‹œ๋ฉ๋‹ˆ๋‹ค.

  • Batch Size๊ฐ€ ๋„ˆ๋ฌด ํด ๊ฒฝ์šฐ OpenAI API ์š”์ฒญ ํฌ๊ธฐ ์ œํ•œ(ํ† ํฐ ๊ธฐ์ค€)์„ ์ดˆ๊ณผํ•˜์—ฌ ์‹คํŒจํ•  ์ˆ˜ ์žˆ์œผ๋ฏ€๋กœ ์กฐ์ •์ด ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.

  • OpenAI API ์‚ฌ์šฉ๋Ÿ‰์— ๋”ฐ๋ผ ์š”๊ธˆ์ด ๋ฐœ์ƒํ•˜๋ฏ€๋กœ ํŠธ๋ž˜ํ”ฝ์— ๋”ฐ๋ผ ๋น„์šฉ ๊ณ„ํš์„ ์ˆ˜๋ฆฝํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.

Last updated