Folder with Files
์ง์ ํ ํด๋ ๊ฒฝ๋ก ๋ด์ ๋ชจ๋ ๋ฌธ์๋ฅผ ๋ถ๋ฌ์ ํ๋์ ํ์ดํ๋ผ์ธ์์ ์ฒ๋ฆฌํ ์ ์๋๋ก ๋์์ฃผ๋ ๋ ธ๋์ ๋๋ค. PDF, JSONL, ํ ์คํธ, Word ๋ฑ ๋ค์ํ ํฌ๋งท์ ํ์ผ์ ๋์์ ๋ก๋ํ ์ ์์ผ๋ฉฐ, ํ์ ํด๋ ํฌํจ ์ฌ๋ถ๋ ์ค์ ํ ์ ์์ต๋๋ค.
์ฃผ์ ๊ธฐ๋ฅ
ํด๋ ๋ด ๋ค์์ ํ์ผ์ ํ ๋ฒ์ ๋ฌธ์ ํํ๋ก ๋ก๋
ํ์ ํด๋๊น์ง ํฌํจํ ์ง ์ฌ๋ถ ์ค์ ๊ฐ๋ฅ (Recursive)
๋ค์ํ ํ์ผ ํฌ๋งท์ ๋ํ ์๋ ์ฒ๋ฆฌ (PDF, JSONL, TXT ๋ฑ)
PDF ๋ฐ JSONL ํ์ผ์ ๋ํ ์ธ๋ถ ์ฒ๋ฆฌ ์ต์ ์ง์
๊ฒฐ๊ณผ๋ฅผ Document ๋ฐฐ์ด ๋๋ ๋ณํฉ๋ Text ํํ๋ก ์ถ๋ ฅ


์
๋ ฅ๊ฐ (Inputs)
Text Splitter
ํ ์คํธ ๋ถํ ์ฉ ๋ ธ๋ ์ฐ๊ฒฐ (์ ํ์ )
์ ํ
Folder Path
ํ์ผ์ด ํฌํจ๋ ํด๋ ๊ฒฝ๋ก (๋ก์ปฌ ๋๋ ์๋ฒ ๋ด ๊ฒฝ๋ก)
ํ์
Recursive
ํ์ ํด๋๊น์ง ํฌํจ ์ฌ๋ถ (๊ธฐ๋ณธ๊ฐ: ๋นํ์ฑ)
ํ์
ํ๋ผ๋ฏธํฐ (Parameters)
Pdf Usage
PDF ํ์ผ ๋ถํ ๋ฐฉ์ ์ค์ - One document per page: ํ์ด์ง ๋จ์๋ก ๋ถ๋ฆฌ - One document per file: ์ ์ฒด ํ์ผ์ ํ๋๋ก ์ฒ๋ฆฌ
JSONL Pointer Extraction
JSONL ํ์ผ ์ฒ๋ฆฌ ์ ํน์ ํ๋๋ง ์ถ์ถํ ๊ฒฝ์ฐ ํฌ์ธํฐ ๊ฒฝ๋ก ์ง์
Additional Metadata
๋ก๋๋ ๊ฐ ๋ฌธ์์ ์ถ๊ฐํ ํค-๊ฐ ๋ฉํ๋ฐ์ดํฐ ์ค์
Omit Metadata Keys
๋ถํ์ํ ๋ฉํ๋ฐ์ดํฐ ํค๋ฅผ ์๋ต (์: key1, nested.key2)
์ถ๋ ฅ๊ฐ (Outputs)
Document
๊ฐ ํ์ผ ๋๋ ํ์ด์ง ๋จ์๋ก ๋๋ ๋ฌธ์ ๊ฐ์ฒด ๋ฐฐ์ด (metadata + pageContent ํฌํจ)
Text
๋ชจ๋ ํ์ผ์ pageContent๋ฅผ ์ฐ๊ฒฐํ ํ๋์ ๋ฌธ์์ด
ํ์ฉ ์์
์ฌ๋ฌ PDF ๋ฆฌํฌํธ๋ฅผ ์ผ๊ด ๋ก๋ํ์ฌ RAG ๊ธฐ๋ฐ ์ง์์๋ต ๊ตฌ์ฑ
๊ต์ก ์๋ฃ ํด๋๋ฅผ ํต์งธ๋ก ๋ถ๋ฌ์ ์ฑ๋ด ํ์ต์ ํ์ฉ
JSONL ๋ก๊ทธ ํ์ผ์์ ํน์ ํ๋๋ง ์ถ์ถ ํ ๋ถ์
ํน์ ๋๋ ํ ๋ฆฌ ๊ธฐ๋ฐ ๋ฌธ์ ๋์๋ณด๋ ๊ตฌ์ฑ
์ฌ์ฉ ํ
JSONL ํ์ผ์ ๊ฒฝ์ฐ Pointer ๊ฒฝ๋ก๋ฅผ ์ ํํ ์ง์ ํ์ง ์์ผ๋ฉด ๋ก๋๋์ง ์์
PDF๋ ํ์ด์ง ์๊ฐ ๋ง์ ๊ฒฝ์ฐ One document per page๋ก ์ค์ ํ๋ ๊ฒ์ด ํจ์จ์
์ฌ๋ฌ ๋ฌธ์ ํฌ๋งท์ด ํผํฉ๋ ํด๋๋ Text Splitter์ ํจ๊ป ์ฌ์ฉํ๋ ๊ฒ์ด ์์ ์
ํด๋ ๊ฒฝ๋ก์ ํ๊ธ์ด ํฌํจ๋ ๊ฒฝ์ฐ ์ธ์ฝ๋ฉ ์ด์๊ฐ ์๋์ง ํ์ธ
์ฃผ์์ฌํญ
ํด๋ ๋ด ๋น์ง์ ํฌ๋งท(.exe ๋ฑ)์ ์๋์ผ๋ก ๋ฌด์๋๋ฉฐ ์ค๋ฅ๊ฐ ๋ฐ์ํ์ง ์์
๋๋ฌด ๋ง์ ํ์ผ์ ํ ๋ฒ์ ๋ถ๋ฌ์ค๋ฉด ์ฒ๋ฆฌ ์๊ฐ์ด ์ง์ฐ๋ ์ ์์
JSONL ํ์ผ ๋ด ๊ตฌ์กฐ๊ฐ ์ผ์ ํ์ง ์์ผ๋ฉด Pointer ์ง์ ์ ์ค๋ฅ ๊ฐ๋ฅ์ฑ ์์
Text ์ถ๋ ฅ ์ ํ ์ metadata ์ ๋ณด๋ ๋ชจ๋ ๋๋ฝ๋จ
Last updated