HuggingFace Inference

HuggingFace Inference 노드는 Hugging Face Hub에 등록된 다양한 텍스트 생성 모델(GPT2, BLOOM 등)을 API를 통해 실행할 수 있도록 지원하는 노드입니다. 커스텀 엔드포인트 설정을 통해 사내 호스팅 모델이나 Hugging Face Inference Endpoints와도 연결 가능합니다.

---

주요 기능

• Hugging Face Hub의 모델(gpt2, bloom 등)을 직접 호출해 텍스트 생성

• Temperature, Top-p, Top-k, Max Tokens 등 세부 생성 옵션 제공

• 커스텀 엔드포인트 설정을 통한 프라이빗 모델 배포 환경 연동 가능

• Cache 기능으로 반복 호출 시 응답 속도 및 비용 최적화

WindyFlo HuggingFace Inference

WindyFlo HuggingFace Inference Parameters

입력값 (Inputs)

항목	설명	필수 여부
Cache	동일 요청에 대한 결과를 저장해 재사용할지 여부	선택
Connect Credential	Hugging Face API 토큰 (Credential에 등록)	필수
Model	사용할 모델 이름 (예: gpt2, bigscience/bloom)	필수
Endpoint	Hugging Face Inference Endpoint 또는 사설 API URL	선택

---

파라미터 (Parameters)

항목	설명
Temperature	생성 다양성 조절값 (0.0 ~ 1.0)
Max Tokens	생성할 최대 토큰 수
Top Probability	Top-p (nucleus sampling) 값 설정 (예: 0.9)
Top K	Top-k 샘플링 설정값
Frequency Penalty	반복 단어 억제 수치 (-2.0 ~ 2.0)

---

출력값 (Outputs)

출력 항목	설명
HuggingFaceInference	모델로부터 생성된 텍스트 결과 또는 JSON 응답

---

활용 예시

• 사내 인프라 또는 Hugging Face의 프라이빗 모델을 활용한 맞춤형 텍스트 생성 워크플로우 구축

• 오픈소스 LLM 기반 RAG 시스템 실험

• 비용을 고려해 OpenAI 대신 Hugging Face 모델로 실험 환경 구성

• 다양한 모델 설정을 통한 생성 품질 비교 및 평가

---

사용 팁

• Model 이름은 Hugging Face 모델 페이지의 정확한 경로를 입력해야 하며, 예: bigscience/bloom, tiiuae/falcon-7b-instruct

• Endpoint는 Hugging Face에서 생성한 Inference Endpoint URL 또는 로컬 프록시 서버 주소를 입력할 수 있습니다.

• Top Probability와 Top K는 함께 사용하는 경우 결과 다양성이 커질 수 있으나, 품질 저하 가능성도 있습니다.

• Temperature와 Max Tokens 조합을 적절히 조정하면 응답 품질과 비용을 동시에 관리할 수 있습니다.

---

주의사항

• 해당 노드는 입력된 모델 경로 또는 Endpoint가 잘못될 경우 오류를 반환하므로 사전 확인이 필수입니다.

• Hugging Face의 일부 모델은 인증 토큰이 없으면 호출이 제한될 수 있습니다.

• 생성된 응답 형식은 모델마다 다르므로 후처리 로직에서 주의가 필요합니다.

• 로컬 서버와 연동 시 API Timeout, 포맷 불일치 등에 대한 예외처리 필요