admin/vLLM_Head_Run
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
1 Commit 1 Branch 0 Tags
35d659ac38f574c62a1e895d689cb8dfdcb21926
Go to file
Clone
Open with VS Code Open with VSCodium Open with Intellij IDEA
Download ZIP Download TAR.GZ Download BUNDLE
admin 35d659ac38 Initial commit
2026-06-26 22:43:32 +09:00
README.md
Initial commit
2026-06-26 22:43:32 +09:00

README.md

vLLM_Head_Run

"vLLM Head Run" 프로젝트는 torchrun 기반으로 통합된 vLLM OpenAI API 서버를 프로덕션 환경에서 효율적으로 배포하고 운영하기 위한 스크립트 및 관련 설정을 제공합니다. ConnectX-7(RoCE v2) 인프라 성능 최적화, 분산 학습 및 추론 성능 극대화, 그리고 ANTIGRAVITY_RULES.md에 명시된 개발 원칙 준수를 목표로 합니다.

Reference in New Issue View Git Blame Copy Permalink
Description
"vLLM Head Run" 프로젝트는 torchrun 기반으로 통합된 vLLM OpenAI API 서버를 프로덕션 환경에서 효율적으로 배포하고 운영하기 위한 스크립트 및 관련 설정을 제공합니다. ConnectX-7(RoCE v2) 인프라 성능 최적화, 분산 학습 및 추론 성능 극대화, 그리고 ANTIGRAVITY_RULES.md에 명시된 개발 원칙 준수를 목표로 합니다.
Readme 5.2 MiB
Languages
Shell 91.6%
Python 7%
Dockerfile 1.4%