허깅페이스의 Safetensors, 파이토치 재단에 공식 합류

허깅페이스(Hugging Face)가 개발한 머신러닝(ML) 모델 저장 포맷 Safetensors가 파이토치 재단(PyTorch Foundation)에 재단 호스팅 프로젝트로 공식 합류했다. 리눅스 재단(Linux Foundation) 산하 파이토치 재단에는 DeepSpeed, Helion, Ray, vLLM, PyTorch 본체와 함께 Safetensors가 이름을 올렸다. 이로써 Safetensors의 상표권·레포지토리·거버넌스는 허깅페이스 단독이 아닌 리눅스 재단에 귀속된다.

왜 이 발표가 중요한가

Safetensors는 현재 허깅페이스 허브 내 수만 개 이상의 모델에서 기본 저장 포맷으로 사용되고 있다. 텍스트·이미지·오디오 등 전 모달리티(modality)에 걸쳐 오픈소스 ML 커뮤니티의 사실상 표준(de facto standard)으로 자리 잡은 포맷이 이제 특정 기업 소유를 벗어나 '중립 거버넌스(vendor-neutral governance)' 구조 아래 놓이게 됐다.

이번 합류의 핵심은 단순한 코드 기여 채널 확대가 아니다. 기업·개인 기여자 누구든 메인테이너(maintainer)가 될 수 있는 공식 경로가 GOVERNANCE.md와 MAINTAINERS.md로 문서화됐다. 오픈소스 인프라가 특정 기업의 우선순위 변화나 비즈니스 결정에 흔들릴 위험이 구조적으로 줄어든다.

이전과 무엇이 달라졌나

기존 사용자 관점에서는 포맷·API·허브 연동 모두 동일하다. 이미 Safetensors로 저장된 모델은 별도 마이그레이션 없이 그대로 작동한다.

이 흐름은 언제부터? — 보안 취약점에서 표준 포맷까지

Safetensors가 탄생한 배경에는 파이썬 생태계의 구조적 취약점이 있다. ML 초기에 널리 쓰인 pickle 기반 직렬화(serialization) 포맷은 파일을 불러오는 것만으로 임의 코드가 실행될 수 있었다. 연구 목적의 소규모 공유 시절에는 용인 가능한 위험이었지만, 2022~2023년 허깅페이스 허브를 통한 오픈 모델 공유가 폭발적으로 증가하면서 이 취약점은 공급망(supply chain) 공격의 벡터로 부상했다.

허깅페이스가 내놓은 해법은 의도적으로 단순하게 설계됐다. 구조는 100MB 상한의 JSON 헤더(텐서 메타데이터 기술)와 그 뒤를 잇는 원시 텐서 데이터로 구성된다. 메모리 매핑(memory-mapped) 방식으로 디스크에서 텐서를 직접 로드하는 제로 카피(zero-copy) 로딩, 전체 체크포인트를 역직렬화하지 않고 개별 가중치를 읽는 지연 로딩(lazy loading)이 핵심 특성이다. 코드 실행 경로 자체가 없기 때문에 악성 파일이 삽입될 여지가 구조적으로 차단된다.

채택 속도는 예상을 뛰어넘었다. 출시 이후 주요 모델 허브와 프레임워크가 잇달아 Safetensors를 기본 포맷으로 채택했고, 현재는 LLM(대규모 언어 모델)부터 이미지 생성·오디오 모델까지 전 분야에서 기본값으로 자리 잡았다.

앞으로 어떻게 될까 [전문가 분석]

파이토치 재단 합류 이후 공개된 로드맵은 Safetensors가 단순 파일 포맷을 넘어 ML 인프라의 핵심 레이어로 확장될 가능성을 시사한다.

파이토치 코어 통합: 파이토치 팀과 협력해 Safetensors를 torch 모델의 기본 직렬화(serialization) 시스템으로 채택하는 작업이 진행 중이다. 성사된다면 수억 규모 파이토치 사용자의 기본 저장 경험이 바뀔 가능성이 높다.

디바이스 인식 로딩: CUDA, ROCm 등 가속기에 CPU 스테이징 없이 텐서를 직접 로드하는 디바이스 어웨어(device-aware) 로딩·저장 기능이 추가될 전망이다. 대형 모델 추론(inference) 시작 시간을 줄이는 데 직결되는 기능이다.

병렬 로딩 API: 텐서 병렬(Tensor Parallel)·파이프라인 병렬(Pipeline Parallel) 환경에서 각 랭크(rank) 또는 파이프라인 스테이지가 필요한 가중치만 선택적으로 로드하는 1급(first-class) API가 도입될 예정이다. 수백억 파라미터 이상의 초대형 모델 운용 비용을 낮추는 핵심 기능으로 평가된다.

양자화 포맷 공식 지원: FP8, 블록 양자화(block-quantized) 포맷인 GPTQ·AWQ, 서브바이트(sub-byte) 정수형 타입에 대한 공식 지원이 추가된다. 추론 효율화 트렌드 속에서 생태계 전반의 수요가 집중되는 영역이다.

리눅스 재단 거버넌스 구조는 장기적으로 기업 채택 문턱을 낮출 가능성이 높다. 공급망 보안과 오픈소스 의존성 관리에 민감한 대형 기업들은 단일 벤더(vendor)가 통제하는 프로젝트보다 중립 재단 소속 프로젝트에 더 높은 신뢰를 부여하는 경향이 있다. Safetensors가 ML 인프라의 '인터넷 표준' 격 포지션으로 올라설 발판이 마련됐다는 분석이 나오는 이유다.