AI・テック

SafetensorsがPyTorch Foundationに参加——オープンソースMLに中立ガバナンス時代が到来

Hugging Faceが開発した安全なテンソル直列化フォーマット、Linux Foundation傘下へ移管しコミュニティ所有に

한서진··5分で読めます·
Safetensors is Joining the PyTorch Foundation
要約
  • SafetensorsがPyTorch Foundationに参加し、商標権とガバナンスがLinux Foundationに移管された。
  • pickleベースのセキュリティ脆弱性解消を目的に設計されたこのフォーマットは、現在ハブ内の数万モデルのデフォルトフォーマットとなっている。
  • PyTorchコア統合、デバイス認識ロード、FP8・量子化フォーマットの公式サポートなど大型ロードマップが公開された。

SafetensorsがPyTorch Foundationに正式参加

Hugging Faceが開発した機械学習(ML)モデル保存フォーマット「Safetensors」が、PyTorch Foundationにファウンデーション・ホステッド・プロジェクトとして正式に参加した。DeepSpeed、Helion、Ray、vLLM、そしてPyTorch本体と並び、Linux Foundation傘下のPyTorch Foundationにその名を連ねる。これにより、Safetensorsの商標・リポジトリ・ガバナンスはHugging Face単独ではなく、Linux Foundationに帰属することになった。

なぜこの発表が重要なのか

Safetensorsは現在、Hugging Face Hub上の数万以上のモデルにおいてデフォルトの保存フォーマットとして使用されており、テキスト・画像・音声などあらゆるモダリティ(modality)に対応したオープンソースMLコミュニティのデファクトスタンダード(de facto standard)となっている。特定企業の所有を離れ、ベンダーニュートラル(vendor-neutral)なガバナンス構造のもとに置かれることになった。

今回の参加の核心は、単なるコード貢献チャネルの拡大ではない。GOVERNANCE.mdMAINTAINERS.mdによって、誰でもメンテナー(maintainer)になれる公式ルートが文書化された。重要なオープンソースインフラが特定企業の優先事項の変化やビジネス上の意思決定に左右されるリスクが、構造的に低減される。

何が変わったのか

項目変更前変更後
所有権Hugging Face単独Linux Foundation(PyTorch Foundation)
ガバナンス内部決定公開GOVERNANCE.mdに基づく
メンテナー参入非公式公式文書化・誰でも申請可能
テクニカルステアリングHF内部TSC(技術運営委員会)、LucとDanielが続投
API・フォーマット互換性変更なし、完全な後方互換性を維持

既存ユーザーの観点では、フォーマット・API・Hubとの連携はすべて同一だ。すでにSafetensors形式で保存されたモデルは、別途マイグレーション不要でそのまま動作する。

この流れはいつから始まったのか——セキュリティ脆弱性から標準フォーマットへ

Safetensorsが誕生した背景には、Pythonエコシステムの構造的な脆弱性がある。初期のMLで広く使われていたpickleベースのシリアライゼーション(serialization)フォーマットは、ファイルを読み込むだけで任意のコードが実行される可能性があった。研究目的の小規模な共有が主流だった頃は許容できるリスクだったが、2022〜2023年にHugging Face Hubを通じたオープンモデル共有が爆発的に拡大するにつれ、この脆弱性はサプライチェーン(supply chain)攻撃のベクターとして浮上した。

Hugging Faceの解決策は意図的にシンプルに設計された。フォーマットの構造は、100MB上限のJSONヘッダー(テンソルメタデータを記述)と、それに続く生のテンソルデータで構成される。ディスクからテンソルを直接ロードするゼロコピー(zero-copy)ローディング、チェックポイント全体を逆シリアライズせずに個々の重みを読み込む遅延ロード(lazy loading)が主要特性だ。フォーマット自体にコード実行パスが存在しないため、悪意あるペイロードが挿入される余地が構造的に遮断されている。

採用速度は予想をはるかに上回った。主要モデルハブとフレームワークが相次いでSafetensorsをデフォルトフォーマットとして採用し、現在ではLLM(大規模言語モデル)から画像生成・音声モデルまで全分野でデフォルト値として定着している。

今後どうなるのか [専門家分析]

PyTorch Foundation参加とともに公開されたロードマップは、SafetensorsがMLインフラのコアレイヤーへと進化する可能性を示唆している。

PyTorchコアへの統合: PyTorchチームと協力し、Safetensorsをtorchモデルのデフォルト直列化システムとして採用する作業が進行中だ。実現すれば、数億人規模のPyTorchユーザーのデフォルト保存・ロード体験が変わる可能性が高い。

デバイス認識ロード: CUDA、ROCmなどのアクセラレーターにCPUステージングなしでテンソルを直接ロードするデバイスアウェア(device-aware)ローディング・セービング機能が追加される予定だ。大規模モデルの推論(inference)起動時間の短縮に直結する機能だ。

並列ロードAPI: テンソル並列(Tensor Parallel)・パイプライン並列(Pipeline Parallel)環境において、各ランク(rank)またはパイプラインステージが必要な重みのみを選択的にロードするファーストクラス(first-class)APIが導入される予定だ。数千億パラメーター以上の超大型モデルの運用コストを下げる重要機能と評価されている。

量子化フォーマットの公式サポート: FP8、ブロック量子化(block-quantized)フォーマットであるGPTQ・AWQ、サブバイト(sub-byte)整数型の公式サポートが追加される。推論効率化トレンドの中でエコシステム全体の需要が集まる領域だ。

Linux Foundationのガバナンス構造は、長期的に企業採用のハードルを下げる可能性が高い。サプライチェーンセキュリティとオープンソース依存性管理に敏感な大企業は、単一ベンダー(vendor)が管理するプロジェクトよりも中立的な財団に所属するプロジェクトに高い信頼を置く傾向がある。SafetensorsがMLインフラの「インターネット標準」に相当するポジションへ駆け上がる足がかりが整ったとの分析が出ている理由だ。

共有

댓글 (24)

인천의강아지방금 전

깔끔한 기사입니다. safetensors 주제로 시리즈 기사가 나오면 좋겠습니다. 다른 시각의 분석도 읽어보고 싶습니다.

바람의부엉이방금 전

북마크해두겠습니다. LLM 주제로 시리즈 기사가 나오면 좋겠습니다.

조용한러너방금 전

safetensors에 대한 다른 매체 보도와 비교해봐도 잘 정리되어 있습니다.

꼼꼼한사색가5분 전

매일 여기서 뉴스 보고 있어요.

다정한독자5분 전

safetensors에 대해 처음 접하는 정보가 있었습니다. 좋은 기사 감사합니다.

구름위구름12분 전

LLM에 대한 다른 매체 보도와 비교해봐도 잘 정리되어 있습니다.

새벽의여우12분 전

safetensors 관련 용어 설명이 친절해서 좋았습니다. 후속 기사 부탁드립니다.

아침의독자12분 전

LLM 관련 용어 설명이 친절해서 좋았습니다. 잘 정리된 기사네요.

카페의라떼30분 전

safetensors 관련 배경 설명이 이해하기 쉬웠습니다.

제주의첼로30분 전

LLM 주제로 시리즈 기사가 나오면 좋겠습니다.

솔직한달1시간 전

safetensors 기사에서 언급된 사례가 흥미로웠습니다. 다른 시각의 분석도 읽어보고 싶습니다.

판교의여우1시간 전

LLM 관련 용어 설명이 친절해서 좋았습니다.

아침의해2시간 전

safetensors에 대해 더 알고 싶어졌습니다. 후속 기사 부탁드립니다.

유쾌한별2시간 전

LLM 관련 배경 설명이 이해하기 쉬웠습니다.

강남의해2시간 전

safetensors이 일상에 어떤 영향을 줄지 생각해보게 됩니다. 계속 지켜봐야겠습니다.

차분한라떼3시간 전

LLM에 대해 처음 접하는 정보가 있었습니다.

바람의달3시간 전

safetensors에 대해 더 알고 싶어졌습니다.

한밤의기록자5시간 전

LLM 관련 통계가 의외였습니다.

공원의강아지5시간 전

요즘 이 매체 기사가 제일 읽기 좋아요.

가을의구름5시간 전

LLM에 대해 더 알고 싶어졌습니다. 전문가 의견도 더 듣고 싶습니다.

대전의별8시간 전

safetensors 주제로 시리즈 기사가 나오면 좋겠습니다.

호기심많은시민8시간 전

깔끔한 기사입니다. LLM에 대해 주변 사람들과 이야기 나눠볼 만합니다.

홍대의고양이

safetensors 관련 데이터가 인상적이었습니다. 후속 기사 부탁드립니다.

가을의판다

잘 읽었습니다. LLM의 전문가 코멘트가 설득력 있었습니다.

このシリーズの他の記事

AI・テックの記事をもっと見る

最新ニュース