Skip to content

Latest commit

 

History

History
620 lines (413 loc) · 48.8 KB

File metadata and controls

620 lines (413 loc) · 48.8 KB
SwanLab

プロフェッショナルな AI トレーニング分析プラットフォーム
実験のイテレーションを高速化、50 種以上のトップクラスの AI トレーニングフレームワークと統合

🔥SwanLab オンライン版 · 📃 ドキュメント · 問題を報告 · フィードバックを提案 · 更新履歴 · SKILL


中文 / English / 日本語 / Русский

👋 WeChat グループに参加する

目次


🌟 最近の更新

  • 2026.06.16: 📊 HTML チャートを追加し、LLM Vibe Coding 後のページ埋め込みをサポート;Kubernetes デプロイ向け Prometheus ログ監視ソリューション が公開されました;

  • 2026.06.05: ⚡️ リファクタリング版 SDK(v0.8.0)が公開され、指標記録性能が大幅に向上し、大規模トレーニングでより快適に利用できます;SwanLab CLISkill が公開され、AutoResearch パラダイムに対応しました;

  • 2026.05.18: 📒 ログでグローバルフィルタリングをサポートし、必要なログ断片をすばやく全体から見つけられるように;チャート複製機能を追加;チャート検索に検索履歴機能を追加;チャート詳細に相対時間表示を追加;

  • 2026.04.28: 🪨 プロジェクトのピン留めが利用可能になりました、チームが最も重視するプロジェクトカードを最も目立つ位置に固定可能;折れ線グラフを Hover した際の指標パネル表示を改善;

  • 2026.03.25: 📊 実験ピン留めが利用可能になりました——ワンクリックで最高の実験を最も見つけやすい位置に固定;Baseline比較機能が利用可能になりました、実験と baseline を比較し差異のパーセンテージを表示、最適なパラメータ組み合わせの発見を加速;

swanlab-baseline.mp4
  • 2026.03.19: 📊 実験複製機能を追加、異なるプロジェクトやチームに実験のコピーを作成できます;parallelモードが利用可能になりました、異なるプロセスで同時に指標を記録できます;実験 ID をカスタマイズできるようになりました;

  • 2026.02.06: 🔥swanlab.Api が利用可能になりました、より強力な、オブジェクト指向のオープン API インターフェースを提供、ドキュメント;ECharts.Table は CSV ダウンロードをサポート;今はグラフをグループのトップに配置することができます;

完全な更新履歴
  • 2026.01.28: ⚡️ LightningBoard V2 が利用可能になりました、ダッシュボードのパフォーマンスを大幅に向上;

  • 2026.01.16: ⚡️ LightningBoard (Lightning Dashboard) V1 が利用可能になりました、超大規模チャート数のシナリオに最適化;チャート埋め込みリンクを追加、オンラインドキュメント(Notion、Lark など)にチャートを埋め込むことができます;

  • 2026.01.02: 🥳 AMD ROCmIluvatar GPU のハードウェア監視をサポート;SDK に心跳パッケージ機能を追加、より安定したクラウド/オフライン接続を実現;

  • 2025.12.15: 🎉SwanLab Kubernetes版 が利用可能になりました!デプロイメントドキュメントNVIDIA NeMo RL フレームワークがSwanLabに統合,ドキュメント

  • 2025.12.01: 🕰 追加 折れ線グラフの詳細情報表示,折れ線グラフ上にホバーした状態で Shift をクリックすると詳細モードが有効になり、ログポイントの時間を表示できます;📊 チャートのグループ化で MIN/MAX 範囲エリアの表示 をサポート;

  • 2025.11.17: 📊 グローバルチャート設定でX軸データソース選択ホバーモード機能をサポート、グラフ分析体験を向上;SWANLAB_WEBHOOK機能を追加、ドキュメント

  • 2025.11.06: 🔪 実験分組が利用可能になりました——大量の実験の分組管理をサポート;ワークスペースページがアップグレードされ、複数の組織間での迅速な切り替えをサポート;折れ線グラフのレンダリングパフォーマンスを大幅に向上;swanlab.initgroupjob_typeパラメータをサポート;

  • 2025.10.15: 📊 折れ線グラフ設定でX 軸データソース選択をサポート;サイドバーでテーブルビューの Pin 列を表示し、実験データの整合性を向上;

  • 2025.09.22: 📊 新 UI が利用可能になりました;テーブルビューでグローバルソートとフィルタリングをサポート;データレベルでテーブルビューとグラフビューを統一;

  • 2025.09.12: 🔢 スカラーチャートのサポートを追加、実験指標の統計値を柔軟に表示可能;組織管理ページ大アップグレード、より強力な権限制御とプロジェクト管理機能を提供;

  • 2025.08.19: 🤔 より強力なグラフレンダリングパフォーマンスと低侵入性のローディングアニメーション、研究者が実験分析に集中できるように;優れたMLX-LMSpecForgeフレームワークを統合、より多くのトレーニングシナリオを提供;

  • 2025.08.06: 👥 トレーニング軽度コラボレーションが利用可能になりました、プロジェクト協作者の招待、プロジェクトリンクと QR コードの共有、プロジェクト Tags の表示をサポート;ワークスペースでリストビューをサポート;

  • 2025.07.29: 🚀 実験のフィルタリングと並べ替えをサポート;📊 列コントロールパネルをテーブルビューに追加し、列の非表示と表示を簡単に実現可能;🔐 複数の API キーを管理できるようになり、データの安全性を向上;swanlab sync はトレーニングクラッシュログファイルをサポート;PR 曲線、ROC 曲線、混同行列が利用可能になりました、ドキュメント

  • 2025.07.17: 📊 更強力な折れ線グラフ設定をサポー、線型、色、太さ、グリッド、凡例位置などを柔軟に設定可能;📹 swanlab.Video データ型のサポートを追加、GIF 形式のファイルを記録・可視化可能;グローバルチャートダッシュボードで Y 軸と最大表示実験数を設定可能;

  • 2025.07.10: 📚 更強力なテキストビューをサポート、Markdown レンダリングと方向キー切り替えをサポート、swanlab.echarts.tableswanlab.Textで作成可能、デモ

  • 2025.07.06: 🚄 再開トレーニングをサポート;新プラグイン ファイルロガー;ray フレームワークを統合、ドキュメントROLL フレームワークを統合、@PanAndy 氏に感謝、ドキュメント

  • 2025.06.27: 小折れ線グラフの局所拡大をサポート;単一折れ線グラフの平滑化をサポート;大幅に画像グラフの拡大後のインタラクション効果を改善;

  • 2025.06.20: 🤗 accelerate フレームワークを統合、PRドキュメント、分散トレーニング中の実験記録と分析の体験を向上させます。

  • 2025.06.18: 🐜 AREAL フレームワークを統合、@xichengpro 氏に感謝、PRドキュメント; 🖱 サイドバーの実験にマウスをホバーすると対応する曲線がハイライト表示される機能をサポート; グループ間での折れ線グラフ比較をサポート; 実験名のトリミングルール設定をサポート;

  • 2025.06.11: 📊 swanlab.echarts.table データ型のサポートを追加し、純粋なテキストチャートの表示をサポート;グループのストレッチインタラクションをサポートし、同時に表示されるチャート数を増やすことができます;テーブルビューに 指標の最大/最小値 オプションを追加;

  • 2025.06.08: ♻️ ローカルで完全な実験ログファイルを保存し、swanlab sync を使用してローカルログファイルをクラウド/プライベートデプロイにアップロード;ハードウェア監視で海光 DCUをサポート;

  • 2025.06.01: 🏸 グラフの自由なドラッグをサポート;ECharts カスタムグラフをサポート;PaddleNLPフレームワークを統合;ハードウェア監視でMetaX GPUをサポート;

  • 2025.05.25: ログ機能で標準エラーストリームの記録をサポートし、PyTorch Lightning などのフレームワークからの出力情報をより適切に記録可能に;ハードウェア監視で Moore Threads をサポート;新たに実行コマンド記録のセキュリティ保護機能を追加、API キーは自動的に非表示に;

  • 2025.05.14: 実験 Tagをサポート;折れ線グラフのLog Scaleをサポート;分组拖拽をサポート;大量の指標をアップロードする際の体験を大幅に最適化

  • 2025.05.09:折れ線グラフ作成をサポート;グラフ設定機能にデータソース選択機能を追加、1 つのグラフで異なる指標を表示可能に;トレーニングプロジェクト用 GitHub バッジ生成をサポート

  • 2025.04.23: 折れ線グラフの ​​ 編集 ​​ をサポート、グラフの X 軸・Y 軸のデータ範囲とタイトルスタイルを自由に設定可能に;グラフ検索で ​​ 正規表現 ​​ をサポート;​​Kunlun Core XPU​​ のハードウェア検出とモニタリングをサポート。

  • 2025.04.11: 折線グラフの局所選択をサポート;現在のグラフの step 範囲をサポート。

  • 2025.04.08: swanlab.Molecule データ型のサポートを追加し、生物化学分子データの記録と可視化をサポート;テーブルビューのソート、フィルタリング、列順序変更の状態を保存する機能を追加。

  • 2025.04.07: EvalScope との共同統合を完了しました。これにより、EvalScope 内で SwanLab を使用して 大規模モデルの性能評価 が可能になりました。

  • 2025.03.30: swanlab.Settings メソッドをサポートし、実験の動作をより詳細に制御可能に;寒武紀 MLU ハードウェアの監視をサポート;Slack 通知Discord 通知 をサポート。

  • 2025.03.21: 🎉🤗 HuggingFace Transformers は正式に SwanLab(バージョン >=4.50.0)を統合しました、#36433。Object3D チャートのサポートを追加しました。これにより、3D 点群を追跡および可視化できます, docs。ハードウェア監視は、GPU メモリ(MB)、ディスク使用率、ネットワーク送受信の記録をサポートします。

  • 2025.03.12: 🎉🎉SwanLabセルフホスティング版が利用可能になりました!!🔗 ドキュメント;SwanLab はプラグイン拡張をサポートします。メール通知Lark 通知など。

  • 2025.03.09: 実験サイドバーの拡張に対応;Git コードの表示ボタンを追加;sync_mlflow機能を追加し、mlflow フレームワークとの実験追跡の同期をサポート;

  • 2025.03.06: DiffSynth Studioとの連携統合が完了し、現在は DiffSynth Studio で SwanLab を使用してDiffusion モデルのテキストから画像/動画の実験を追跡および可視化できます、使用方法

  • 2025.03.04: MLFlow の統合を追加し、MLFlow 実験を SwanLab 実験に変換する機能をサポートしました。使用ガイド

  • 2025.03.01:新機能として、実験の移動が追加されました。

  • 2025.02.24:我們與EasyR1完成了聯合集成,使用指引

  • 2025.02.18:我們與 Swift 完成了聯合集成,現在你可以在 Swift 的 CLI/WebUI 中使用 SwanLab 來跟踪和可視化大模型微調實驗使用指引

  • 2025.02.16:新機能として、チャートの移動グループ化とグループ作成が追加されました。

  • 2025.02.09: veRL との共同統合を完了しました。これにより、veRL 内で SwanLab を使用して大規模モデルの強化学習実験を追跡・可視化できるようになりました。使用ガイド

  • 2025.02.05:swanlab.logはネストされた辞書をサポートし、Jax フレームワークの特性に適応 #812namenotesパラメータをサポート

  • 2025.01.22:sync_tensorboardXsync_tensorboard_torch機能を追加し、この 2 つの TensorBoard フレームワークとの実験追跡の同期をサポート

  • 2025.01.17:sync_wandb機能を追加し、ドキュメント、Weights & Biases 実験追跡との同期をサポート;ログレンダリング性能を大幅に最適化

  • 2025.01.11:クラウド版はプロジェクトテーブルのパフォーマンスを大幅に最適化し、ドラッグ&ドロップ、並べ替え、フィルタリングなどのインタラクションをサポートしました。

  • 2025.01.01:折れ線グラフの永続的スムージング、折れ線グラフのドラッグによるサイズ変更を追加し、チャート閲覧体験を最適化

  • 2024.12.22:LLaMA Factoryとの統合を完了し、LLaMA Factory で SwanLab を使用して大規模モデルのファインチューニング実験を追跡・可視化できるようになりました。使用ガイド

  • 2024.12.15:**ハードウェア監視(0.4.0)**機能をリリースし、CPU、NPU(Ascend)、GPU(Nvidia)のシステム情報の記録と監視をサポート

  • 2024.12.06:LightGBMXGBoostの統合を追加;ログ記録の 1 行あたりの長さ制限を引き上げ

  • 2024.11.26:環境タブのハードウェアセクションで華為昇騰 NPU鯤鵬 CPUの識別をサポート;クラウドプロバイダーセクションで青雲基石智算の識別をサポート


👋🏻 SwanLab とは

SwanLab は、オープンソースで軽量な AI モデルトレーニング追跡・可視化ツールで、実験の追跡、記録、比較、コラボレーションのためのプラットフォームを提供します。

swanlab-demo.mp4

SwanLab は AI 研究者向けに設計され、使いやすい Python API と美しい UI を提供し、トレーニングの可視化、自動ログ記録、ハイパーパラメータ記録、実験比較、複数人でのコラボレーションなどの機能を提供します。SwanLab では、研究者が直感的な可視化チャートを通じてトレーニングの問題を発見し、複数の実験を比較して研究のインスピレーションを得ることができます。また、オンラインページでの共有や組織ベースの複数人でのトレーニングを通じて、チーム間のコミュニケーションの壁を打破し、組織のトレーニング効率を向上させます。

以下はその主な機能リストです:

1. 📊 実験指標とハイパーパラメータの追跡: 機械学習パイプラインに簡単に組み込めるコードで、トレーニングのキー指標を追跡

  • クラウド使用をサポート(Weights & Biases のような)、どこからでもトレーニングの進捗を確認可能。携帯で実験を見る方法
  • ハイパーパラメータ記録とテーブル表示をサポート
  • サポートするメタデータタイプ: スカラー指標、画像、音声、テキスト、3D 点群、生物化学分子...
  • サポートするチャートタイプ: 折れ線グラフ、メディアグラフ(画像、音声、テキスト、3D 点群、生物化学分子)、...
  • バックグラウンドでの自動記録: ログ記録、ハードウェア環境、Git リポジトリ、Python 環境、Python ライブラリリスト、プロジェクト実行ディレクトリ

2. ⚡️ 幅広いフレームワーク統合: PyTorch、🤗HuggingFace Transformers、PyTorch Lightning、🦙LLaMA Factory、MMDetection、Ultralytics、PaddleDetetion、LightGBM、XGBoost、Keras、Tensorboard、Weights&Biases、Swift、XTuner、Stable Baseline3、Hydra など30 以上のフレームワーク

3. 💻 ハードウェア監視: CPU、NPU(昇騰 Ascend)、GPU(Nvidia)、MLU(寒武紀 MLU)、メモリのシステムレベルのハードウェア指標をリアルタイムで記録・監視

4. 📦 実験管理: トレーニングシーン向けに設計された集中型ダッシュボードで、全体ビューを一目で確認し、複数のプロジェクトと実験を迅速に管理

5. 🆚 結果の比較: オンラインテーブルと比較チャートを使用して、異なる実験のハイパーパラメータと結果を比較し、イテレーションのインスピレーションを発掘

6. 👥 オンラインコラボレーション: チームと協力してトレーニングを行い、実験をリアルタイムで同期させ、チームのトレーニング記録をオンラインで確認し、結果に基づいて意見や提案を共有可能

7. ✉️ 結果の共有: 各実験の永続的な URL をコピーして送信し、パートナーに簡単に送信したり、オンラインノートに埋め込んだり可能

8. 💻 セルフホスティング対応: オフライン環境での使用をサポートし、セルフホスティングのコミュニティ版でもダッシュボードの表示と実験の管理が可能

9. 🔌 プラグイン拡張: プラグインを使用して SwanLab の使用シナリオを拡張できます。Lark 通知Slack 通知CSV 記録器など。

Important

プロジェクトをスターすると、GitHub からすべてのリリース通知を遅延なく受け取れます~ ⭐️

star-us


📃 オンラインデモ

SwanLab のオンラインデモをご覧ください:

ResNet50 猫犬分類 Yolov8-COCO128 物体検出
猫犬データセットでの簡単な ResNet50 モデルのトレーニングを追跡。 Yolov8 を使用して COCO128 データセットで物体検出タスクを追跡。
Qwen2 指示ファインチューニング LSTM Google 株価予測
Qwen2 大規模言語モデルの指示ファインチューニングを追跡。 簡単な LSTM モデルを使用して Google 株価データセットでトレーニングし、将来の株価を予測。
ResNeXt101 音声分類 Qwen2-VL COCO データセットファインチューニング
ResNet から ResNeXt への音声分類タスクの進化的実験プロセス Qwen2-VL 多モーダル大規模モデルを使用して COCO2014 データセットで Lora ファインチューニング。
EasyR1 multimodal LLM RL Training Qwen2.5-0.5B GRPO Training
EasyR1 フレームワークを使用した多モーダル LLM RL トレーニング Qwen2.5-0.5B モデルを GSM8k データセットで GRPO トレーニング。

その他の例


🏁 クイックスタート

1.インストール

pip install swanlab
ソースコードからのインストール

最新の機能を体験したい場合は、ソースコードからインストールすることができます。

# Method 1
git clone https://github.com/SwanHubX/SwanLab.git
pip install -e .

# Method 2
pip install git+https://github.com/SwanHubX/SwanLab.git
ダッシュボード拡張機能のインストール

ダッシュボード拡張機能ドキュメント

pip install 'swanlab[dashboard]'

2.ログインして API キーを取得

  1. 無料でアカウント登録

  2. アカウントにログインし、ユーザー設定 > API キーで API キーをコピー

  3. ターミナルを開き、以下を入力:

swanlab login

プロンプトが表示されたら、API キーを入力して Enter を押し、ログインを完了。

3.SwanLab をコードに統合

import swanlab

# 新しいSwanLab実験を初期化
swanlab.init(
    project="my-first-ml",
    config={'learning-rate': 0.003},
)

# 指標を記録
for i in range(10):
    swanlab.log({"loss": i, "acc": i})

完了!SwanLabで最初の SwanLab 実験を確認できます。


💻 セルフホスティング

セルフホスティングコミュニティ版は、SwanLab ダッシュボードをオフラインで閲覧することをサポートしています。

swanlab-kubernetes

詳細なデプロイメントドキュメント:


🔥 実践事例

SwanLab を使用した優れたオープンソースチュートリアルプロジェクト:

  • llm-agent-rl-lab: PPO、GRPO、GSPO、DAPO、OPD などを含む、LLM エージェント向け RL アルゴリズムの再現と研究。 GitHub Repo stars

SwanLab を使用した論文:


🎮 ハードウェア監視

SwanLabはAIトレーニング中に使用されるハードウェア情報リソース使用状況を記録します。対応状況は以下の通りです:

ハードウェア 情報記録 リソース監視 スクリプト
NVIDIA GPU nvidia.py
AMD GPU amd.py
昇騰NPU(Huawei Ascend) ascend.py
寒武紀MLU(Cambricon) cambricon.py
昆崙芯XPU(Kunlunxin) kunlunxin.py
摩爾線程GPU(Moore Threads) moorethreads.py
沐曦GPU(MetaX) metax.py
天數智芯GPU(Iluvatar) iluvatar.py
海光DCU(Hygon) hygon.py
CPU cpu.py
メモリ memory.py

その他のハードウェアの監視をご希望の場合は、IssueやPRをお気軽にご提出ください!


🚗 フレームワーク統合

お気に入りのフレームワークを SwanLab と統合しましょう!
以下は既に統合されているフレームワークのリストです。統合してほしいフレームワークがあれば、Issueを提出してフィードバックをお願いします。

基本フレームワーク

LLMトレーニングフレームワーク

LLM強化学習フレームワーク

ロボットフレームワーク

テキストから画像/動画生成フレームワーク

ディープラーニングフレームワーク

コンピュータビジョンフレームワーク

機械学習フレームワーク

評価フレームワーク

伝統的強化学習フレームワーク

その他のフレームワーク:

その他の統合


🔌 プラグイン

プラグインを通じて SwanLab の機能を拡張し、実験管理体験を向上させましょう!


🆚 既存ツールとの比較

Tensorboard vs SwanLab

  • ☁️ オンライン使用をサポート: SwanLab を使用すると、トレーニング実験をクラウド上で簡単に同期・保存でき、リモートでトレーニングの進捗を確認したり、過去のプロジェクトを管理したり、実験リンクを共有したり、リアルタイムのメッセージ通知を送信したり、複数のデバイスで実験を確認したりできます。一方、Tensorboard はオフラインの実験追跡ツールです。

  • 👥 複数人でのコラボレーション: 複数人やチーム間での機械学習コラボレーションを行う場合、SwanLab を使用すると、複数人のトレーニングプロジェクトを簡単に管理し、実験リンクを共有し、異なるスペースで議論や意見交換ができます。一方、Tensorboard は主に個人向けに設計されており、複数人でのコラボレーションや実験の共有が難しいです。

  • 💻 永続的で集中型のダッシュボード: どこでモデルをトレーニングしても、ローカルマシン、ラボのクラスター、またはパブリッククラウドの GPU インスタンスであっても、結果は同じ集中型ダッシュボードに記録されます。一方、TensorBoard を使用する場合、異なるマシンから TFEvent ファイルをコピーして管理するのに時間がかかります。

  • 💪 より強力なテーブル: SwanLab のテーブルを使用すると、異なる実験からの結果を表示、検索、フィルタリングでき、数千のモデルバージョンを簡単に確認し、さまざまなタスクに最適なパフォーマンスのモデルを見つけることができます。 TensorBoard は大規模なプロジェクトには適していません。

Weights and Biases vs SwanLab

  • Weights and Biases は、インターネット接続が必須のクローズドソースの MLOps プラットフォームです。

  • SwanLab は、インターネット接続をサポートするだけでなく、オープンソースで無料のセルフホスティング版も提供しています。


👥 コミュニティ

周辺リポジトリ

  • self-hosted: プライベートデプロイメントスクリプトリポジトリ。
  • SwanLab-Docs: 公式ドキュメントリポジトリ。
  • SwanLab-Dashboard: オフラインダッシュボードリポジトリ。swanlab watchで開かれる軽量オフラインダッシュボードのウェブコードが含まれています。

コミュニティとサポート

SwanLab README バッジ

SwanLab を仕事で使用している場合、SwanLab バッジを README に追加してください:

[![](https://raw.githubusercontent.com/SwanHubX/assets/main/badge2.svg)](your experiment url)
[![](https://raw.githubusercontent.com/SwanHubX/assets/main/badge1.svg)](your experiment url)

さらにデザイン素材:assets

論文で SwanLab を引用

SwanLab があなたの研究の旅に役立った場合は、以下の形式で引用を検討してください:

@software{Zeyilin_SwanLab_2023,
  author = {Zeyi Lin, Shaohong Chen, Kang Li, Qiushan Jiang, Zirui Cai,  Kaifang Ji and {The SwanLab team}},
  doi = {10.5281/zenodo.11100550},
  license = {Apache-2.0},
  title = {{SwanLab}},
  url = {https://github.com/swanhubx/swanlab},
  year = {2023}
}

SwanLab への貢献

SwanLab に貢献したいですか?まず、貢献ガイドをお読みください。

また、ソーシャルメディア、イベント、カンファレンスでの共有を通じて SwanLab をサポートすることも大歓迎です。心から感謝します!


貢献者


📃 ライセンス

このリポジトリは Apache 2.0 License オープンソースライセンスに従います

Star History

Star History Chart