Databricks

Spark クラスター 上で実験管理、メトリクスのログ記録、モデル管理を行えるように、W&B を Databricks と統合します。

W&B は、Databricks 環境での W&B の Jupyter notebook エクスペリエンスをカスタマイズすることで、Databricks と統合されています。

Databricks を設定する

1. クラスターに wandb をインストールする

   クラスター設定にアクセスし、対象のクラスターを選択して Libraries をクリックします。次に Install New をクリックし、PyPI を選択してパッケージ wandb を追加します。

2. 認証を設定する

   W&B アカウントを認証するには、ノートブックからクエリできる Databricks シークレットを追加します。

   # databricks cli をインストールする
   pip install databricks-cli
   
   # databricks UI でトークンを生成する
   databricks configure --token
   
   # 2 つのコマンドのいずれかを使ってスコープを作成する（databricks で security features が有効かどうかによって異なります）:
   # security add-on あり
   databricks secrets create-scope --scope wandb
   # security add-on なし
   databricks secrets create-scope --scope wandb --initial-manage-principal users
   
   # https://wandb.ai/settings で APIキー を作成する
   databricks secrets put --scope wandb --key api_key
   

例

基本的な例

import os
import wandb

api_key = dbutils.secrets.get("wandb", "api_key")
wandb.login(key=api_key)

with wandb.init() as run:
    run.log({"foo": 1})

Sweeps

wandb.sweep() または wandb.agent() を使用するノートブックで必要な一時的なセットアップ:

import os

# これらは将来的には不要になります
os.environ["WANDB_ENTITY"] = "my-entity"
os.environ["WANDB_PROJECT"] = "my-project-that-exists"