실험 설정

딕셔너리 형태의 객체를 사용해 실험 설정을 저장하세요

트레이닝 설정을 저장하려면 run의 config 속성을 사용하세요:

• 하이퍼파라미터
• 데이터셋 이름이나 모델 유형 등의 입력 설정
• 실험을 위한 기타 독립 변수

wandb.Run.config 속성을 사용하면 실험을 쉽게 분석하고, 나중에 결과를 재현할 수 있습니다. W&B App에서 설정 값을 기준으로 그룹화하고, 서로 다른 W&B run의 설정을 비교하고, 각 트레이닝 설정이 결과에 어떤 영향을 미치는지 평가할 수 있습니다. config 속성은 여러 딕셔너리와 유사한 객체를 조합해 구성할 수 있는 딕셔너리와 유사한 객체입니다.

loss나 accuracy 같은 출력 메트릭 또는 종속 변수를 저장하려면 wandb.Run.config 대신 wandb.Run.log()를 사용하세요.

​

실험 설정하기

설정은 일반적으로 트레이닝 스크립트 초반에 정의합니다. 하지만 머신 러닝 워크플로는 다양할 수 있으므로, 트레이닝 스크립트 초반에 반드시 설정을 정의해야 하는 것은 아닙니다.

설정 변수 이름에는 마침표(.) 대신 대시(-)나 밑줄(_)을 사용하세요.

스크립트에서 루트 아래의 wandb.Run.config 키에 접근하는 경우에는 속성 접근 구문 config.key.value 대신 딕셔너리 접근 구문 ["key"]["value"]를 사용하세요.

다음 섹션에서는 실험 설정을 정의하는 일반적인 여러 시나리오를 설명합니다.

​

초기화 시 설정 지정하기

데이터를 W&B Run으로 동기화하고 기록하는 백그라운드 프로세스를 생성하려면, 스크립트 시작 부분에서 wandb.init() API를 호출할 때 딕셔너리를 전달하세요.

다음 코드 스니펫은 설정 값이 포함된 Python 딕셔너리를 정의하는 방법과, W&B Run을 초기화할 때 해당 딕셔너리를 인수로 전달하는 방법을 보여줍니다.

import wandb

# 설정 딕셔너리 객체 정의
config = {
    "hidden_layer_sizes": [32, 64],
    "kernel_sizes": [3],
    "activation": "ReLU",
    "pool_sizes": [2],
    "dropout": 0.5,
    "num_classes": 10,
}

# W&B 초기화 시 설정 딕셔너리 전달
with wandb.init(project="config_example", config=config) as run:
    ...

config로 중첩된 딕셔너리를 전달하면 W&B는 이름을 점(.)으로 구분해 평탄화합니다.

Python에서 다른 딕셔너리에 접근하는 것과 마찬가지로 딕셔너리 값에 접근할 수 있습니다:

# 키를 인덱스 값으로 사용하여 값에 액세스
hidden_layer_sizes = run.config["hidden_layer_sizes"]
kernel_sizes = run.config["kernel_sizes"]
activation = run.config["activation"]

# Python 딕셔너리 get() 메서드
hidden_layer_sizes = run.config.get("hidden_layer_sizes")
kernel_sizes = run.config.get("kernel_sizes")
activation = run.config.get("activation")

Developer Guide와 예제 전반에서는 설정 값을 별도의 변수에 복사합니다. 이 step은 선택 사항이며, 가독성을 높이기 위한 것입니다.

​

argparse로 설정하기

argparse 객체를 사용해 설정할 수 있습니다. argparse는 인자 파서(argument parser)의 줄임말로, Python 3.2 이상에서 제공되는 표준 라이브러리 모듈입니다. 명령줄 인수의 유연성과 강력한 기능을 활용하는 스크립트를 쉽게 작성할 수 있게 해줍니다.

이 방법은 명령줄에서 실행한 스크립트의 결과를 추적할 때 유용합니다.

다음 Python 스크립트는 파서 객체를 사용해 실험 설정을 정의하고 설정하는 방법을 보여줍니다. 함수 train_one_epoch와 evaluate_one_epoch는 이 예시에서 트레이닝 루프를 시뮬레이션하기 위해 제공됩니다:

# config_experiment.py
import argparse
import random

import numpy as np
import wandb


# 트레이닝 및 평가 데모 코드
def train_one_epoch(epoch, lr, bs):
    acc = 0.25 + ((epoch / 30) + (random.random() / 10))
    loss = 0.2 + (1 - ((epoch - 1) / 10 + random.random() / 5))
    return acc, loss


def evaluate_one_epoch(epoch):
    acc = 0.1 + ((epoch / 20) + (random.random() / 10))
    loss = 0.25 + (1 - ((epoch - 1) / 10 + random.random() / 6))
    return acc, loss


def main(args):
    # W&B Run 시작
    with wandb.init(project="config_example", config=args) as run:
        # 설정 딕셔너리에서 값을 가져와 가독성을 위해
        # 변수에 저장
        lr = run.config["learning_rate"]
        bs = run.config["batch_size"]
        epochs = run.config["epochs"]

        # 트레이닝 시뮬레이션 및 W&B에 값 로깅
        for epoch in np.arange(1, epochs):
            train_acc, train_loss = train_one_epoch(epoch, lr, bs)
            val_acc, val_loss = evaluate_one_epoch(epoch)

            run.log(
                {
                    "epoch": epoch,
                    "train_acc": train_acc,
                    "train_loss": train_loss,
                    "val_acc": val_acc,
                    "val_loss": val_loss,
                }
            )


if __name__ == "__main__":
    parser = argparse.ArgumentParser(
        formatter_class=argparse.ArgumentDefaultsHelpFormatter
    )

    parser.add_argument("-b", "--batch_size", type=int, default=32, help="Batch size")
    parser.add_argument(
        "-e", "--epochs", type=int, default=50, help="Number of training epochs"
    )
    parser.add_argument(
        "-lr", "--learning_rate", type=int, default=0.001, help="Learning rate"
    )

    args = parser.parse_args()
    main(args)

​

스크립트 전체에서 설정하기

스크립트 전체에 걸쳐 설정 객체에 파라미터를 더 추가할 수 있습니다. 다음 코드 스니펫는 설정 객체에 새 키-값 쌍을 추가하는 방법을 보여줍니다.

import wandb

# 설정 딕셔너리 객체 정의
config = {
    "hidden_layer_sizes": [32, 64],
    "kernel_sizes": [3],
    "activation": "ReLU",
    "pool_sizes": [2],
    "dropout": 0.5,
    "num_classes": 10,
}

# W&B를 초기화할 때 설정 딕셔너리 전달
with wandb.init(project="config_example", config=config) as run:
    # W&B 초기화 후 설정 업데이트
    run.config["dropout"] = 0.2
    run.config.epochs = 4
    run.config["batch_size"] = 32

한 번에 여러 값을 업데이트할 수 있습니다:

run.config.update({"lr": 0.1, "channels": 16})

​

run이 종료된 후 설정하기

W&B Public API를 사용해 완료된 run의 설정을 업데이트합니다.

API에 entity, 프로젝트 이름, run의 ID를 제공해야 합니다. 이 정보는 run 객체 또는 W&B App에서 확인할 수 있습니다:

with wandb.init() as run:
    ...

# 현재 스크립트 또는 노트북에서 시작된 경우 Run 객체에서 다음 값을 찾거나,
# W&B App UI에서 복사할 수 있습니다.
username = run.entity
project = run.project
run_id = run.id

# api.run()은 wandb.init()과 다른 유형의 객체를 반환합니다.
api = wandb.Api()
api_run = api.run(f"{username}/{project}/{run_id}")
api_run.config["bar"] = 32
api_run.update()

​

설정 값 강조 표시

run 개요 페이지 상단의 References 섹션에 설정 키를 고정하세요.

Python SDK에서 wandb.Run.pin_config_keys를 사용해 하나 이상의 설정 키를 고정할 수 있습니다.

예를 들어, Grafana 대시보드를 사용해 트레이닝 runs를 모니터링하는 경우 대시보드 URL을 설정에 추가하고 grafana_url 키를 고정하세요:

config = {
    "hidden_layer_sizes": [32, 64],
    "kernel_sizes": [3],
    "activation": "ReLU",
    "pool_sizes": [2],
    "dropout": 0.5,
    "num_classes": 10,
    "grafana_url": "[Grafana dashboard](https://my-grafana-instance.com/)"
}

with wandb.init(config=config) as run:
    # "grafana_url" 설정 키를 References 섹션에 추가합니다.
    run.pin_config_keys(["grafana_url"])

​

absl.FLAGS

absl 플래그를 전달할 수도 있습니다.

flags.DEFINE_string("model", None, "model to run")  # name, default, help

run.config.update(flags.FLAGS)  # absl 플래그를 설정에 추가

​

파일 기반 설정

run 스크립트와 같은 디렉터리에 config-defaults.yaml라는 이름의 파일을 두면, run이 파일에 정의된 키-값 쌍을 자동으로 읽어 wandb.Run.config에 전달합니다.

다음 코드 스니펫은 config-defaults.yaml YAML 파일의 예를 보여줍니다:

batch_size:
  desc: Size of each mini-batch
  value: 32

wandb.init()의 config 인수에서 값을 업데이트하면 config-defaults.yaml에서 자동으로 로드되는 기본값을 재정의할 수 있습니다. 예를 들면 다음과 같습니다:

import wandb

# 맞춤형 값을 전달하여 config-defaults.yaml 재정의
with wandb.init(config={"epochs": 200, "batch_size": 64}) as run:
    ...

config-defaults.yaml 이외의 설정 파일을 로드하려면 명령줄 인수 --configs를 사용하고 파일 경로를 지정하세요:

python train.py --configs other-config.yaml

​

파일 기반 설정 사용 예

run에 대한 메타데이터가 일부 들어 있는 YAML 파일이 있고, Python 스크립트에는 하이퍼파라미터 딕셔너리가 있다고 가정해 보겠습니다. 둘 다 중첩된 config 객체에 저장할 수 있습니다:

hyperparameter_defaults = dict(
    dropout=0.5,
    batch_size=100,
    learning_rate=0.001,
)

config_dictionary = dict(
    yaml=my_yaml_file,
    params=hyperparameter_defaults,
)

with wandb.init(config=config_dictionary) as run:
    ...

​

TensorFlow v1 플래그

TensorFlow 플래그를 wandb.Run.config 객체에 직접 전달할 수 있습니다.

with wandb.init() as run:
    run.config.epochs = 4

    flags = tf.app.flags
    flags.DEFINE_string("data_dir", "/tmp/data")
    flags.DEFINE_integer("batch_size", 128, "Batch size.")
    run.config.update(flags.FLAGS)  # TensorFlow 플래그를 설정에 추가합니다