WebDataset

WebDataset는 대규모 데이터셋을 위한 I/O 파이프라인을 작성하는 라이브러리입니다. 순차적 I/O 및 샤딩 기능 덕분에 대규모 데이터셋을 DataLoader로 스트리밍하는 데 특히 유용합니다.

WebDataset 형식

WebDataset 파일은 일련의 데이터 파일을 포함하는 TAR 아카이브입니다. 같은 접두사를 가진 연속된 모든 데이터 파일은 동일한 예시(예: 이미지/오디오 파일과 해당 라벨 또는 메타데이터)의 일부로 간주됩니다:

레이블과 메타데이터는 .json 파일, .txt (캡션, 설명용), 또는 .cls (클래스 인덱스용)에 포함될 수 있습니다.

대규모 WebDataset는 shard라고 불리는 여러 파일로 구성되며, 각 shard는 TAR 아카이브입니다. 각 shard의 크기는 보통 약 1GB이지만, 전체 데이터셋은 수 테라바이트에 달할 수 있습니다!

멀티모달 지원

WebDataset는 이미지, 오디오 및/또는 비디오 데이터셋과 같은 멀티모달 데이터셋을 위해 설계되었습니다.

실제로 미디어 파일은 크기가 상당히 큰 경향이 있어, WebDataset의 순차적 I/O는 대용량 읽기 및 버퍼링을 가능하게 하여 최적의 데이터 로딩 속도를 제공합니다.

지원되는 데이터 형식의 비포괄적 목록은 다음과 같습니다:

• image: jpeg, png, tiff
• 오디오: mp3, m4a, wav, flac
• video: mp4, mov, avi
• other: npy, npz

전체 목록은 시간이 지남에 따라 변하며 구현에 따라 다릅니다. 예를 들어, webdataset 패키지가 지원하는 형식은 소스 코드 여기에서 확인할 수 있습니다.

스트리밍

연속된 데이터 청크를 읽기 때문에 TAR 아카이브의 스트리밍은 빠릅니다. 개별 데이터 파일을 하나씩 읽는 것보다 수 배에서 수 배 이상 빠를 수 있습니다.

WebDataset 스트리밍은 디스크와 클라우드 스토리지에서 읽을 때 모두 고속 성능을 제공하므로 DataLoader에 데이터를 공급하는 데 이상적인 형식입니다:

예를 들어, Hugging Face에서 timm/imagenet-12k-wds 데이터셋을 직접 스트리밍하는 방법은 다음과 같습니다:

먼저 Hugging Face 계정으로 로그인해야 합니다. 예를 들어 다음을 사용할 수 있습니다:

hf auth login

그 다음 WebDataset로 데이터셋을 스트리밍할 수 있습니다:

>>> import webdataset as wds
>>> from huggingface_hub import get_token
>>> from torch.utils.data import DataLoader

>>> hf_token = get_token()
>>> url = "https://huggingface.co/datasets/timm/imagenet-12k-wds/resolve/main/imagenet12k-train-{{0000..1023}}.tar"
>>> url = f"pipe:curl -s -L {url} -H 'Authorization:Bearer {hf_token}'"
>>> dataset = wds.WebDataset(url).decode()
>>> dataloader = DataLoader(dataset, batch_size=64, num_workers=4)

셔플

일반적으로 WebDataset 형식의 데이터셋은 이미 셔플되어 있으며 DataLoader에 바로 공급할 수 있는 상태입니다. 하지만 WebDataset의 근사 셔플링을 사용하여 데이터를 다시 셔플할 수도 있습니다.

shards 목록을 섞는 것 외에도, WebDataset는 속도 저하 없이 데이터셋을 섞기 위해 버퍼를 사용합니다:

sharded 파일 목록을 섞고(shuffle) 셔플 버퍼에서 무작위로 샘플링하려면:

>>> buffer_size = 1000
>>> dataset = (
...     wds.WebDataset(url, shardshuffle=True)
...     .shuffle(buffer_size)
...     .decode()
... )