{
"componentChunkName": "component---src-templates-post-tsx",
"path": "/uniform_length_batching/",
"result": {"data":{"logo":null,"markdownRemark":{"html":"Uniform Length Batching in PyTorch
\n![](\"https://user-images.githubusercontent.com/42150335/130908773-73f38a84-041c-4c13-b102-3dba09493785.png\")
\n\n- 전체 토큰 길이가 비슷한 인풋끼리 배치를 이루어주는 방식
\n- 그냥 랜덤하게 배치를 묶어주면 길이가 한 데이터를 제외하고는 평균 길이가 10인데 한 데이터 길이가 100인 경우 나머지 데이터들도 모두 100까지 패딩을 채워줘야하는 비효율이 발생함
\n- 실제로 랜덤하게 배치를 묶어버리면 예시보다도 더 큰 비효율이 발생하는 경우가 많음
\n- 학습 속도 개선 및 장비 활용도 측면에서 길이가 비슷한 인풋끼리 배치를 묶어주게 되면 많이 개선됨
\n- 유일한 단점은 배치는 최대한 비빔밥처럼 골고루 섞여야 좋다고 하는데, 길이가 비슷한 놈들끼리 묶인다는 바이어스를 주게되므로 성능에 영향을 미칠수도 있다는 의견도 꽤 있으나 학습 속도 및 장비 활용도 측면에서 상당한 이득을 주기 때문에 많이 사용되는 방식
\n
\nPyTorch Dataset Class
\nclass ExampleDataset(torch.utils.data.Dataset):\n def __init__(self, datas):\n super(ExampleDataset, self).__init__()\n ...\n ...\n self.inputs = datas[\"inputs\"]\n self.labels = datas[\"labels\"]\n\n def __len__(self):\n return len(self.inputs)\n\n def __getitem__(self, idx):\n return self.inputs[idx], self.labels[idx]
\n- PyTorch Dataset 클래스는 input, label 페어를
__getitem__() 메서드로 리턴해주는 역할을 수행 \n- 여기서
__getitem__()은 idx를 파라미터로 받게 되는데, 넘겨지는 인덱스에 따라 다른 데이터를 리턴해주는 방식 \n- 이러한 점을 이용해서 넘겨지는 idx 순서만 셔플해주면 쉽게 데이터를 셔플해서 가져올 수 있음 (이러한 역할을 해주는 놈이
Sampler 클래스) \n
\n# 이렇게 0부터 차례차례 순서로 idx를 건네줄수도 있지만\n[0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15]\n\n# 단순하게 idx 순서만 셔플함으로써 데이터를 가져오는 순서를 쉽게 셔플할 수 있음\n[2, 10, 11, 13, 1, 15, 4, 14, 9, 5, 12, 8, 0, 7, 6, 3]
Bucketing Sampler
\n![](\"https://user-images.githubusercontent.com/42150335/135025302-e762a16b-4eb9-40b9-8908-da502df014db.png\")
\n\n- 데이터를 완전 무작위하게 셔플하는게 아니라, 어떤 기준으로 버킷에 담아두고 셔플시, 이 버킷을 셔플하는 방식의 Sampler
\n- 이렇게 하게 되면 묶이는 배치는 유지하면서도 모델 학습에 들어가는 순서는 셔플이 되므로 어떤 기준으로 배치를 묶는 경우 많이 사용되는 방식
\n- 구현은 아래처럼 간단하게 가능\n
\n- self.bins를 2차원 list로 만들어서 안에 담긴 list들이 버킷 역할을 함.
\n
\n \n
\nclass BucketingSampler(Sampler):\n def __init__(self, data_source: torch.utils.data.Dataset, batch_size=1):\n super(BucketingSampler, self).__init__(data_source)\n self.data_source = data_source\n ids = list(range(0, len(data_source)))\n self.bins = [ids[i:i + batch_size] for i in range(0, len(ids), batch_size)]\n\n def __iter__(self):\n for ids in self.bins:\n yield ids\n\n def __len__(self):\n return len(self.bins)\n\n def shuffle(self, epoch):\n np.random.shuffle(self.bins)
Uniform Length Batching Sampler
\n\n- Uniform Length Batching은 위의 Bucketing Sampler에서 토큰 길이를 기준으로 sorting 로직만 추가해주면 됨.
\n
\nclass UniformLengthBatchingSampler(Sampler):\n def __init__(self, data_source: torch.utils.data.Dataset, batch_size=1):\n super(UniformLengthBatchingSampler, self).__init__(data_source)\n self.data_source = data_source\n #\n # 여기에 토큰 길이 기준으로 sorting하는 로직만 추가해주면 끝\n #\n ids = list(range(0, len(data_source)))\n self.bins = [ids[i:i + batch_size] for i in range(0, len(ids), batch_size)]\n\n def __iter__(self):\n for ids in self.bins:\n yield ids\n\n def __len__(self):\n return len(self.bins)\n\n def shuffle(self, epoch):\n np.random.shuffle(self.bins)
collate_fn
\n\n- PyTorch에서 배치로 묶인 인풋을 처리하는 로직이 담긴 함수
\n- 보통 여기서 길이가 다른 인풋들에 대하여 padding을 추가하고 텐서형으로 변환하는 코드가 수행됨.
\n- Uniform Length Batching을 수행하기 위해서는
Sampler에서 묶일 때까지 패딩을 추가하면 안 되기 때문에 collate_fn을 정의해주어야함. \n- 구현 예시
\n
\ndef collate_fn(batch):\n def seq_length_(p):\n return len(p[0])\n\n max_seq_sample = max(batch, key=seq_length_)[0]\n max_seq_size = len(max_seq_sample)\n\n batch_size = len(batch)\n\n input_ids = torch.zeros(batch_size, max_seq_size).fill_(0).long()\n attention_masks = torch.zeros(batch_size, max_seq_size).fill_(0).long()\n labels = torch.zeros(batch_size, max_seq_size).fill_(0).long()\n\n for idx in range(batch_size):\n sample = batch[idx]\n sample_input_ids = sample[0]\n sample_attention_masks = sample[1]\n sample_labels = sample[2]\n\n input_ids[idx].narrow(0, 0, len(sample_input_ids)).copy_(torch.LongTensor(sample_input_ids))\n attention_masks[idx].narrow(0, 0, len(sample_attention_masks)).copy_(torch.LongTensor(sample_attention_masks))\n labels[idx].narrow(0, 0, len(sample_labels)).copy_(torch.LongTensor(sample_labels))\n\n return {\n \"input_ids\": input_ids,\n \"attention_mask\": attention_masks,\n \"labels\": labels,\n }
How to apply?
\n\n- 이렇게 정의한
Sampler와 collate_fn은 DataLoader 클래스 생성시 넘겨주면 적용이 됨. \n
\ntrainset = ExampleDataset(train_datas)\nsampler = UniformLengthBatchingSampler(trainset, batch_size=32)\n\ntrain_loader = DataLoader(\n dataset=trainset,\n sampler=sampler,\n shuffle=True,\n collate_fn=collate_fn,\n)