مجموعات البيانات ومحملاتها وتجميع العينات

import torch
from torch.utils.data import Dataset, DataLoader
class TinyRows(Dataset):
    def __init__(self):
        self.rows = [("a",[1.0,2.0]),("b",[3.0,4.0]),("c",[5.0,6.0])]
    def __len__(self):
        return len(self.rows)
    def __getitem__(self, index):
        key, values = self.rows[index]
        return {"id":key, "x":torch.tensor(values,dtype=torch.float64,device="cpu"),
                "y":torch.tensor(sum(values),dtype=torch.float64,device="cpu")}
loader = DataLoader(TinyRows(),batch_size=2,shuffle=False,num_workers=0,drop_last=False)
for batch in loader:
    print(batch["id"],tuple(batch["x"].shape),batch["y"].tolist())

['a', 'b'] (2, 2) [3.0, 7.0]
['c'] (1, 2) [11.0]

يكدس التجميع الافتراضي الموترات المتساوية الشكل ويحفظ الهويات النصية في الدفعات؛ وتصغر الأخيرة لأن drop_last=False. لم ينفذ DataLoader.

ids = ["a","b","c"]
batches = [ids[start:start+2] for start in range(0,len(ids),2)]
recovered = [key for batch in batches for key in batch]
print("batches", batches)
print("coverage preserved", recovered == ids)
means, counts = [2.0,5.0], [2,1]
weighted = sum(mean*count for mean,count in zip(means,counts))/sum(counts)
print(f"sample-weighted mean={weighted:.1f}")

batches [['a', 'b'], ['c']]
coverage preserved True
sample-weighted mean=3.0

يفحص المرافق المنفذ تغطية تقسيم حتمي وترجيح دفعة أخيرة ناقصة؛ لا تجميع الموترات أو السحب أو سلوك العمال.