RuntimeError: Trying to resize storage that is not resizable
创始人
2025-05-30 03:50:37
0

问题

今天模型训练,遇到了个bug
先是在dataloder那报了这样一个错
RuntimeError: Caught RuntimeError in DataLoader worker process 0.
然后后面报
RuntimeError: Trying to resize storage that is not resizable
完整错误代码如下

Traceback (most recent call last):File "train_temp.py", line 100, in for data in train_dataloader:File "/data0/thw/anaconda3/envs/Denoising2/lib/python3.8/site-packages/torch/utils/data/dataloader.py", line 628, in __next__data = self._next_data()File "/data0/thw/anaconda3/envs/Denoising2/lib/python3.8/site-packages/torch/utils/data/dataloader.py", line 1333, in _next_datareturn self._process_data(data)File "/data0/thw/anaconda3/envs/Denoising2/lib/python3.8/site-packages/torch/utils/data/dataloader.py", line 1359, in _process_datadata.reraise()File "/data0/thw/anaconda3/envs/Denoising2/lib/python3.8/site-packages/torch/_utils.py", line 543, in reraiseraise exception
RuntimeError: Caught RuntimeError in DataLoader worker process 0.
Original Traceback (most recent call last):File "/data0/thw/anaconda3/envs/Denoising2/lib/python3.8/site-packages/torch/utils/data/_utils/worker.py", line 302, in _worker_loopdata = fetcher.fetch(index)File "/data0/thw/anaconda3/envs/Denoising2/lib/python3.8/site-packages/torch/utils/data/_utils/fetch.py", line 61, in fetchreturn self.collate_fn(data)File "/data0/thw/anaconda3/envs/Denoising2/lib/python3.8/site-packages/torch/utils/data/_utils/collate.py", line 265, in default_collatereturn collate(batch, collate_fn_map=default_collate_fn_map)File "/data0/thw/anaconda3/envs/Denoising2/lib/python3.8/site-packages/torch/utils/data/_utils/collate.py", line 143, in collatereturn [collate(samples, collate_fn_map=collate_fn_map) for samples in transposed]  # Backwards compatibility.File "/data0/thw/anaconda3/envs/Denoising2/lib/python3.8/site-packages/torch/utils/data/_utils/collate.py", line 143, in return [collate(samples, collate_fn_map=collate_fn_map) for samples in transposed]  # Backwards compatibility.File "/data0/thw/anaconda3/envs/Denoising2/lib/python3.8/site-packages/torch/utils/data/_utils/collate.py", line 120, in collatereturn collate_fn_map[elem_type](batch, collate_fn_map=collate_fn_map)File "/data0/thw/anaconda3/envs/Denoising2/lib/python3.8/site-packages/torch/utils/data/_utils/collate.py", line 172, in collate_numpy_array_fnreturn collate([torch.as_tensor(b) for b in batch], collate_fn_map=collate_fn_map)File "/data0/thw/anaconda3/envs/Denoising2/lib/python3.8/site-packages/torch/utils/data/_utils/collate.py", line 120, in collatereturn collate_fn_map[elem_type](batch, collate_fn_map=collate_fn_map)File "/data0/thw/anaconda3/envs/Denoising2/lib/python3.8/site-packages/torch/utils/data/_utils/collate.py", line 162, in collate_tensor_fnout = elem.new(storage).resize_(len(batch), *list(elem.size()))
RuntimeError: Trying to resize storage that is not resizable

解决

一开始,在博客上看到是num_works设置有问题,需要设置为0 或 和显卡相同的数
当时,还是有点怀疑,因为之前还设置了16,显卡是4张,也没报错,还是尝试了下,看看问题解决没,(因为当时没想法了),果然,仍然报错
后来,看到这篇博客,感谢博主大大(点击),作者在末尾,提到数据维度不统一的问题,于是,就在dataloder中打印了下自己的数据维度,结果发现,输入的input和label的shape竟然不一样!!!!
一个是384*384*1,一个是256*256*1
要怀疑人生了>_<
然后,改了裁剪的大小,就好了^_^

琐碎

1 num_works是有多少个进程去加载数据,与显卡数量无关,只不过一般是相等,可以在训练的时候慢慢增加num_works直到加载数据速度无明显提升
2 数据集数据集!

相关内容

热门资讯

C++020-C++因数,公因... 文章目录C++020-C++因数,公因数,...
圣严法师:在家修行有禁忌吗 圣严法师:在家修行有禁忌吗修行要持戒,五戒、八戒、菩萨戒,不持佛戒,非佛弟子,戒律就是禁忌。
元素周期表中什么元素具有毁灭性 元素周期表中什么元素具有毁灭性有很多,看你怎么用,短周期毁灭性最大的应该是H如果用原子裂变所产生的巨...
美国提议60天加沙停火协议 据路透社30日消息,美国提出了一项加沙停火计划,拟定为期60天的停火协议,并在首周实现以色列与巴勒斯...
破浪·新出海记丨 “中国方案”... 转自:交汇点新闻  编者按:当前,单边主义、保护主义加剧,外部环境不确定不稳定因素增多,面对困难和挑...
急寻人!广西这一重磅活动进行中... 南国早报全媒体记者 王世杰 冯榆 文/图新闻热线:0771-56901275月27日,广西大学举办庆...
这届白玉兰也太难选了 文/新潮观鱼时隔四年,白玉兰评奖季再逢“国产剧大年”。5月26日,第30届上海电视节白玉兰奖中国电视...
权威发布 | 多部门联动护航夏... 转自:菏泽发布5月30日,菏泽市“三夏”生产筹备情况新闻发布会召开。会上,市农业农村局相关负责人详细...
嘉应制药遭证监会立案调查 直指... 5月28日晚间,老牌药企广东嘉应制药(维权)股份有限公司(002198.SZ,下称“嘉应制药”)发布...
国家医保局开展药师“挂证”全国... 转自:经济日报近期,国家医保局对全国定点零售药店4月份以来的医保结算数据进行筛查分析发现,部分药师姓...
外资机构真金白银加码公募行业   近段时间,外资机构对于中国公募行业的投入持续加大。一方面,部分外资机构“大手笔”入股头部公募;另...
北京亦庄再释放500套应届毕业... 中国青年报客户端北京5月29日电(中青报·中青网记者 尹希宁)5月29日,北京经济技术开发区(简称北...
第一印象是指第一面的印象还是? 第一印象是指第一面的印象还是?第一印象就是指别人在看你第一面的时候,对你留下的印象,完全取决于外表.
怎么好委婉的辞职 怎么好委婉的辞职主动辞职:并且写辞职信递交辞呈;要恭维公司要恭维老板恭维同事,切忌为了一吐而快而失去...
*ST龙宇:收到股票终止上市决... *ST龙宇5月30日公告,公司收到上海证券交易所出具的自律监管决定书《关于上海龙宇数据股份有限公司股...
49股每笔成交量增长超50% 证券时报·数据宝统计,截至5月30日收盘,沪指报收3347.49点,涨跌幅-0.47%;深成指报收1...
快看!花山岩画进京了 近日,“遗韵华章——中国世界文化遗产主题创作特邀展”在北京举办。由广西美术家协会名誉主席谢麟受邀创作...
云南建投混凝土(01847.H... 格隆汇5月30日丨云南建投混凝土(01847.HK)公告,于2025年5月30日,公司与云南建投、基...
上海临港:国泰君安临港创新智造... 上海临港公告,公司参与的国泰君安临港创新智造产业园封闭式基础设施证券投资基金扩募获中国证监会注册批复...
南模生物:6月20日将召开20... 证券日报网讯 5月30日晚间,南模生物发布公告称,公司将于2025年6月20日召开2024年年度股东...