🦄九游娱乐(中国)网址在线比较较传统基于进度（process）的处理形势-九游娱乐(中国)网址在线

IT之家 12 月 10 日讯息，历练 AI 模子的瓶颈，现在不再只是是架构野心，数据处分恶果也至关焦炙。Meta AI 最新推出了开源可扩张且高性能的数据加载（SPDL）器具，通过擢升数据加载恶果，最终加速 AI 历练速率。

SPDL 器具收受多线程时代，在老例 Python 解说器中（未启用 free-threading 选项）终清亮高糊涂量，资源占用更低，并兼容 Free-Threaded Python。

中枢上风

SPDL 包含任务执行器（活水线综合）、构建活水线的实用器具以及高效且线程安全的媒体处理操作，其中枢是异步事件轮回，正经改变新任务和反应任务完成。SPDL 通过将同步操作交付给线程异步调行，终了果真的并发。

比较较传统基于进度（process）的处理形势，SPDL 器具升级改用基于线程（thread）的加载形势，有用幸免了进度间通讯的支出，显耀擢升了数据传输速率。

该器具的另一个亮点在于预取谦让存时代，确保 GPU 长久罕有据可供处理，最大程度减少 GPU 欢然时期，提高系统合座恶果。

不管是单 GPU 已经大型集群，SPDL 扶助跨散布式系统责任，不错高效处理复杂任务；SPDL 器具还无缝兼容主流 AI 框架 PyTorch，便捷团队快速收受。

性能

Meta 暗意比较传统基于进度的决策，SPDL 糊涂量擢升 2-3 倍；此外皮禁用 GIL 的 Free-Threaded Python 环境中，SPDL 糊涂量擢升 30%。

SPDL 提供性能监控和调优器具，便捷用户深切了解数据加载经由并进行优化。

IT之家附上参考地址

Introducing SPDL: Faster AI model training with thread-based data loading

Meta AI Introduces SPDL (Scalable and Performant Data Loading): A Step Forward in AI Model Training with Thread-based Data Loading🦄九游娱乐(中国)网址在线