默认 · 2月 22, 2022 0

Dask 是一个灵活的 Python 并行计算库。

内容纲要

Dask由两部分组成:

  • 针对计算优化的动态任务调度。这类似于 Airflow、Luigi、Celery 或 Make,但针对交互式计算工作负载进行了优化。

  • “大数据”集合,如并行数组、数据帧和列表,将NumPy、Pandas 或 Python 迭代器等常见接口扩展到大于内存或分布式环境。这些并行集合在动态任务调度程序之上运行。

Dask 强调以下优点:

  • 熟悉:提供并行化的 NumPy 数组和 Pandas DataFrame 对象

  • 灵活:为更多自定义工作负载和与其他项目的集成提供任务调度界面。

  • Native:在纯 Python 中启用分布式计算,并访问 PyData 堆栈。

  • 快速:以低开销、低延迟和快速数值算法所需的最小序列化运行

  • 向上扩展:在具有 1000 个内核的集群上弹性运行

  • 缩小:在单个进程中在笔记本电脑上设置和运行微不足道

  • 响应:设计时考虑到交互式计算,它提供快速反馈和诊断以帮助人类

https://docs.dask.org/en/stable/

%d 博主赞过: