我们可以创建一个拥有多个CPU机器和多个GPU机器的Dask集群吗?[英] Can we create a Dask cluster having multiple CPU machines as well as multiple GPU machines both.?

本文是小编为大家收集整理的关于我们可以创建一个拥有多个CPU机器和多个GPU机器的Dask集群吗?的处理方法,想解了我们可以创建一个拥有多个CPU机器和多个GPU机器的Dask集群吗?的问题怎么解决?我们可以创建一个拥有多个CPU机器和多个GPU机器的Dask集群吗?问题的解决办法?那么可以参考本文帮助大家快速定位并解决问题。

问题描述

我们可以一起使用一些CPU和一些GPU计算机创建DASK群集.如果是的,如何控制某个任务必须仅在CPU机器上运行,或者只能在GPU机器上运行某些其他类型的任务,并且如果未指定,则应选择任何机器.?

dask是否支持这种类型的群集.什么是控制在特定CPU/GPU机器上运行的任务的命令?

推荐答案

您可以指定DASK工人具有某些抽象资源

dask-worker scheduler:8786 --resources "GPU=2"
dask-worker scheduler:8786 --resources "GPU=2"
dask-worker scheduler:8786 --resources "MEMORY=100e9"

,任务在执行过程中会消耗这些资源.

processed = [client.submit(process, d, resources={'GPU': 1}) for d in data]
final = client.submit(aggregate, processed, resources={'MEMORY': 70e9})

您可以将其用于与GPU建模的机器.请注意,这些术语GPU和内存只是抽象术语.他们很容易成为foo和bar.

请参阅 Worker Resources的文档有关更多信息.

本文地址:https://www.itbaoku.cn/post/1793929.html