如何在pandas数据框架的多列中并行应用一个函数?[英] How to apply a function to mulitple columns of a pandas DataFrame in parallel

本文是小编为大家收集整理的关于如何在pandas数据框架的多列中并行应用一个函数?的处理方法,想解了如何在pandas数据框架的多列中并行应用一个函数?的问题怎么解决?如何在pandas数据框架的多列中并行应用一个函数?问题的解决办法?那么可以参考本文帮助大家快速定位并解决问题。

问题描述

我有一个包含数十万行的 pandas DataFrame,我想在该 DataFrame 的多个列上并行应用一个耗时的函数.

我知道如何连续应用该功能.例如:

import hashlib

import pandas as pd


df = pd.DataFrame(
    {'col1': range(100_000), 'col2': range(100_000, 200_000)},
    columns=['col1', 'col2'])


def foo(col1, col2):
    # This function is actually much more time consuming in real life
    return hashlib.md5(f'{col1}-{col2}'.encode('utf-8')).hexdigest()


df['md5'] = df.apply(lambda row: foo(row.col1, row.col2), axis=1)

df.head()
# Out[5]: 
#    col1    col2                               md5
# 0     0  100000  92e2a2c7a6b7e3ee70a1c5a5f2eafd13
# 1     1  100001  01d14f5020a8ba2715cbad51fd4c503d
# 2     2  100002  c0e01b86d0a219cd71d43c3cc074e323
# 3     3  100003  d94e31d899d51bc00512938fc190d4f6
# 4     4  100004  7710d81dc7ded13326530df02f8f8300

但是我将如何应用函数 foo 并行,利用我机器上的所有可用内核?

推荐答案

最简单的方法是使用 concurrent.futures.

import concurrent.futures

with concurrent.futures.ProcessPoolExecutor(16) as pool:
    df['md5'] = list(pool.map(foo, df['col1'], df['col2'], chunksize=1_000))

df.head()
# Out[10]: 
#    col1    col2                               md5
# 0     0  100000  92e2a2c7a6b7e3ee70a1c5a5f2eafd13
# 1     1  100001  01d14f5020a8ba2715cbad51fd4c503d
# 2     2  100002  c0e01b86d0a219cd71d43c3cc074e323
# 3     3  100003  d94e31d899d51bc00512938fc190d4f6
# 4     4  100004  7710d81dc7ded13326530df02f8f8300

指定 chunksize=1_000 会使这个运行更快,因为每个进程将一次处理 1000 行(即,您将支付每 1000 行仅初始化一次进程的开销).

请注意,这只适用于 Python 3.2 或更高版本.

本文地址:https://www.itbaoku.cn/post/1727846.html