DASK

2019.02.25

pythonを用いた分析のための柔軟な並列計算ライブラリ。numpyやpandasのAPIをバックエンドとして利用しており、並列計算/分散処理を行うことが可能。NumPy/Pandas/Listのような操作感で、メモリに乗らないような大きいデータ(Out-of-Core)の解析や、カスタムタスクスケジューリング(Luigi, Airflow, Celery, or Makefilesなどに近い用途)ができる。スケーリング方法には、スレッドかプロセスを使用する単一マシンでの並列処理(スケールアップ)や、複数ノードでのクラスターによる並列処理(スケールアウト)、分散処理がある。

詳しくはこちら

コメントを残す

メールアドレスが公開されることはありません。 *が付いている欄は必須項目です

関連記事

TOPICS

MORE