• Rust中使用Rayon并行计算库快速提示程序性能
  • 发布于 2个月前
  • 108 热度
    0 评论
  • Spring
  • 0 粉丝 33 篇博客
  •   
有这样一段程序,计算1到1亿的连续数字之和
use std::i64;
fn main() {
    let arr:Vec<i64> = (1..1_0000_0000).collect();
    let result = sum_of_add(&arr);
    println!("{}",result);
}
fn sum_of_add(input: &[i64]) -> i64 {
    input.iter()
    .map(|&i| i + i)
    .sum()
}
添加部分代码,统计程序执行时间
use std::{i64, time::SystemTime};
fn main() {
    let arr: Vec<i64> = (1..1_0000_0000).collect();
    let time_a = SystemTime::now();
    let result = sum_of_add(&arr);
    println!("{}", result);
    let time_b = SystemTime::now().duration_since(time_a);
    println!("{:?}", time_b);
}
fn sum_of_add(input: &[i64]) -> i64 {
    input.iter().map(|&i| i + i).sum()
}
执行 cargo run --release, 输出:
9999999900000000
Ok(67.672ms)
考虑使用Rayon。这是一个并行计算库,利用work-steal思想,让负载不高的线程,去分担其他线程的工作。
在cargo.toml文件的dependence处新增 rayon = "1.8"
在代码中use rayon::prelude::*;
同时将 input.iter().map(|&i| i + i).sum() 改为  input.par_iter().map(|&i| i + i).sum()即可。 par即parallel

use std::{i64, time::SystemTime};
use rayon::prelude::*;

fn main() {
    let arr: Vec<i64> = (1..1_0000_0000).collect();
    let time_a = SystemTime::now();
    let result = sum_of_add(&arr);
    println!("{}", result);

    let time_b = SystemTime::now().duration_since(time_a);
    println!("{:?}", time_b);
}

fn sum_of_add(input: &[i64]) -> i64 {
    input.par_iter().map(|&i| i + i).sum()
}
再次 cargo run --release
结果为:
9999999900000000
Ok(29.368ms)
提升了一倍有余。
如果不加 --release,相差更多。

Rust 的 Rayon 库提升程序性能的关键在于其并行数据处理能力。Rayon 是一个数据并行化库,它允许你轻松地将数据处理操作转换为并行执行的任务,以此来利用现代多核处理器的性能。


以下是 Rayon 如何帮助提升程序性能的几个主要方面:

简化并行化:Rayon 提供了高级的抽象,允许开发者以最少的代码改动实现并行处理。例如,它可以将常规的迭代器链(如 .iter())通过简单的更改(如更改为 .par_iter())变为并行迭代器,从而实现数据的并行处理。

工作窃取调度:Rayon 使用工作窃取调度算法来有效地管理并行任务。在这种调度方式中,每个线程都有自己的任务队列。当一个线程完成了它的所有任务而其他线程还在忙时,它可以“窃取”其他线程的任务来继续工作,从而保持所有的核心都在忙碌并减少闲置时间。

负载均衡:Rayon 能够动态地将工作负载分配给多个线程,从而在不同的线程间实现负载均衡。这意味着即使是不均匀分布的任务,Rayon 也能有效地处理,确保所有处理器核心都有效利用。

减少数据竞争和同步开销:Rayon 设计了高效的数据分割和任务划分机制,这有助于减少线程间的数据竞争和同步开销。它尽可能地使各个线程独立工作,减少了对锁或其他同步机制的依赖。

易于集成和使用:Rayon 非常容易集成到现有的 Rust 项目中。它与 Rust 的标准库良好兼容,并且由于 Rust 语言本身的安全性和并发模型,使用 Rayon 实现并行化时可以减少数据竞争和并发错误的风险。

总的来说,Rayon 通过允许开发者以较低的努力实现有效的并行数据处理,帮助提升了程序在多核处理器上的性能。通过减少线程间的同步开销和更高效的工作分配,Rayon 确保了资源的最大化利用,从而提升整体的程序性能。
用户评论