Skip to content

mlee-msl/taskgroup

Repository files navigation

taskgroup

GoDoc

golang并发执行多任务(网络i/o、磁盘i/o、内存i/o等),并聚合收集多任务执行结果与执行状态(如任务组执行失败,将返回首个必要成功任务的错误信息, 且会立即停止后续任务的运行)。 Quick Start & Best Practice

使用: go get github.com/mlee-msl/taskgroup

功能特点

  • 并发安全的执行多个任务
  • 将多个任务的执行结果与执行状态进行聚合
  • 通过扇出/扇入模式,结合线程安全channel实现高效协程间通信
  • 多任务复用(共享)同一协程,避免了因协程频繁创建或销毁带来的开销,一定程度上也减少了上下文切换(特别是,内核线程与用户协程间的切换)的频次
  • early-return,当出现必要成功的任务失败时,将停止执行所有goroutine上还未启动的所有其他任务

    NOTEs,当所有任务都设置为非必要成功时,即可退化为errgroup包的使用场景

vs官方扩展库errgroup

  • errgroup 没有任务添加阶段,直接会使用协程执行指定的任务

    可通过限制协程数量上限,控制并发量(指定buffer sizechannel实现),当协程数达到上限时,需要等待现有任务执行结束,然后开启新的协程,会增加协程创建或销毁的成本

    另外,当协程量不指定时(默认协程量不受限),随着任务量的增加,会增加内核态线程与用户态协程间的上下文切换成本

  • errgroup可支持带有取消Context的模式,但实际上,该种模式下仍需要所有执行任务的goroutine执行完毕(每个任务都会绑定到新的goroutine上)
  • 仅返回了首个出现错误的接口(任务)状态,未将所有接口(任务)的执行结果(或执行状态)进行收集

IDEAs & TODOs

  • 当使用errgroup.WithContext时,出现错误cancel后,需要同步(如,atomic同步原语)后续协程(因任务阻塞还未开始执行的协程)不再启动(后续执行已无意义,业务层面已选择了带取消的上下文执行方式), 也确保避免了出现内存泄露(协程泄露等)等可能的问题
  • 增加一个默认的context.Context,和errgroup.WithContext的处理逻辑保持一致,统一使用context.Context处理错误 (功能实现上,整体可能会更加优雅点)

关于性能

指标

cpu性能

go test -benchmem -run=^$ -bench ^BenchmarkTaskGroup$ -cpu='1,2,4,8,16' [-benchtime=10x|-benchtime=1s] -count=3 -cpuprofile='cpu.pprof' .

内存性能

go test -benchmem -run=^$ -bench ^BenchmarkTaskGroup$ -cpu='1,2,4,8,16' [-benchtime=10x|-benchtime=1s] -count=3 -memprofile='mem.pprof' .

阻塞性能

go test -benchmem -run=^$ -bench ^BenchmarkTaskGroup$ -cpu='1,2,4,8,16' [-benchtime=10x|-benchtime=1s] -count=3 -blockprofile='block.pprof' .

锁性能

go test -benchmem -run=^$ -bench ^BenchmarkTaskGroup$ -cpu='1,2,4,8,16' [-benchtime=10x|-benchtime=1s] -count=3 -mutexprofile='mutex.pprof' .

效果对比

taskgroup

并发任务量: 6 taskgroup_6.jpg
并发任务量: 60
taskgroup_60.jpg

errgroup

并发任务量: 6
errgroup_6.jpg
并发任务量: 60
errgroup_60.jpg

可以看出,在增加任务执行结果聚合、失败快速返回的能力前提下:

当并发任务量不多时,前者相较于后者的综合性能提升还不明显;
当并发任务量较多时,前者相较于后者的综合性能表现提升较大;
深度验证后发现,随着并发任务量的增加,其综合性能表现的差距将会越明显。

其他

  • 核心功能的测试用例均采用Fuzz Test模糊测试,并测试通过
  • 包中提供的核心功能,均有Example Test样例用例,并执行通过,更多详情

About

golang并发执行多任务,并聚合多任务结果与状态

Topics

Resources

License

Stars

Watchers

Forks

Packages

No packages published