手写 p-limit —— 实现并发控制
00 分钟
2023-4-13
2023-4-13
type
status
date
slug
summary
tags
category
icon
password
Edited
Apr 13, 2023 08:48 AM
Created
Apr 13, 2023 08:30 AM

前提

前端代码经常要处理各种异步逻辑。
有的是串行的:
有的是并行的:
并行的异步逻辑有时还要做并发控制。
并发控制是常见的需求,也是面试常考的面试题。
一般我们会用 p-limit 来做:
比如上面这段逻辑,就是几个异步逻辑并行执行,并且最大并发是 2。
那如何实现这样的并发控制呢?

p-limit

p-limit 用于实现并发控制,限制同时进行的异步操作数量。通常用于处理前端代码中的异步逻辑,可以控制并发的数量,避免一次性进行太多的异步操作导致性能问题。
我们自己写了一个手写的并发控制库,核心思路是通过维护一个队列保存所有的任务,在最开始一次性执行最大并发数的任务,然后每执行完一个任务就再执行一个新的。其中要注意的是为了保证获取的任务数量是准确的,要在所有微任务执行完之后再获取数量。实现并发控制只需要 40 多行代码,相比于 p-limit 简单很多。

实现

我们自己来写一个:
  • 首先,要传入并发数量,返回一个添加并发任务的函数,我们把它叫做 generator:
  • 这里添加的并发任务要进行排队,所以我们准备一个 queue,并记录当前在进行中的异步任务。
  • 添加的异步任务就入队,也就是 enqueue。
    • enqueue 做的事情就是把一个异步任务添加到 queue 中,并且只要没达到并发上限就再执行一批任务:
  • 具体运行的逻辑是这样的
    • 计数,运行这个函数,改变最后返回的那个 promise 的状态,然后执行完之后进行下一步处理:
  • 下一步处理自然就是把活跃任务数量减一,然后再跑一个任务:
这样就保证了并发的数量限制。

简易源码

执行

并发数量为 2。
我们试下:
notion image
先并发执行前两个任务,2s 的时候一个任务执行完,又执行了一个任务,然后再过一秒,都执行完了,有同时执行了两个任务。
经过测试,我们已经实现了并发控制!
回顾一下我们实现的过程,其实就是一个队列来保存任务,开始的时候一次性执行最大并发数的任务,然后每执行完一个启动一个新的。
还是比较简单的。
 
上面的 40 行代码是最简化的版本,其实还有一些可以完善的地方,我们继续完善一下。
首先,我们要把并发数暴露出去,还要让开发者可以手动清理任务队列。
我们这样写:
Object.defineProperties 只定义 get 函数,这样 activeCountpendingCount 就是只能读不能改的。
同时还提供了一个清空任务队列的函数。
然后传入的参数也加个校验逻辑:
不是整数或者小于 0 就报错,当然,Infinity 也是可以的。
最后,其实还有一个特别需要完善的点,就是这里:
应该改成这样:
因为 activeCount-- 的逻辑是在执行完任务之后才执行的,万一任务还没执行完,这时候 activeCount 就是不准的。
所以为了保证并发数量能控制准确,要等全部的微任务执行完再拿 activeCount。
怎么在全部的微任务执行完再执行逻辑呢?
加一个新的微任务不就行了?
所以有这样的 await Promise.resolve(); 的逻辑。
这样,就是一个完善的并发控制逻辑了,p-limit 也是这么实现的。
感兴趣的同学可以自己试一下:

完整代码

总结

js 代码经常要处理异步逻辑的串行、并行,还可能要做并发控制,这也是面试常考的点。
实现并发控制的核心就是通过一个队列保存所有的任务,然后最开始批量执行一批任务到最大并发数,然后每执行完一个任务就再执行一个新的。
其中要注意的是为了保证获取的任务数量是准确的,要在所有微任务执行完之后再获取数量。
 

参考链接

  1. 手写 p-limit,40 行代码实现并发控制 - 掘金 (juejin.cn)
 
上一篇
粘贴图片到网页
下一篇
Docker 基本使用

评论
Loading...