理解nodejs的stream和pipe机制

Vieri_32

墨衍会员 · AI 创作全网分发码龄11年

关注

原创最新推荐文章于 2025-08-12 17:15:00 发布 4.3w 阅读 AI 写同款· GEO 优化 ›

AI权益加码！Claude Code、Cursor等20+工具免费用！购周边限时加赠Coding Plan Lite，畅享主流AI工具！学习进阶更高效！阅读详情

前言

前几天别人请教我关于pipe的问题，我发现我虽然用了nodejs很久，但是由于每次用的不多所以经常回避stream的使用，导致一直不熟，现在重新学习整理一下相关知识。

通过nodeschool学习stream

nodeschool有一个stream-adventure教程教导stream的使用，很简单

简单stream进行pipe

首先，我们可以通过管道将输入定位到输出，输入输出可以是控制台或者文件流或者http请求，比如

process.stdin.pipe(process.stdout)
process.stdin.pipe(fs.createWriteStream(path))
fs.createReadStream(path).pipe(process.stdin)

pipe中间进行处理

如果我们想要在管道中间进行处理，比如想将输入的字符串变成大写写到输出里，我们可以使用一些可以作为中间处理的框架，比如through2就很方便

var through2  = require('through2');
var stream = through2(write,end)
process.stdin
    .pipe(stream)
    .pipe(process.stdout);

function write(line,_,next){
    this.push(line.toString().toUpperCase())
    next();
})
function end(done){
    done();
})

stream转化成普通回调

当我们输入是流，而输出是个普通函数，我们需要把输入流转化为普通的buffer，这时可以试用concat-stream库

var concat = require('concat-stream');

var reverseStream=concat(function(text){
    console.log(text.toString().split("").reverse().join(""));
})

process.stdin.pipe(reverseStream)

http server中的流

类似stdin和fs，http由于其特性也适合使用流，所以其自带类似特性

var http = require('http');
var server = http.createServer(function(req,res){
    req.pipe(res);
})

既作为输入也作为输出的流

request框架实现了如下功能，将一个流pipe到request请求中，然后将流的内容发给服务器，然后返回作为流供其他代码使用，实现如下

var request = require('request');
var r = request.post('http://localhost:8099');
process.stdin.pipe(r).pipe(process.stdout)

分支管道

下边是一个例子，这个例子将输入管道中html包含loud class的元素放入另一个管道进行大写操作，然后最后合并成输出

var trumpet = require('trumpet');
var through2 = require('through2');
var fs = require('fs');
var tr = trumpet();
var stream = tr.select('.loud').createStream();
var upper = through2(function(buf,_,next){
    this.push(buf.toString().toUpperCase());
    next();
})
stream.pipe(upper).pipe(stream);
process.stdin.pipe(tr).pipe(process.stdout);

合并输入输出stream例子

合并后的输入输出可像前文request一样使用，下边这个例子实现了使用流的方式进行子进程调用

var spawn = require('child_process').spawn;
var duplexer2 = require('duplexer2');

module.exports = function(cmd, args){
    var c = spawn(cmd,args)
    return duplexer2(c.stdin,c.stdout)
}