node crawler如何添加promise支持

背景

最近在组内做一些爬虫相关的工作，本来想自己简单造个轮子的，但是经网友推荐后，采用了node-crawler，用了一段时间过后，确实满足了我的绝大部分需求，但是其 api 却不支持 promise，而且我还需要一些同步爬取、同步处理的能力，如果不用 promise 的话，写法很不优雅，所以我就简单地给其封装了一层 promise api

现状

目前 node-crawler 的使用方式不支持 promise ，这里直接给出 npm 上的使用例子

const crawler = require("crawler")

// 实例化
const c = new crawler({
  // ... 可以传入一些配置
  callback : function (error, res, done) {
    // 请求回调，实例化的时候传入的 callback 是作为默认 callback 的，后续每次抓取如果没有传入 callback，那么都会调用默认 callback
    done();
  }
})

// 爬取
c.queue([{
  uri: 'http://parishackers.org/',
  jquery: false,
 
  // the global callback won't be called
  callback: function (error, res, done) {
    if(error){
      console.log(error);
    }else{
      console.log('grabbed', res.body.length, 'bytes');
    }
    done();
  }
}])

这样的回调方式对于多爬虫同步爬取很不友好

改造

理想使用方式：

const crawler = require('crawler')

const c = new crawler({
  // 一些默认配置
})

c
.queue({
  uri: 'xxx'
})
.then(res => {
  // 抓取成功
})
.catch(err => {
  // 抓取失败
})

改造方案：

// utils/crawler.js
const crawler = require('crawler')
const defaultoptions = {
 jquery: false,
 ratelimit: fetchratelimit,
 retries: 0,
 timeout: fetchtimeout,
}

module.exports = class promiseifycrawler extends crawler {
  // namespace 是为了后续抓取结果统一上报时候进行区分
  constructor(namespace = 'unknow', options = {}) {
   if (typeof namespace === 'object') {
    options = namespace
    namespace = 'unknow'
   }
   
   options = merge({}, defaultoptions, options)

   const cb = options.callback
   options.callback = (err, res, done) => {
    typeof cb === 'function' && cb(err, res, noop)
    process.nexttick(done)
    // 在这里可以自定义抓取成功还是失败
    // 我这里直接设置的是如果 http code 不是 200 就视为错误
    // 而且在这里也可以做一些抓取成功失败的统计
    if (err || res.statuscode !== 200) {
     if (!err) err = new error(`${res.statuscode}-${res.statusmessage}`)
     err.options = res.options
     err.options.npolisreject(err)
    } else {
     res.options.npolisresolve(res)
    }
   }
   options.headers = object.assign({}, options.headers, {
    'x-requested-with': 'xmlhttprequest',
   })
   super(options)
  }
 
  queue(options = {}) {
   // 每次抓取都是一个新的 promise
   return new promise((resolve, reject) => {
    // 然后在 options 里挂载上 resolve 和 reject
    // 这样在全局 callback 上就可以用到了
    options.npolisresolve = resolve
    options.npolisreject = reject

    const pr = options.prerequest
    options.prerequest = (options, done) => {
     typeof pr === 'function' && pr(options, noop)
     // 在这里也可以做一些通用的抓取前的处理
     
     done()
    }

    super.queue(options)
   })
  }
  
  // direct api 同理
 }
// 使用
const crawler = require('./utils/crawler')

const crawler = new crawler('示例爬虫 namespace')

crawler
.queue({
 uri: 'xxx',
 prerequest: options => log('开始抓取'),
})
.then(res => {
 log('爬取成功')
 return res
})
.catch(err => {
 log('爬取失败')
 throw err
})
promise 化后，多个爬取任务同步爬取写法就友好多了：

// 抓取任务1
const fetchtask1 = () => crawler.queue({/* 配置 */}).then(res => handle(res))
// 抓取任务2
const fetchtask2 = () => crawler.queue({/* 配置 */}).then(res => handle(res))

const fetch = () => {
  return promise.all([
    fetchtask1(),
    fetchtask2(),
  ])
}

fetch()

这样就完成了对 node-crawler 的 promise 化改造了

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。