建业0
编写爬虫需要用到哪些软件？最后得到的是什么？一个exe程序吗
有，你可以试试【神箭手云爬虫开发平台。
】神箭手云爬虫是一个帮助JS开发者快速开发爬虫系统的SaaS服务平台。
神箭手提供上手简单，灵活开放的云爬虫开发框架，让开发者只需要在线写几行js代码就可以实现一个爬虫。
并且爬虫将自动运行在云服务器上，爬取速度更快，效率更高。
python爬虫有什么用？应用在哪些地方？ 爱问知识人
想学python爬虫，不知道怎么学，重庆达内python培训. 0基础入门到精通，可下载在线视频教程，免费试听。
专注IT职业教育16年，60万学员的共同选择，在全国60个城市建立了200家培训中心，一地学习全国就业。
有实力、有信誉，可先学习后付款，7天课程免费试听.
想写一个爬虫软件,将网页里面的所有.pdf 文件下载到电脑的指定路径...
主要是首先爬回html页面然后使用正则表达式匹配python的话涉及到urllib,urllib2,re等模块java的话涉及到httpurlconnection,pattern,match等类爬虫也有很多框架可以使用，不过这就看个人想法了，一般新手直接学框架需要耐心关于框架的事，可以直接百度 某某某编程语言有什么好的爬虫框架 展开全部...
学大数据的人会用爬虫软件吗
国外不清楚，但是在国内一般情况下会去学一点，但是基本不会太深，搞大数据的主要是算法这块，国内企业公司大数据和爬虫工程师都是分开。
当然小公司也会有一些要求大数据去做爬虫工作，如果你偏大数据，那这类公司就可以pass里，毕竟这是2个不同的岗位。
用爬虫给软件自动输入测试密码
良心推荐一款非常成熟的爬虫软件，是通用的爬虫软件ForeSpider，除了可视化采集之外，内部自带了一套爬虫脚本语言。
是一种自己开发的成熟的爬虫脚本语言，而非框架。
从一个专业C++程序猿的角度说，网上流传的各种Java爬虫，Python爬虫，Java需要运行于C++开发的虚拟机上，Python只是脚本语言，采集效率和性能如何能与强大的C++相提并论？C++直接控制系统的底层，对内存空间的控制和节省都是其他语言无法竞争的。
首先，forespider的开发语言是C++，而且C++几乎没有现成的框架可以用，而火车采集器是用的C#。
先从业界水平和良心来说，这个软件可以做到从底层到上层都是他们的技术人员自己写的，而非运用现成的框架结构。
其次，因为抓取金融行业的数据，数据量大，动态性强，而采集对象一般反爬虫策略又很严格。
所以，专门建立团队开发不现实。
请外包人员开发太贵。
买现成的软件，要考虑性价比。
因为很多数据需要登录，需要验证码，是JS生成的数据，是ajax，是https协议，有加密的key，有层层的验证机制等等，分析市面上所有找得到的爬虫软件，没有找到其他一家可以完全把我们列表上的网站采集下来的软件。
forespider功能强大，这是很重要的一点。
第三，forespider在台式机上运行一天可以采400万条数据，在服务器上一天可以采8000万条数据。
这样一来，数据更新速度明显比以前快了几十倍。
从前抓一个7500万的网站需要好几个月，等抓完数据早都变化的不成样子了，这是很多爬虫的痛处。
但是现在的更新速度只有两三天。
forespider的性能强大，这也是非常好的一点。
第四，其实完全可视化的采集也不需要计算机专业的。
大致学习了之后就可以上手采。
而且forespider关于数据的管理做的很好。
一是软件可以集成数据库，在采集之前就可以建表。
二是数据可以自动排重，对于金融这样数据更新要求很高的行业，就特别合适。
第五，是关于免费的问题，我觉得免费的东西同时还能兼顾好用，只能是中国的盗版软件和手机APP。
大概是大家都习惯了在软件上不花钱，所以都想找到免费的。
forespider有免费版的，功能倒是不限制，但是采集数目每天有限制。
