Python 发表于 2018-5-13 13:06:00

数据采集 2019 - 静态动态网站数据 批量采集下载工具

数据采集 2019 - 静态动态网站数据 批量采集下载工具
截止 2018 年 05 月最新版本为 2018.5 版。
下载-解压后点击 "digital_collect.exe" 即可使用,无需单独安装After download-decompression, click on "digital_collect.exe" to use, no need to install separately
首次使用会提示安装 "Microsoft Visual C++ 2015 Redistributable" 及 "Adobe Flash Player"First use will be prompted to install "Microsoft Visual C ++ 2015 Redistributable" and "Adobe Flash Player"
自动 "批量" 挖掘 "深网 暗网" 内容的爬取 "数据采集" 工具http://collect.digitser.cn/http://forum.digitser.cn/thread-2253-1-1.html
软件仓库
https://github.com/digitser
https://digitser.sourceforge.io/https://pan.baidu.com/s/1TV70__Be1ta0ney1-tudFQ
主要特性


通用特性


发展历史

时间版本说明备注
2015.052015Digitser 团队在研究 "工业4.0 大数据" 时,有意无意中发现了大幅提高工作效率的最佳方式研发了一系列原型测试脚本,此时,还没有 GUI 图形用户界面
2016.052016"首选项窗口" 可一键切换 "标准-CMD 调试" 模式 GUI (图形用户界面),方便 "调试 编写" 插件、脚本Digitser 团队开发出了具有一些 "工业4.0 大数据" 理念的 App 原型产品,并开始系列化
"小程序" 自带无重要操作 "5 分钟" 倒计时 "自动退出" 功能
App 所有 "菜单" 可撕离,方便随时调用其下功能
采用 Python2.7 作脚本-插件编程语言
采用 "Apple 公司 Safari" HTML5 浏览器核心及 Qt4.8/C++ GUI 框架开发

2017.052017"数据采集" 产品逐渐成熟,开始对外 "实名认证-授权" 发布添加了很多 Python QT/C++ HTML5 BootStrap3 "代码开发" 流程优化相关小程序"高速模式" 小程序会根据 "CPU 运行" 情况调用 "CPU 线程" (最多调用所有线程 100% CPU 资源)
还有一些其它功能小程序,譬如:文本批处理、版本管理、编码转换、文件处理、RE 正则表达式、语音助理等
采用 Python3.4 作脚本-插件编程语言
采用 "Apple 公司 Safari" HTML5 浏览器核心及 Qt4.8/C++ GUI 框架开发

2017.112018此为过渡版本
完善帮助文档-视频教程
把性能可优化小程序升级到 "高速模式"采用 Python3.4 作脚本-插件编程语言
采用 "Apple 公司 Safari" HTML5 浏览器核心及 Qt4.8/C++ GUI 框架开发

2018.012018.5完善帮助文档-视频教程新增网站下载、网站爬取等小程序
为 Python HTML 选项卡添加 "字符补全" 功能
所有 App 首次采用 "暗黑色 (保护视力)" 全扁平化外观
开始全面兼容 HTTPS 协议,把性能可优化小程序升级到 "高速模式"
新增 Python2.x 3.x 代码 "运行-调试",Python Shell 及 Windows CMD 交互功能采用 C 编程语言优化核心运行效率
采用 Python3.5 作脚本-插件编程语言采用 "Google 开源 Chromium" HTML5 浏览器及 Qt5.9/C++11 GUI 框架开发
待定2019采用 C 编程语言优化核心运行效率
采用 Python3.5 作脚本-插件编程语言
采用 "Google 开源 Chromium" HTML5 浏览器及 Qt5.9/C++11 GUI 框架开发





http://forum.digitser.cn/data/attachment/forum/201605/19/132155fevczeyds5e5y1wy.jpg"长按二维码" 或 "扫一扫" 关注 "德云社区" 微信公众号

x1ax1a 发表于 2018-5-15 01:43:03

中国智能工业化的世界就要到来了:)
页: [1]
查看完整版本: 数据采集 2019 - 静态动态网站数据 批量采集下载工具