深网 - Deep Web表面网络 IoT物联网 大数据 AI人工智能

Qt/C++

深网 - Deep Web表面网络 IoT物联网 大数据 AI人工智能

"深网" 英文译为 "Deep Web"，又称不可见网、隐藏网。"深网" 是指 Internet 互联网上那些不被 "标准搜索引擎" 索引的非表面不可见 Web 网络内容。

"迈克尔·伯格曼" 将当今互联网上的搜索服务，比喻为像在地球海洋表面拉起一个大网进行搜索，巨量的表面信息固然可通过这种方式被查找到，可还有相当大量的信息由于隐藏在深处而被搜索引擎错失。这些绝大部分被隐藏的信息，是必须通过 "动态请求产生" 的网页信息，而标准搜索引擎却无法对其进行查找。传统搜索引擎 "看" 不到，也获取不了这些存在于 "深网" 中的内容，除非通过 "特定操作或工具" 对这些页面进行动态 "生成或查找"。于是相对的，这些内容就 "被隐藏" 了起来，从而形成了所谓的 "深网"。

据估计，"深网" 要比表面网站大好几个数量级，特别是在这个人人都能发布网络信息的 "IoT 物联网" 大数据时代；当大部分个人发布的信息对于 "传统中心化" 服务商而言，可能 "无用或需进一步处理" 时，而那些占比不到 2% 的有价值信息 (对服务商无用) 就可能会被忽略或因长期存在却不可见而成为 "深网" 内容。但很重要的基本个人信息，譬如：性别、爱好、大致年龄、上网习惯、联系方式、等信息，"传统中心化" 服务商却一定不会放过还会对其进一步深入加工，并美其名曰 "个人画像"。这种 "精准数据" 从目前来看，对个人而言不是什么好事。

"传统中心化" 服务商的解决办法，目前来看是：采用 IoT 物联网、大数据、AI 人工智能、等新技术 (有时只是一种垄断技术)，直接定位到每台智能设备，甚至对应到每一个自然人。这样做有时会对社会产生重大负面影响，譬如：AI 人工智能杀熟，从 2014 年起中国国内越来越多人被大数据、AI 人工智能、等新技术进行诈骗的事情；2018 年美川普通俄门后爆出的天量 Facebook 个人数据涉漏，有所谓的学术研究团队利用 AI 人工智能分析 Facebook 会员群体特征。因此，2018 年 5 月欧洲通过的个人信息保护法，要求在收集某些个人信息前必须先征得同意。

由大数据、AI 人工智能、等新技术驱动的 "智能移动设备端" 信息流，有些 "服务商" 为了利益什么信息都有可能会将其拿去 "提取-加工"，从而出现了前所未有的 "天量信息" 大爆炸，这种信息的 "对错-及时性-社会正面" 已不再重要，重要的只是流量。"信息流" 会每天不停轰炸 "智能移动设备"，对大家的生活质量产生重大影响，所谓的千人千面，不是让你沉迷刷小视频，就是帮你革新世界观。

将信息 "获取权" 重新掌握在每个人手中，将是未来发展的必然趋势，这也是 "德云社区" 一直所致力的。

百度网盘

https://pan.baidu.com/s/1mhJHnQg

软件仓库

https://github.com/digitser

https://digitser.sourceforge.io/

https://pan.baidu.com/s/1TV70__Be1ta0ney1-tudFQ

免费高效 工业4.0数字化理念“灵活-高效-柔性”增强本地 Web 浏览器

http://browser.digitser.cn/

http://forum.digitser.cn/thread-2198-1-1.html

深网 vs 浅层网

Web 按其 "深度" 可分为 Surface Web (浅层网) 和 Deep Web (深网) 两部分。

与 Surface Web 相比，Deep Web 蕴藏了更丰富，更专业 (专注于某一领域)、更高质量的信息。且 Deep Web 的增长速度要远高于 Surface Web。Deep Web 内容大都是面向某一特定领域，且涵盖各领域，譬如：商业、教育、政府、等等。Deep Web 上 95% 的信息能公开访问，可免费获取。

01、Surface Web (浅层网)

是指通过超链接，可被 "传统搜索引擎" 索引到的页面集合。

通常情况下，由于计算能力、存储空间、及时反馈、等原因，"传统搜索引擎" 只会索引那些热门、社会影响正面、它认为必要且有指向超链接的 Web 内容。

从目前来看，下一代 "量子计算" 不知能否解决 "Windows、Mac、Unix、Linux 等" OS 本地文件的全面精确搜索，现在就要完全 Web 索引-搜索那就更不可能了。

02、Deep Web (深网)

是指 Web 中不能被传统搜索引擎索引到的，那部分内容，包括：动态内容、未被链接内容、私有网站、Contextual Web、被限制访问内容、脚本化内容、非 HTML 文本内容、等等。

包含以下 4 种情况：

01) 通过填写表单形成对后台在线数据库的查询，而得到的动态页面

实际应用中，人们更关注这一部分内容；因为，这部分内容对结构化数据的集成更有意义，可以采用的技术也更丰富。

DeepWeb 数据集成也主要是指对结构化信息的集成，可把 Web 中可访问的在线数据库称为 Web 数据库或 WDB。

这些内容只有在被查询时才会由 Web 服务器动态生成页面，把结果返回给访问者；因此，没有超链接指向这些页面，这是和那些可被直接访问的静态页面的根本区别。

随着 Web 技术的日益成熟和 DeepWeb 所蕴含信息量的快速增长，通过对 web 数据库的访问逐渐成为获取信息的主要手段，而对 DeepWeb 的研究也越来越受到人们的关注。

02) 由于缺乏指向超链接而没被搜索引擎索引到的页面 (这部分占比最大)

在 "IoT 物联网" 大数据时代，前所未有的 "天量信息" 使搜索引擎忙于应付，很多 Web 内容必然 "无指向超链接"。

譬如：未提交链接给搜索引擎或搜索引擎不愿收录的 Web 内容、私有网站、被限制访问内容、非 HTML 文本内容、等等。

03) 需要注册或其它限制才能访问的内容

04) Web 上可访问的非网页文件

由于 Web 技术本身问题，这些内容很难识别 (虽说 AI 人工智能很先进) 并被索引，比如：图片文件、PDF、Word 文档、某些专业软件生成文件、等等。

"长按二维码" 或 "扫一扫" 关注 "德云社区" 微信公众号

版权声明：
本文为独家原创稿件，版权归 德云社区，未经许可不得转载；否则，将追究其法律责任。