python html5 bootstrap 视频教程

德云社区

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 6036|回复: 0

深网 - Deep Web表面网络 IoT物联网 大数据 AI人工智能

[复制链接]

96

主题

98

帖子

579

积分

高级技师

Rank: 4

金钱
373
金币
11
威望
0
贡献
0
发表于 2018-6-5 06:03:00 | 显示全部楼层 |阅读模式
AI人工智能 语音助理 人工翻译 教程
深网 - Deep Web表面网络 IoT物联网 大数据 AI人工智能

"深网" 英文译为 "Deep Web",又称不可见网、隐藏网。"深网" 是指 Internet 互联网上那些不被 "标准搜索引擎" 索引的非表面不可见 Web 网络内容。


"迈克尔·伯格曼" 将当今互联网上的搜索服务,比喻为像在地球海洋表面拉起一个大网进行搜索,巨量的表面信息固然可通过这种方式被查找到,可还有相当大量的信息由于隐藏在深处而被搜索引擎错失。这些绝大部分被隐藏的信息,是必须通过 "动态请求产生" 的网页信息,而标准搜索引擎却无法对其进行查找。传统搜索引擎 "看" 不到,也获取不了这些存在于 "深网" 中的内容,除非通过 "特定操作或工具" 对这些页面进行动态 "生成或查找"。于是相对的,这些内容就 "被隐藏" 了起来,从而形成了所谓的 "深网"。


据估计,"深网" 要比表面网站大好几个数量级,特别是在这个人人都能发布网络信息的 "IoT 物联网" 大数据时代;当大部分个人发布的信息对于 "传统中心化" 服务商而言,可能 "无用或需进一步处理" 时,而那些占比不到 2% 的有价值信息 (对服务商无用) 就可能会被忽略或因长期存在却不可见而成为 "深网" 内容。但很重要的基本个人信息,譬如:性别、爱好、大致年龄、上网习惯、联系方式、等信息,"传统中心化" 服务商却一定不会放过还会对其进一步深入加工,并美其名曰 "个人画像"。这种 "精准数据" 从目前来看,对个人而言不是什么好事。


"传统中心化" 服务商的解决办法,目前来看是:采用 IoT 物联网、大数据、AI 人工智能、等新技术 (有时只是一种垄断技术),直接定位到每台智能设备,甚至对应到每一个自然人。这样做有时会对社会产生重大负面影响,譬如:AI 人工智能杀熟,从 2014 年起中国国内越来越多人被大数据、AI 人工智能、等新技术进行诈骗的事情;2018 年美川普通俄门后爆出的天量 Facebook 个人数据涉漏,有所谓的学术研究团队利用 AI 人工智能分析 Facebook 会员群体特征。因此,2018 年 5 月欧洲通过的个人信息保护法,要求在收集某些个人信息前必须先征得同意。


由大数据、AI 人工智能、等新技术驱动的 "智能移动设备端" 信息流,有些 "服务商" 为了利益什么信息都有可能会将其拿去 "提取-加工",从而出现了前所未有的 "天量信息" 大爆炸,这种信息的 "对错-及时性-社会正面" 已不再重要,重要的只是流量。"信息流" 会每天不停轰炸 "智能移动设备",对大家的生活质量产生重大影响,所谓的千人千面,不是让你沉迷刷小视频,就是帮你革新世界观。


将信息 "获取权" 重新掌握在每个人手中,将是未来发展的必然趋势,这也是 "德云社区" 一直所致力的。


百度网盘

https://pan.baidu.com/s/1mhJHnQg


软件仓库

https://github.com/digitser

https://digitser.sourceforge.io/

https://pan.baidu.com/s/1TV70__Be1ta0ney1-tudFQ


免费高效 工业4.0数字化理念“灵活-高效-柔性”增强本地 Web 浏览器

http://browser.digitser.cn/

http://forum.digitser.cn/thread-2198-1-1.html


深网 vs 浅层网

Web 按其 "深度" 可分为 Surface Web (浅层网) 和 Deep Web (深网) 两部分。


与 Surface Web 相比,Deep Web 蕴藏了更丰富,更专业 (专注于某一领域)、更高质量的信息。且 Deep Web 的增长速度要远高于 Surface Web。Deep Web 内容大都是面向某一特定领域,且涵盖各领域,譬如:商业、教育、政府、等等。Deep Web 上 95% 的信息能公开访问,可免费获取。


01、Surface Web (浅层网)

是指通过超链接,可被 "传统搜索引擎" 索引到的页面集合。


通常情况下,由于计算能力、存储空间、及时反馈、等原因,"传统搜索引擎" 只会索引那些热门、社会影响正面、它认为必要且有指向超链接的 Web 内容。


从目前来看,下一代 "量子计算" 不知能否解决 "Windows、Mac、Unix、Linux 等" OS 本地文件的全面精确搜索,现在就要完全 Web 索引-搜索那就更不可能了。


02、Deep Web (深网)

是指 Web 中不能被传统搜索引擎索引到的,那部分内容,包括:动态内容、未被链接内容、私有网站、Contextual Web、被限制访问内容、脚本化内容、非 HTML 文本内容、等等。


包含以下 4 种情况:

01) 通过填写表单形成对后台在线数据库的查询,而得到的动态页面


实际应用中,人们更关注这一部分内容;因为,这部分内容对结构化数据的集成更有意义,可以采用的技术也更丰富。


DeepWeb 数据集成也主要是指对结构化信息的集成,可把 Web 中可访问的在线数据库称为 Web 数据库或 WDB。


这些内容只有在被查询时才会由 Web 服务器动态生成页面,把结果返回给访问者;因此,没有超链接指向这些页面,这是和那些可被直接访问的静态页面的根本区别。


随着 Web 技术的日益成熟和 DeepWeb 所蕴含信息量的快速增长,通过对 web 数据库的访问逐渐成为获取信息的主要手段,而对 DeepWeb 的研究也越来越受到人们的关注。


02) 由于缺乏指向超链接而没被搜索引擎索引到的页面 (这部分占比最大)


在 "IoT 物联网" 大数据时代,前所未有的 "天量信息" 使搜索引擎忙于应付,很多 Web 内容必然 "无指向超链接"。


譬如:未提交链接给搜索引擎或搜索引擎不愿收录的 Web 内容、私有网站、被限制访问内容、非 HTML 文本内容、等等。


03) 需要注册或其它限制才能访问的内容


04) Web 上可访问的非网页文件


由于 Web 技术本身问题,这些内容很难识别 (虽说 AI 人工智能很先进) 并被索引,比如:图片文件、PDF、Word 文档、某些专业软件生成文件、等等。


"长按二维码" 或 "扫一扫" 关注 "德云社区" 微信公众号

版权声明:
本文为独家原创稿件,版权归 德云社区,未经许可不得转载;否则,将追究其法律责任。


AI人工智能 语音助理 人工翻译 教程
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|Sitemap|小黑屋|德云社区 |网站地图  

GMT+8, 2024-3-19 12:38 , Processed in 0.085395 second(s), 27 queries .

工业和信息化部: 粤ICP备14079481号-2

技术支持 乐数软件     版权所有 © 2014-2021 德云社区    

快速回复 返回顶部 返回列表