高德,百度地图的数据从哪里来的,怎么那么准?

高德,百度地图的数据从哪里来的,怎么那么准?,第1张

要明白地图数据分类,必须先理解一个概念,就是地图图层的概念:

如上图,电子地图对我们实际空间的表达,事实上是通过不同的图层去描述,然后通过图层叠加显示来进行表达的过程。

对于我们地图应用目标的不同,叠加的图层也是不同的,用以展示我们针对目标所需要信息内容。

其次呢,让我们来引入一下矢量模型和栅格模型的概念,GIS(电子地图)采用两种不同的数学模型来对现实世界进行模拟:

矢量模型:同多X,Y(或者X,Y,Z)坐标,把自然界的地物通过点,线,面的方式进行表达。

栅格模型(瓦片模型):用方格来模拟实体。

我们目前在互联网公开服务中,或者绝大多数手机APP里看到的,都是基于栅格(瓦片)模型的地图服务,比如大家看到的百度地图或者谷歌地图,其实对于某一块地方的描述,都是通过10多层乃是20多层不同分辨率的图片所组成,当用户进行缩放时,根据缩放的级数,选择不同分辨率的瓦片图拼接成一幅完整的地图(由于一般公开服务,瓦片图都是从服务器上下载的,当网速慢的时候,用户其实能够亲眼看到这种不同分辨率图片的切换和拼接的过程)。

对于矢量模型的电子地图来说,由于所有的数据以矢量的方式存放管理,事实上图层是一个比较淡薄的概念,因为任何地图元素和数据都可以根据需要自由分类组成,或者划分成不同的图层。各种图层之间关系可以很复杂,例如可以将所有的道路数据做成一个图层,也可以将主干道做成一个图层,支路做成另外一个图层。图层中数据归类和组合比较自由。

而对于栅格模型(瓦片图)来看,图层的概念就很重要的,由于图层是生成制作出来,每个图层内包含的元素相对是固化的,因此要引入一个底图的概念。也就是说,这是一个包含了最基本,最常用的地图数据元素的图层,例如:道路,河流,桥梁,绿地,甚至有些底图会包含建筑物或者其他地物的轮廓。在底图的基础上,可以叠加各种我们需要的图层,以满足应用的需要,例如:道路堵车状况的图层,卫星图,POI图层等等。

底图通常是通过选取必要地图矢量数据项,然后通过地图美工的工作,设定颜色,字体,显示方式,显示规则等等,然后渲染得到了(通常会渲染出一整套不同分辨率的瓦片地图)。

当然,即便在瓦片图的服务中,在瓦片底图之上,依然能够覆盖一些简单的矢量图层,例如道路走向(导航和线路规划必用),POI点图层(找个饭馆加油站之类的)。只不过瓦片引擎无法对所有地图数据构建在同一个空间数据引擎之中,比较难以进行复杂的地图分析和地图处理。

那么既然瓦片图引擎有那么多的限制和缺陷,为什么不都直接使用矢量引擎呢?因为瓦片图引擎有着重大的优势:

1.能够负载起大规模并发用户,矢量引擎要耗费大量的服务器运算资源(因为有完整的空间数据引擎),哪怕只是几十上百的并发用户,都需要极其夸张的服务器运算能力了。矢量引擎是无法满足公众互联网服务的要求的。

2.由于地图美工介入的渲染工作,瓦片图可以做得非常好看漂亮和易读,比较适合普通用户的浏览

附:一张矢量地图截图:

说了这么多了,其实主要就是为了引入图层和底图的概念,以方便说明下面的地图数据分类。

地图分类数据

为了说明数据的来源和采集渠道,采集方法,我们可以将地图数据分为以下三大类型,而今天我们只以底图地图为例来讲:

底图数据:其实就是地图中最基本的地物外形数据及一定的相关附加信息(例如道路名,河流名等)。事实上随着遥感和航拍卫拍技术的进步,这部分数据依赖实地采集的比例已经越来越小,商业地图数据商,尤其以高德为代表,处于成本收益考量,基本已经很少采用实地采集的方式了。这部分的数据主要来源于3种:官方地图:严格来说,这不能说是一种单独的渠道,因为官方地图的数据本身,也是来源于下面的两种渠道,但是官方地图一般来源于政府相关部门的权威测绘和发布,因此也单算成一种渠道。当然,需要说明的是,地图厂商能从国家权威部门拿到或者买到的地图,要比我们日常在街上商店里买到的地图要精细丰富很多,当然,很多时候也是用电子格式提供的。

当然,无论任何国家,真正高精度的地图(例如1:200比例或更高)是受限制不会对外公布的。(相对应给大家参照的是,我国规定互联网上可以公开发布的地图,最高精度是1:10000)

实地外采:说白就是测绘人员利用专业的仪器仪表,在实地环境中测绘所得到的。这样的采集方法耗时耗人都非常厉害,一则成本高,二则周期长,三则是采环境要求高(去喜马拉雅山去测测能弄吐血了),而且未必能够完全跟得上中国现在的城市变化。但是优点在于精度高,置信度,准确度非常高。这是国家测绘部门主要采用的手段,对于像北京市这样一个城市来说,一般几年才会完整重新测绘一轮。一般对于大多数商用测绘时,只是用在少数局部需要时,重点测绘才用得到。

这个大家马路上应该也偶尔能见到当然,在精度和准确度要求没有那么高的地方,实地采集也可以使用一些成本更低更便捷的工具,而不是专业测绘设备。例如用携带高精度GPS或其他定位的手持智能设备步行以绘制轮廓等。

航片卫片制作:就是通过自己拍摄或者购买的高精度航空照片或者卫星照片或者遥感照片,在此作为底片的基础上进行人为的矢量标注和勾勒,从而形成自己的矢量数据。现在的航片或者遥感片的精度已经可以很高了,一般来说做到精度在0.05米的程度已经很容易。高德自己的航片据说已经可以做到0.03米的精度,对于商用地图数据来说,通常已经够用了。即便作为国家权威测绘,在大量荒郊野岭的测绘,也主要依赖于这种手段。

目前常用的航拍或者卫拍手段包括机载数码摄像,机载遥感以及三维激光扫描(主要用于3D地图数据采集)

0.05分辨率航片

卫片路网标注

航片/卫片标注和勾勒,前面是在底片上的操作,后面是勾勒标注后得到的矢量图

数据加工制作示意图(来源于高德某公开资料)

从这部分数据来说,百度是没有自己的采集生产能力的,也没有执照(没有测绘资质)。百度的这一块数据主要是向四维图新买的。国内这一块的数据,主要有两家供应商,就是高德和四维图新。四维图新和国家测绘单位的关系非比寻常,其数据依赖国家测绘单位供给的占大头(当然也有互相供给的)。高德也有一部分数据来源于国家测绘单位的供给,但是高德自己的航拍制作的能力还是不错的(还承担过一些国家测绘机关的测绘任务),相对来说,依赖国家测绘单位数据的比例要低一些。

总的来说,这部分数据的采集生产,在中国需要国家认定的资质,有资质的除了国家测绘机关以外,商业机构本来就不太多,而真正在这个数据供给市场上活跃的,现在主要就是高德和四维图新这两家。其他无论是谷歌地图也好,苹果地图也好,这部分的数据,基本上都是从上述两家购买的。

就国内的情况来看,主要的数据都依赖于采集。这点和国外发达国家有比较大的差别。在国外发达国家,由于建设速度相对比较缓慢,政府的信息化水平以及信息透明做得较好,其实不需要那么多采集工作。

现在大家可能都听说过大数据,大数据的出现使得各个行业的发现具有了方向性,为推动社会做出了巨大的贡献,大数据离不开数据挖掘,那么大家知道不知道大数据可以做什么呢?简单来说,大数据可以让预测未来。

一、大数据可以预测未来

简而言之,大数据和数据挖掘能够赋予我们预测能力。而现在我们的生活已经数字化了,我们每天所做的任何事情都可以通过大数据记录下来,就好比每张信用卡交易都是数字化和可查询的。对于企业来说,大多数财务和运营数据都保存在数据库中。而现在,随着可穿戴设备的兴起,大家的每一次心跳和呼吸都被数字化并保存为可用数据。使得机器了解我们。

二、如果模式保持不变,那么未来就不再是未来

现在,我们生活中的许多不同事物都有不同的表现形式。比如说,一个人可能在任何工作日内在工作和家庭之间旅行,在周末到某个地方游玩,这种模式很少改变。商店将拥有任何一天的高峰时段和闲置时间,这种模式不太可能改变。企业将在一年中的某些月份要求更高的劳动力投入,这种模式不太可能改变。

由此,计算机通过终端去进行搜集到这些数据,就去分析这些数据,然后对受众群体进行合理的安排。计算机也就能够知道什么时候是适合促销的最佳时间,例如,如果这个人每周五的星期五都要洗车,或者是优惠券,那就是洗车促销如果这个人每年三月都要去度假,那就可以进行全方位的服务。同时计算机还可以预测商店全天的销售预测,然后制定业务战略以最大化总收入。一旦未来变得可预测,我们可以随时提前计划并为可能的最佳行动做好准备。这就说明了大数据给了我们预测未来的力量。这是数据挖掘的力量。数据挖掘始终与大数据联系在一起,因为大数据支持大量数据集,从而为所有预测提供了基础。

三、机器学习是什么?

刚才我们根据一块数据的处理方式进行了分析。假设这条数据包含一组购物者的购买行为,包括购买的商品总数,每个购物者购买的商品数量。这是迄今为止最简单的统计分析。如果我们的目标是分析不同类型的购物者之间的联系,或者如果我们想要推测特定类型的购物者的特殊偏好,或者甚至预测任何购物者的性别或年龄,我们将需要更多复杂的模型,通过录入的数据,我们称之为算法。机器学习可以更容易理解为为数据挖掘目的而开发的所有不同类型的算法,方便我们的生活。

四、数据挖掘是什么?

通过计算机去学习算法,用现有数据去预测未知数,这正是数据挖掘的奇迹与机器学习密切相关的原因。然而,任何机器学习算法的强度在很大程度上取决于大量数据集的供应。无论算法有多复杂,都不能从几行数据中做出预测,需要大量的数据作为样本。大数据技术是机器学习的前提,通过计算机的学习,我们能够从现有数据集中获得有价值的见解,这就是数据挖掘。

以上的内容就是对于大数据可以做什么?这两个问题的具体的解释了,大数据的出现能够让我们更好的预测未来,希望这篇文章能够给大家带来帮助,最后感谢大家的阅读。


欢迎分享,转载请注明来源:夏雨云

原文地址:https://www.xiayuyun.com/zonghe/107525.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-03-10
下一篇2023-03-10

发表评论

登录后才能评论

评论列表(0条)

    保存