别再嘴炮概念了!大数据是硬汉之战,你的肌肉呢?

news/2024/5/20 7:51:35 标签: 大数据, 运维, serverless

华盛顿大学奥林商学院做过一个调查,10年内,世界五百强企业榜单中,40%将会消失。

以前的企业讲究聚沙成塔——

埋头苦干、一砖一瓦,从崭露头角到行业先锋,终换得大厦平地起。

现在聪明的筑塔人都转去逐浪。踩在互联网这一浪上,看着下一浪的浮现,他们在等新IT(Intelligence Technology)底层技术成熟。

作为机敏的鲨鱼,leader们左右嗅嗅,会闻到海水中的血腥味儿。随着他们弄懂如何改造效率低下的公司,从而更好、更快、更廉价地为消费者提供一切的时候,旧的系统、故步自封的垄断者将会崩溃。

熟悉科技前沿领域的业内人士有一个共识,目前,如果把AI、机器人管家、脑机接口、智能穿戴等领域视为一个个天资聪颖、潜能无限的婴儿,那哺育他们的“奶粉”必须是高质量、且经过处理的数据——尤其是实时数据。

由实时数据处理引发的应用,往往会颠覆绝大多数人对效率的认知。比如,物联网IoT领域中,实时的设备数据分析可以在1秒内检测出系统故障,同时做出维护性的预测;在金融领域,交易系统的数据不止需要实时呈现给客户,更重要的是以最快速度,递交自动交易系统进行处理;IT领域,软件系统的日志收集和处理对服务异常报警和故障的检测至关重要;而在交通领域,实时的交通数据经由处理,已经用来做交通指挥的优化。

最具有代表性的是电商,那些因新零售拔地而起的平台,握有海量用户交易数据和后台商品更新数据,此类数据对实时性的要求极高:交易处理,后台呈现,支付后的快速响应,以及出现纠纷时的解决……都仰仗着服务器支撑。特别是现在打折,促销,秒杀,砍价等营销模式层出不穷,如果系统出现问题,那么电商平台失去的流量与承受的损失将十分巨大。因此接入信息,监管商品交易数据并且做到实时处理,这对于此类企业来说尤为重要。

此外,大数据时代,企业销售端的进军方向会逐步靠拢到智能推荐系统。传统的推荐系统采用定期对数据进行分析的做法来更新模型。因其定期更新的特性,推荐模型无法保持实时,对用户当前的行为推荐结果不够精准。在此类场景中,实时数据分析便等同于一眼看透消费者的导购。

新IT浪潮中,实时的数据收集与基于数据的分析处理已经是大势所趋。但在数据种类越来越多,产生速度越来越快,数据量越来越大的当下,许多企业正面临技术与设备的限制,实时数据处理的技术壁垒已浮出水面。总结来说,主要的困难在于:

1、数据量非常大;系统要求非常高,处理数据时,容不得丝毫故障甚至宕机,实时处理的系统要求也远远高于离线系统。

2、实时处理系统规模跟不上业务增长的需求;很多实时数据(比如金融的K线分析)需要专门的时序数据库技术,而这些技术并不普及。

3、自行搭建开源组件,比如Kafka, Storm和Hbase,不是一件容易的事情,Hadoop开源组件的部署和运维都需要耗费大量的金钱和人力。

究其根本,实时数据处理的三个最根本的需求是:数据的接入,数据的实时分析处理,和数据的存储。针对日益增长的,在云上对数据进行实时处理的需求,华为云EI服务产品部开发了实时数据处理“三剑客”:

数据接入服务(DIS),实时流计算服务(Cloud Stream Service,简称CS)和表格存储服务(CloudTable)。

• 数据接入服务(DIS)是华为云提供的完全托管的实时数据接入服务。DIS提供了灵活数据采集、高效数据传输、实时数据分发能力,让使用者轻松构建基于实时数据的分析和应用。

• 实时流计算服务(CS)是实时流式大数据分析服务,完全托管计算资源和Serverless体验,即时执行作业,提供低延时高吞吐的智能流计算平台。

• 表格存储服务(CloudTable)是基于Apache HBase提供的分布式、可伸缩、全托管的NoSQL数据存储服务,提供了毫秒级的随机读写能力,适用于海量结构化数据、半结构化数据存储和查询应用。同时基于OpenTSDB和GeoMesa提供时序数据库能力和时空大数据查询、分析能力。

何达炳曾在微博上回应过AnilMenon:“谁来判断华为创新能力?应该是市场和客户。”目前华为云上已有诸多标杆客户使用“三剑客”服务对实时数据进行处理。某燃气集团,通过使用DIS,

CS和CloudTable构建了新的覆盖全国的巡线系统,将巡线实时监控系统端到端查询性能从十几秒降低到秒级以内。某金融初创企业,实时交易行情系统充分利用CloudTable内置的OpenTSDB能力,实时快速刷新15种时间窗的K线行情。某网络零售实时舆情系统,使用DIS接入数据的性价比远远超越线下自建系统,使用CS进行SQL编程轻松完成数据清洗。

互联网从蛮荒生长到深耕细作不过几年,伴随着市场的成熟,如何提供更好的服务、更快的数据决策,成为竞争的关键点。实时数据处理作为其中的一项关键技术,自然在业界中广泛流行。“借技术起势能”,最大限度地挖掘“热数据”的价值,成为各大企业的共识。

我们生活在一个不断瓦解的时代,不过这是一件好事。

行业会被颠覆,大公司会垮掉。

多少企业、投资人和创业者,未意识到新IT时代的到来,只顾在互联网+O2O的960万平方公里的大床上HIGH得如痴如醉时,千帆已过。

抓住实时数据处理这一浪。

转载于:https://www.cnblogs.com/chengxuyuanbrother/p/9399946.html


http://www.niftyadmin.cn/n/1621292.html

相关文章

文件与文件夹

文件 get executable path package mainimport ("fmt""os""path/filepath" )func main() {ex, err : os.Executable()if err ! nil {panic(err)}exPath : filepath.Dir(ex)fmt.Println(exPath) }文件夹 isdir func IsDir(fileAddr string) b…

linux服务器之间传输文件的方式

1. scp 【优点】简单方便,安全可靠;支持限速参数 【缺点】不支持排除目录 【用法】 scp就是secure copy,是用来进行远程文件拷贝的。数据传输使用 ssh,并且和ssh 使用相同的认证方式,提供相同的安全保证 。 命令格式…

golangci-lint

这里填写标题1. golangci-lint1.1. golangci-lint1.1.1. golangci-lint 使用1.1.2. 禁用 lint 检查1.1.2.1. 在配置里面禁用1.2. Linter1.2.1. 常用的 Linter 介绍1.3. golang lint 错误解决1.3.1. type assertion must be checked1.3.2. ST1017 – Don’t use Yoda conditions…

Spring系列之AOP分析之获取Advice的过程(四)

我们在前面的文章中分析了从切面类中获取Advisor的过程,我们最后创建的Advisor实例为:InstantiationModelAwarePointcutAdvisorImpl,它是一个Advisor和PointcutAdvisor的实现类,所以我们可以从这个类中获取Advice和Pointcut。从之…

一、zookeeper从入门到精通、基础原理及API使用介绍

目录 1.1分布式的概念和基础 一、zookeeper不适用的场景: 二、zookeeper面临了很多分布式系统带来的问题。 1.2、zookeeper架构 1.3、java API 的使用(demo): 1.1分布式的概念和基础 一、zookeeper不适用的场景: 整个ZooKeeper的服务器集群管理着…

SNMP 网络协议

这里填写标题1. SNMP 网络协议1.1. OID1.1.1. Who decides on the structure of SNMP OIDs1.2. MIB1.2.1. 华为1.2.1.1. Refrence1.3. SNMP Manager1.3.1. Vendors and Their Unique MIBs1.4. snmp-cmds 系列工具命令1.4.1. snmpget1.4.2. snmpgetsome: 这里我们可以传入一个 l…

io.netty.channel.DefaultChannelPipeline onUnhandledInboundException

九月 19, 2018 9:59:01 下午 io.netty.channel.DefaultChannelPipeline onUnhandledInboundException 警告: An exceptionCaught() event was fired, and it reached at the tail of the pipeline. It usually means the last handler in the pipeline did not handle the exce…

go mod vendor 如何使用

目录1. go vendor1.1. go mod vendor 如何使用1.2. vendor 里面的 package 要更新1.3. Update All Go Modules1.4. replace modules2. golang 使用 vendor 目录来管理依赖包2.1. Vendor 目录介绍2.2. 一些建议2.3. 举个例子2.4. 为什么用 vendor 目录2.5. 推荐2.5.1. Glide2.6.…