米鼠商城

多快好省,买软件就上米鼠网

最新项目

人才服务

靠谱的IT人才垂直招聘平台

数栈人:从青铜到星耀,10年大数据人的奋战晋级之路

  • xx
  • 8
  • 2021-05-07 18:31

今天,大家就请跟着数栈君一起,和申杭聊聊他从青铜到星耀的大数据之路。

数栈君:申杭,你是07年从华中科技大学软件工程专业毕业的,能说说你当时为什么选择这个专业吗?

申杭:当时会计、师范、机械制造、土木类专业比较热门,一般家人都会让报这些专业,出来好就业。而电子、计算机、软件工程类的专业刚刚兴起,前景并不是很明朗,不过我那时对计算机还是挺好奇的,觉得电脑上开几个黑窗口,随便敲一堆英文字母,就可以做很多事情,很神奇,当看到软件这个名字,感觉很高端、神秘,所以就报了软件工程专业。说起来,我是华科软件专业第二届的学生,算是较早入计算机坑的人。

骚粉的杭哥

数栈君:那现在很多软件工程师估计都得叫你一声前辈了。你有10多年大数据经验,可以说很资深了,几乎见证了中国大数据行业的诞生和发展。能给大家讲一下你的工作经历吗?

申杭:这些经历要说起来,能讲三天三夜,不过今天就长话短说吧。

倔强青铜: 初入数据工程师的世界

2007年毕业时, 商业智能(BI)在中国发展势头正猛,我的第一份工作就是在四大管理咨询公司,行业所称“四大”之一的上海埃森哲做BI顾问。期间,负责给平安保险、某外资银行做数据仓库的模型设计和开发,BI报表的开发等工作。

当时有能力和意愿建设数据仓库的企业还不多,率先进行数据仓库建设的主要是保险、银行、证券、电信等一些大型企业。主要是由于这些企业本身的IT系统建设已经比较成熟和完善,并且已经积累了大量的业务数据,对数据的分析,挖掘诉求也比较强烈。

当时,“大数据” 、“数据中台” 、“数据平台”等概念还没诞生,那时业内主流叫法是 “数据仓库(DW)”,但数据仓库相关的技术很多都还没有成熟、体系化,在服务这些保险、银行、电信企业时,也碰过很多问题,尤其是刚毕业,技术水平和对业务的理解基本是从零开始,一路跌跌撞撞,摸爬滚打,才逐步入门。

在埃森哲工作的一年半里,我积累了很多数据咨询、数据模型设计、数仓开发等方面的经验,为后续一直从事大数据行业,打下比较好的基础。

秩序白银: 从0到1搭建完整、成熟的数据平台

当时国内一些比较成熟的零售、制造企业,随着ERP、CRM、WMS等IT系统的逐步上线和大规模使用,已经积累了大量的数据,但系统间的数据打通、交叉分析,面临比较大的困难,所以这些企业开始尝试进行 企业级数据仓库的建设,解决数据孤岛问题,充分挖掘已有的数据价值,辅助业务决策。

基于这个需求和发展趋势,2008年底,我选择加入了国内服装行业领头企业美特斯邦威。

2008年底-2013年年初,这4年多时间里,我见证了美邦企业级数据仓库从0到1的建设、再到大规模应用的全过程。

2013年3月,离开美邦的时候,我们建设的数据仓库已经全面应用到企划、生产、物流、零售、财务、人力等各个核心部门, 每天有几百号人都使用我们建设的系统查看数据,并利用数据来进行业务决策,可以说是一个很成功的平台了。

连升三段直跃钻石:经历了大数据行业的火箭式上升

2013年是移动互联网爆发的年份,国内以BAT为代表的互联网企业都在争夺移动互联网的船票,各类APP井喷,大数据的概念兴起。当时已是PC端电商霸主的阿里正积极布局移动端,在此过程中积累了海量的数据,为了充分挖掘这些数据的价值,需要大量的大数据人才,当时猎头联系到了我,建议我去阿里试试。

于是 2013年4月,我加入了阿里,入职无线事业部,跟着江枫(现袋鼠云COO)一起做 无线数据分析产品,类似现在的友盟, GrowingIO等。我们当时主要负责为阿里集团绝大部分的APP(例如淘宝、天猫、聚划算等)提供行为数据埋点规范和采集SDK,并把APP上用户的的浏览、点击、分享等数据采集过来做处理、分析, 构建集团级无线数据体系,并通过标准化、产品化的方式提供给运营、分析师、PD等使用。

在此期间,我感受比较深的地方是,传统行业的ERP、CRM、WMS等系统存储的数据,一般单表记录数有几千万、过亿已经算量很大了。但是在阿里,仅仅从移动端采集到的数据, 每天增量就有2-3千亿条,如果到双11、双12这种电商大促的日子,数据量相比平常还会有几倍的提升, 达到5-6千亿的峰值

同时在数据应用上,以前做大数据的成果以BI分析报表为主,用来辅助决策。而在互联网企业,数据对业务的价值大大拓展和强化了,能直接和业务结合,甚至产生一个新的数据驱动的业务,例如阿里的搜索、广告、千人千面以及蚂蚁的芝麻信用分、花呗、借呗等,都是跟数据紧密相关的业务。

所以对于这种体量和规模的数据,我们面临了各种考验,每天都在绞尽脑汁地思考怎样设计出更合理的数据模型,优化计算任务,在消耗更少资源的同时保证数据的快速产出和分析,及时正确地生成数据报表和分析结果给业务部门使用。

2014年底,我们团队组织架构调整到了 阿里云飞天一部,负责对外输出移动数据分析产品,由于当时我们给阿里集团内部APP开发的无线数据分析产品已经非常成熟,所以集团决定将这些技术进行产品化封装, 对外提供统一数据采集、分析和数据服务,帮助外部企业更好地采集、计算、分析、应用自身数据,提高企业的移动端流量运营、业务决策效率。

在阿里三年多的这段时光算是比较难忘的一段经历,可以说是痛并快乐着吧。移动数据每天增量都有2-3千亿条,计算量特别庞大,然后还得保证及时、准确地产出数据,每天都像在打仗一样,压力也比较大,死了不少脑细胞。

不过也正是这些经历历炼了我们,做出来的平台不仅能很好服务阿里内部业务部门,也能很好地输出和赋能更多外部企业。

至尊星耀:艰苦、激情与成就的三重奏

2016年7月份离开了阿里云,主要原因是:

第一:当时大数据企业级服务还处在起步阶段,特别是阿里云数加平台的对外发布,我发现大数据企业市场的前景非常广阔,也想利用自己多年来的大数据经验,为更多的企业服务,让企业数据产生业务价值。

第二:当时拖雷、江枫已经出来创立了袋鼠云,受到了他们创业梦想和大数据梦想的感召,也想做出一番事业,所以就加入了袋鼠云,从此走上创业的“不归路”。

数栈君:你以前一直是做技术专家,为什么来袋鼠云之后要转行做产品呢?

申杭:沉浸大数据行业十几年,亲眼见证了大数据行业的各个发展阶段,从最早的 关系型数据库(例如Oracle,SqlServer),再到 MPP数据库(例如Greenplum,Teradata),再到现在的 分布式数据库(例如Hadoop,Spark,Flink),对大数据技术了解比较深和广泛。

同时我也有甲方、乙方,传统企业、互联网企业的不同工作经验,对不同类型企业的大数据使用的情况、诉求、痛点也已经有了比较深刻的理解。

所以决定从开发转型做产品,希望能把自己这些年的经验沉淀,抽象成产品,让更多的企业能更便捷地享受大数据带来的价值。

数栈君:能和我们讲讲你为什么要做数栈这个产品呢?

申杭:进入袋鼠云初期,接手了江西公安、贵州交警等几个大的数据中台项目,接触了不少客户,在服务客户的过程中,发现了企业的一些痛点,其中有很多可以优化和提升的地方:

第一:以前一直做技术,主要是从技术角度去思考数据的逻辑、设计大数据架构,但是企业做大数据的目的是为了提升业务价值。所以我们需要转变思维, 多从业务角度思考怎么通过数据赋能业务,怎么通过最小化的投入实现最大化的价值。

第二:不同的企业,数据中台需求多变、复杂,如果给每个客户都提供个性化,定制化数据服务,则实施周期长、效率低、见效慢、管理难。为了解决这些问题, 需要一个成熟、稳定、高效的平台来支撑企业数据中台的快速落地。

第三:经过调查,我们发现,市场上华为、星环、Cloudera等企业的大数据平台产品虽然有很强的数据处理能力,专注于Hadoop集群的部署、安装、运维等工作,但是 基于集群之上的数据开发、数据管理、数据治理的能力还没有很好地实现体系化、系统化、产品化。对企业来说,建立数据中台体系,门槛还是较高。

所以我们决定研发一个能覆盖数据采集、数据处理、数据挖掘、任务调度、任务运维、数据质量、数据地图、数据模型、数据共享服务等全链路场景,充分满足企业建设数据中台过程中多样复杂需求的平台。

经历将近大半年的日夜奋战,袋鼠云一站式数据开发平台—— 诞生了。

在接下来的2年半时间里,我们持续进行产品研发、迭代,目前产品体系已经非常成熟, 在商业化不到一年的时间,数栈已经服务了几十个客户,帮助这些企业在很短的时间内完成了数据中台的搭建、实施落地

申杭代表袋鼠云发表演讲

数栈君:数栈上市后,客户对数栈有哪些评价呢?

申杭:客户对我们产品的价值、定位还是很认同的:

第一,产品很 轻量,最小仅需5台虚拟机就可以部署,对需要建设数据中台的中小企业来说是一个福音;

第二兼容性很强,可以无缝对接Cloudera CDH、Hortonworks HDP、华为Fusion Insight等主流的商用大数据平台,能很好的和企业已有的数据平台做结合,避免重复建设。

第三敏捷灵活,平台用起来比较便捷、一天就能上手。以前在进行大数据开发时,需要找各种各样的工具,进行复杂的配置。现在通过数栈,只需要在界面上进行拖拽式、向导式的操作,就可以完成数据中台的建设。 开发门槛大大降低,相比以前,大数据开发、管理、治理效率都至少提升 50%以上。

第四:产品服务好,我们提供基于数栈产品的 定制化服务,能和企业已有的系统,流程进行对接,满足不同企业的个性化需求。

未来的王者:王者之巅就在不远处

数栈君:关于数栈的未来,你有什么想法和方向上的规划?

申杭:在产品上,后续我们想研发数据资产运营和数据应用等通用型、行业型产品,逐渐 实现从PaaS到SaaS的过渡,从数据平台到数据应用的纵向延伸。

比如针对新零售行业,我们可以在数栈产品里面内置零售行业数据模型,通过简单的修改,就可以适用不同的零售企业。同时也可以提供智能标签、用户画像、精准营销等产品,让数据能直接赋能业务,实现数据的变现,数据价值的最大化。

创业之路任重而道远,公司目前在大数据领域已经站稳脚跟,我相信属于数栈的未来前景无限广阔。

数栈团队合照

数栈君:现在正值毕业季,你对刚入行的开发同学们有什么建议吗?

申杭:一,随着大数据技术平台的发展,功能越来越丰富,未来大数据开发的门槛会越来越低,新入行的同学在 打好大数据技术基础的同时,也要 加强对行业业务和数据的理解,并把这些理解融入到数据中台模型设计中去,这样设计出来的模型,才能具备比较强的可迭代性、维护性、健壮性。未来也会有助于个人实现从大数据开发角色到数据模型师,数据架构师的转变。

二,现在机器学习、深度学习、物联网、5G等很火,这些也是和大数据紧密相关的领域,新同学们也需要 关注这些最新的行业动态,时刻紧跟大数据行业发展的潮流。



这里给大家推荐一个在线软件复杂项交易平台:米鼠网 https://www.misuland.com

米鼠网自成立以来一直专注于从事软件项目人才招聘软件商城等,始终秉承“专业的服务,易用的产品”的经营理念,以“提供高品质的服务、满足客户的需求、携手共创双赢”为企业目标,为中国境内企业提供国际化、专业化、个性化、的软件项目解决方案,我司拥有一流的项目经理团队,具备过硬的软件项目设计和实施能力,为全国不同行业客户提供优质的产品和服务,得到了客户的广泛赞誉。



如有侵权请联系邮箱(service@misuland.com)

猜你喜欢

评论留言