神策数据作为一家成立近6年的大数据分析和营销科技服务提供商,目前已服务了1500+家付费客户,覆盖30多个细分行业。在大数据这条路上,我们希望能有更多志同道合的伙伴加入,和我们一起做有趣又有意义的事。应读者之邀,本文将为大家介绍神策产品研发团队的构成、工作内容以及他们在工作过程中面临的挑战及最终解决方案等。
相比较创业之初,目前整个产品研发团队的规模越来越大,分工也越来越明确。神策的产品研发团队分为数据治理、数据仓库、神策分析云、神策营销云、基础平台化、用户画像、闪电报表、内容管理、机器学习、产品、技术服务、质量保障等不同的方向,接下来将展开介绍。
1.数据治理团队
数据治理是所有数据应用的基础和根基,其好坏直接影响所有数据应用是否有价值。同时,数据治理也是一个组织进行数据资产沉淀的基础,也直接决定了一个组织的数据资产能否得到有效的沉淀,以及在后续数据应用时,能否充分地发挥数据本身价值。正因为如此,我们对于数据治理投入了很大的精力,专门成立了数据治理团队,数据治理团队对数据接入、数据源管理、数据质量、数据清洗和ID-Mapping方面都提供了标准的产品和解决方案。通过数据治理,我们可以最大限度地帮助企业确保数据的可用性、完整性和安全性;通过数据治理,我们可以帮助企业更早、更及时、更高效地发现埋点问题和数据问题,确保后续的数据应用的正确性和有价值。
数据治理团队主要解决在不同环境下以最高的效率、最低的代价治理数据的问题。目前由于处理的主要是用户行为数据,因此数据治理团队目前主要在Android App、iOS App、小程序、网页等客户端以及服务端提供具体的方案治理用户行为相关的数据。数据治理团队提供的方案会以各个端的SDK为载体,SDK提供了对数据的本地缓存、加密、网络传输、一致性保证等能力的封装,并对外提供统一的数据抓取接口。而在几个典型的客户端,如Android App和iOS App,数据治理团队还提供了统称为“代码埋点”和“全埋点”的两种集成方式。
“代码埋点”可以理解为直接调用SDK提供的数据抓取接口来采集用户行为,而“全埋点”则可以理解为在客户端用户进行特定动作时,自动触发SDK的数据抓取接口来自动采集对应的用户行为。值得一提的是,数据治理团队的工作基本都以开源项目的形式对外开放,回馈给整个行业。
除了开发与维护SDK之外,数据治理团队还需要结合客户的具体应用情况与行业特性,为客户制订整体的数据采集方案,并且协助客户一起保证数据采集的正确性与时效性。当然,除了针对用户行为数据的治理之外,随着神策数据整体业务范围的扩大,未来数据治理团队也需要探索更多其它类型数据的治理方案。目前,数据治理团队已经在数据治理的性能损耗、数据传输的一致性、接口的易用性、SDK的稳定性、全埋点的兼容性、数据调试与校验、与Deeplink的结合等具体技术点上做了非常多的工作,我们期待能有更多在Android、iOS、Javascript底层开发方面有经验,并且对数据采集、大数据感兴趣的伙伴加入我们,一起打造一个行业内首屈一指的数据治理方案。
2.数仓团队
神策数据提供了多种多样的数据分析、智能营销等功能,而驱动这些功能运行在海量数据上的底层处理能力是由神策数据仓库赋予的。神策数仓是神策基础数据模型(Event、User、Item)的数据仓库实现,对外提供了数据导入、查询和订阅等接口。我们的很多客户PV都超过百亿,所以这里每个功能都涉及海量数据的处理。
数仓团队在数据导入能力上解决了一系列问题,实现了突破性的优化。例如:如何在高吞吐量的要求下,做到秒级的数据入库可查询;如何准实时的响应对历史用户行为事件的更新修改;如何对数据进行预处理和组织存储使查询引擎更高效的运行,达成查询性能的行业领先;在接入多种用户标识的数据后,如何通过ID-Mapping将这些数据关联使用。
对于查询和订阅能力,数仓团队则主要是解决数据使用上的问题。数仓面对神策内多个业务线,查询功能通过SQL覆盖各种聚合结果的场景;而订阅则提供了外部获取数仓内所有变更记录的能力,给基于实时用户行为数据处理的场景提供了高效支撑。我们欢迎所有对于大数据处理、分布式处理有兴趣,或者有一定Java开发经验的伙伴加入我们,一起面对更大规模、更高时效性、更复杂的应用场景中的数据处理问题,一同打造神策大数据平台的数据处理发动机。
3.神策分析云团队
神策分析云团队主要解决从明细数据表到分析模型的构建,再到业务场景的抽象、指标的管理和数据可视化的全过程。在这个过程中我们打造出了用户行为分析、用户画像、广告效果分析、闪电数据报表等多款极具竞争力的数据分析和可视化类产品。围绕上述数据处理的过程和各个产品的构建,我们提出了神策分析云的概念,我们希望神策分析云作为神策的核心产品方向之一,能够承载更多的数据分析类产品,解决更多的数据分析场景和问题,提供更灵活和更强大的数据分析和数据可视化能力。
我们希望能够把神策分析云打造成神策数据的“航空母舰”,可以承载各种各样的数据分析“战机”的起飞和降落,例如:
(1)在抽象和构建实时的多维分析模型方面
我们依托于神策底层大数据平台的数据存储和查询能力,抽象出了自己的核心数据模型和数据分析引擎,面对越来越多的新需求,我们希望有更多的对多维数据分析、分布式应用开发、OLAP分析引擎等感兴趣的伙伴加入我们。
(2)在解决复杂的业务依赖和平台化抽象方面
神策分析云希望打造的是一个可插拔式的数据分析平台,而不是单纯的业务功能的堆积。随着业务的逐渐复杂,我们也在不断抽象自己的核心平台能力。未来,我们希望神策分析云由一系列的核心平台能力和应用插件组合而成,我们也希望更多的对服务化改造、微服务系统设计、DDD领域设计等方面感兴趣的伙伴加入我们。
(3)在打造复杂的前端应用和数据可视化能力方面
神策分析云前端是由微前端架构组成的各个复杂的数据分析和可视化组件,如何将数据的价值以可视化的能力直观地传递给使用方是我们认为很有价值的工作。我们自研或基于开源组件抽象设计了一系列自己的公共分析组件,同时也在产品线矩阵内推动各个应用组件的统一。我们也希望有更多对数据可视化感兴趣的前端开发伙伴加入我们,一起完成这个极具挑战也极具价值的工作。
4.神策营销云团队
神策数据已经从单一产品向多产品演变。早期我们主要聚焦在数据的分析,现在我们更关注数据的应用,进而帮助客户实现基于数据流的企业运营框架SDAF,即Sense(感知)Decision(决策)Action(行动)Feedback(反馈),神策营销云团队在这样的背景下应运而生。
神策营销云团队,致力于为客户提供丰富的数据营销解决方案。营销的本质,大致是将物料以某些合适的规则,触达给最合适的人,从而产生最高的商业价值。我们输出的产品,可以让客户智能化的圈人,高效的配置触发规则,当然我们也支持全方位的触达方式和效果追踪。
目前我们已经提供了运营计划、流程画布、微信生态解决方案、规则推荐、智能推荐等产品。我们支持私有化部署,也支持SaaS多租户方案,为了支持海量的行业化需求,我们也重点在平台化方向上布局。未来,我们除了将这些产品的细节进行夯实以外,也会在智能化方向上深钻,持续地想客户所想,解客户所需。我们长期需要大量经验丰富的前后端架构师、开发工程师。欢迎推荐或自荐,让我们一起来打造世界领先的数据营销产品。
5.基础平台化团队
虽然神策与大部分SaaS公司的商业模式相似,都是以按年收取产品和服务费用为主,但与大部分SaaS公司不同的是,出于对数据隐私、数据安全性、数据的充分应用等方面的考虑,神策数据在第一个产品的第一个版本就具有私有化部署的能力。而随着这几年我们的客户规模进一步扩大,大部分客户也的确如我们所预料选择了私有化部署模式,私有化部署能力也客观上成为我们的一大杀手锏。
这几年里,我们也注意到市场上的不少友商也先后尝试私有化部署,最终很多都放弃了,这也说明私有化部署相对于SaaS服务具有自己的独特技术难题。我们拥有自己的SaaS服务,不过与传统的SaaS服务不同,神策的SaaS服务既可以私有化部署,也可以做到私有化和SaaS环境云上云下无缝衔接。神策的基础平台化团队致力于解决上述类型问题,其主要工作包括兼容市面上各种不同的Hadoop发行版;解决全场景下的多应用多云环境的部署、升级、服务治理、监控等功能需求。我们欢迎在容器化及云原生方面有经验,或对私有化部署有兴趣的伙伴加入我们,一起在这方面进行更加深入的探索。
6.用户画像团队
不管是在营销领域还是经营分析领域,“用户”都是经营者关注的重点。基于详尽的用户行为数据,生成用户标签,完成对用户的刻画与画像,是一个广泛存在并且非常有意义的应用场景。也因为此,我们将用户标签、用户画像、人群筛选等相关的工作单独抽象成一个具体的技术方向。
用户画像团队主要负责用户画像平台的建设,其中包括标签体系的创建、计算、管理,用户维度的分析、报表,人群包的筛选、推送等功能。另外,我们还和数据分析师、行业专家一起,抽象银行、券商、零售等各行业对于人群刻画、用户画像方面的需求,与机器学习团队一起选择合适的算法,完成对人群的分类与预测等。我们欢迎对于用户画像有兴趣,或者有分布式数据应用经验的伙伴加入这个团队,一起探索用户画像与用户标签在各个不同行业的落地与应用。
7.闪电报表团队
闪电报表是神策分析的一个数据可视化功能。它适用于创建定时更新的报表,是一个轻量级的BI功能。利用这个功能出来的报表,可以自由地调整可视化的样式、添加可交互的筛选项、形成模板化自动化的汇报报表,提高日常处理数据的效率。相比起定位于实时分析的“概览”,它能够支持更复杂的指标,更快的加载速度,更灵活的可视化配置,能有效帮助客户展示分析结果。
另外,报表与多维查询,都是非常直观、有价值的数据应用方式。而对这一类数据应用类型来说,如何让查出来的数据,以图形化手段,更加清晰和有效地将信息传达给数据的使用者,就是一个非常有意义的话题。具体到实际的工作中,闪电报表团队需要从头研发或者基于开源组件,完成各个分析模型分析结果的图表化展示,以直观便捷的方式让使用者能够与数据进行交互,方便地完成数据的钻取与筛选。我们非常欢迎对报表数据可视化感兴趣,有一定前端和后端开发经验的伙伴加入这个团队,一起开发一个极速、美观与易用性一体的报表可视化产品。
8.内容管理团队
内容管理是神策所提供的一站式的内容、创作以及分发的平台,它包括内容管理与物品管理。在这个平台上,我们提供标准的API来同步第三方的素材以及物品数据,另外我们还提供了强大的图片、图文、视频、音频等素材的创作能力与标签能力。内容管理除了强大的创作能力之外,还能将内容管理与物品管理提供给神策营销云使用,从而完成整体的营销闭环。
以上是内容管理团队的简单介绍,在技术上我们需要有能整体在平台架构能力上考虑的后端伙伴,也需要有对图片编辑、视频编辑、音频编辑、H5编辑有开发经验的前端伙伴,欢迎大家加入这个团队,一起来打造这个一站式的内容管理平台。
9.机器学习团队
大数据与机器学习,在很多应用场景上是一体两面。除了神策智能推荐这样一个一听名字就知道用到了机器学习技术的个性化推荐产品以外,在神策分析、标签和智能运营等产品中,机器学习技术也广泛得到了应用。例如,在神策分析中,我们需要用到机器学习技术来预测流量趋势,当数据发生异常时,自动发现异常主要体现在哪些维度上,或是找到某个特定流程中完成了转化和未完成转化的两类典型客户群体,在用户属性和行为上有什么差异。在神策标签和智能运营产品中,机器学习技术也被广泛用于对用户的精准识别、预测和运营。也正因为如此,神策的机器学习团队除了继续开发、交付神策智能推荐产品之外,还需要和其他团队的伙伴一起合作,探索机器学习技术在其他几个数据产品中的落地可能性等。
机器学习团队内部分为算法与策略工程化两个技术方向,算法方向的伙伴会更专注于算法本身的选择、开发与调优,而策略工程化方向的伙伴则会更专注于算法的工程化、数据流的开发,服务的稳定性等。我们非常欢迎对机器学习有兴趣,愿意在真实的海量数据环境下验证算法的实际效果的伙伴加入我们,一起来探索数据除了分析报表以外,还能有哪些更智能的、更有趣的应用。
10.产品团队
正如字面意义上所说,产品团队主要负责产品相关的各项工作。在神策内部,产品经理与产品设计师属于同一个大团队,下面来依次介绍这两个职位的工作职责与使命。
(1)产品经理团队
作为一个企业服务类型的公司,神策的产品经理与普遍意义上的用户产品的产品经理在职责和内容上,有许多相似但又不同的地方。相似的地方在于,都需要负责整个产品开发生命周期中各个阶段的工作,从最开始的需求收集、需求梳理,到产品开发过程中的功能点定义、原型设计、功能验收,再到上线后的数据分析,产品经理的工作贯穿整个需求的生命周期,始终围绕“用户→场景”探索、验证、交付产品功能。毕竟,本质上产品经理就是调集公司内部各种资源,将解决方案变为实际产品,输出给用户或客户并最终解决问题的人。
但与用户产品不同的是,作为一个企业服务的公司,神策的产品经理更关注需求从产生、设计、交付再到验证的整个闭环,同时也承担衔接售前获客、为业务团队赋能的特有职责。另外,企业服务类产品的部分需求直接来源于客户和潜在客户的真实需求,会比用户产品更加直接,既要求能深入理解客户的业务,也要求能跳出来对场景进行抽象;而对于产品的评价反馈,不同于用户产品一般难以衡量用户口碑,企业服务类产品有最核心的指标,即客户是否愿意付费,是否愿意续约。与此同时,对于一个企业服务类产品来说,核心问题还是要能够解决客户业务中的实际问题,这一点在某种意义上会比产品是否美观,使用是否流畅更为重要。
这些不同点,都让神策的产品经理与普遍意义的用户产品产品经理有不同的要求,需要直接跟客户沟通,理解不同行业不同阶段的公司的多角色需求,并且在有限的沟通里对需求有很好的理解、把握和抽象,充分做好需求的产品化解决方案,而不是局限于项目的解决方式。我们非常欢迎有过企业服务类产品工作经验,或者在用户产品领域有充分经验想尝试企业服务类产品,且愿意走出办公室真正地与客户沟通理解客户需求的伙伴,加入产品经理团队,以数据为中心,一起做出好用的产品去实际解决客户的问题,探索新的业务边界。
(2)产品设计团队
产品设计团队的工作也是围绕着如何让产品更好地发挥价值而来。如果进一步拆分的话,可以认为产品设计团队有两个核心的职责和使命,一个是如何让产品更好用,另一个则是如何让数据中蕴含的价值更容易被发现。第一个职责与使命,是围绕着创造优秀的用户体验,化繁为简。
对于神策的产品设计师,不止关注于产品的使用场景,设计更好的操作流程和呈现,更需要考虑服务体验,即服务过程中包括客户侧、神策内部各个相关使用者的体验、成本。在我们产品设计师眼中,产品的每个交互、服务中的每个“触点”,都可以被设计和衡量,为客户带来具象且好用的体验感。第二个职责与使命,是围绕通过可视化的手段,让数据表达更丰富、更能驱动商业智能的信息。这需要和数据可视化团队紧密配合,去创造性地针对不同的分析模型、数据结果寻找最好的数据展现方式,综合运用各种可视化方法,让数据的解读更加便捷,让信息呈现更加直观有效,从而发挥数据更大的价值。
我们非常欢迎有数据可视化或者企业服务产品设计经验,且对大数据有热情的伙伴加入我们,通过产品设计让客户更好地发掘数据中蕴含的价值,一起打造流畅好用的数据产品,一起设计和创造顶级的体验与价值。
11.技术服务团队
技术服务团队是为客户提供专业服务的团队,对客户在使用神策产品过程中遇到的各类问题给予专业指导,帮助客户通过神策产品和方法论真正解决问题。技术支持团队负责解决客户的产品使用问题,指导客户更好的使用神策产品;运维团队负责解决神策产品的服务稳定性和高可用问题(没错,私有部署的商业模式使得我们需要解决客户侧的服务稳定性和高可用,很少有公司会面临这样的挑战,因此我们也有机会在这个领域做到世界一流的水平);内部效能团队负责为各个业务团队提供技术能力,将有效的方法论和经验固化为工具,不断赋能业务团队,进而更好的给客户带来价值。
技术能力和沟通能力仅仅是这个团队的基本技能,私有部署的挑战、数据分析的方法论和高效工作方法才是这个团队的使命愿景和核心竞争力,欢迎对此感兴趣和希望在这些领域有所收获的伙伴加入技术服务部。
12.质量保障团队
产品质量(QA)作为产品竞争力的核心指标之一,一直是产研团队乃至全公司都非常重视的环节。为了提升产品质量,公司非常重视质量保障团队的建设。团队自2019年成立以来,已经逐渐发展为多业务线多角色,职责涵盖产品测试、产品发布、工程效能、流程优化、问题处理等一系列工作。目前团队分布在北京、成都和武汉等各个研发中心。
在产品的迭代的过程中,QA作为产品质量保障的的核心环节,积极参与到整个研发迭代过程中,需求评审、技术评审、用例编写、用例评审、测试执行、产品验收、发布上线、项目复盘等重要环节都能够看到QA同事的身影,我们与其他产研同事一起,制定各项流程规范,并确保流程规范能够严格执行;我们积极参与各种评审工作,给出建设性的合理建议;我们设计高覆盖率的测试用例,并通过执行用例发现产品缺陷;我们积极参与代码管控,收拢代码分支权限和打包权限,严格保证产品交付质量;我们在业务团队内紧密协作,同步各方信息完成产品发布工作;我们积极与交付团队、技术支持团队配合,推动研发高效解决线上问题;我们也与项目交付团队保持密切配合,完成产品稳定性和安全性的评估。
除了产品质量之外,QA团队积极参与到产研提效工作中,测试开发同事会推动工具和平台化工作,通过使用工具来提升产品迭代和测试的效率,我们也会通过技术和非技术手动不断支持兄弟团队解决产研配合过程中的各种问题。质量保障团队是支撑型团队,我们不为自己设置工作边界,只要我们具备能力,我们愿意积极参与各项工作中。以上为神策数据产品研发团队的简单介绍,谨以此文章,献给对大数据和数据分析感兴趣,或在求职路上摇摆不定,或渴望加入神策却不知突破点的有志之士们,希望对你们有所帮助!
关于神策
神策数据(Sensors Data),隶属于神策网络科技(北京)有限公司,是一家大数据分析和营销科技服务提供商,为客户提供深度用户行为分析平台,以及专业的咨询服务和行业解决方案,致力于帮助客户实现数据驱动。
神策数据立足大数据及用户行为分析的技术与实践前沿,业务现已覆盖以互联网、品牌零售、金融、融合媒体、高科技、互联网+等为代表的30多个主要行业。