数据管理DMP
基于自动化用户画像技术的私有化数据管理平台
产品功能
支持多方数据
系统支持结构化或半结构化的第一方数据(企业内部数据)、第二方数据以及第三方数据。第一方数据(企业内部数据)包括:订单数据、交易数据、产品使用日志、账户数据等多种不同类型数据。第二方数据包括:广告商数据、用户行为监测数据等数据。第三方数据包括:运营商数据、其他数据供应商数据等。
数据收集
数据收集模块提供收集数据的基本框架和工具,把外部数据导入/映射到系统内。支持接口导入,包括Restful导入API、Kafka实时接口;也支持Hive表/HDFS直接映射,能够极大提升数据导入速度、降低数据存储成本。
数据中心
数据收集完成的数据会在数据中心集中管理。数据中心能够可视化监控和管理数据,并实现对数据的富化操作和数据流程管理。数据中心是智子科技私有化DMP数据分析功能的基础。
特征计算
模块在原始数据基础上,通过抽取、加工和聚合等过程,形成描绘用户特征的指标。智子科技私有化DMP 能够根据元数据和数据分布(微结构),自动发现可以构造的特征,数据工程师可以直接选择并生成用户特征,能够极大节省数据工程师发现特征、编写特征程序的时间,提高项目执行效率。
标签计算
模块在特征基础上,把量化特征映射为标签,并加以分类管理。客户通过简单勾选的方式配置特征表达式即可设置标签。
人群计算
模块负责命名、存储和管理人群。“人群”实质上是一个预定义的标签组合,把标签层的数据映射到人群细分层。标签表达式支持逻辑操作AND、OR和NOT,方便管理员通过各种逻辑组合,形成细分人群。
人群服务
人群服务提供实时用户标签查询服务和主动推送服务,让各种应用系统基于用户标签和特征,开展各种应用。人群服务是DMP和外部系统集成的重要“转接环”。
统一用户标识(UM)
一个用户在多个数据源中可能有多个类型的ID,比如说,在Call Center中用户ID是手机号、在APP使用日志中是IMEI号、在Web浏览日志中是Cookie-ID等。此模块能够根据企业定制的规则自动识别用户ID之间的关系,以客户/访客为中心集成多方数据。通过此模块,定制算法无需关心如何集成多个ID。
数据重算
所有的数据导入到DMP系统的时候,都会被时钟记住。所以DMP系统支持将数据回拨到之前的任意时间点重新计算。这样可以避免特征重新计算时需要再次采集数据。
元数据管理
模块提供对DMP各层的数据实体的系统和语义层面的描述,形成整个数据资产的说明文档。元数据管理的目标是保持元数据的完整性和准确性,具体包括: 数据表定义、数据表关联、数据表物理位置等。
安全管理
此模块包括完整的账号管理、基于角色的权限认证体系以及完整的系统使用日志监控和管理。
数据应用支持
可以将人群计算结果直接输入到各类外部应用中,如数据仓库、BI系统、DSP系统、CRM系统、EDM工具、AI平台、WEB网站和移动APP的后台等。
产品特点
1.数据支持面广,信息保留完整
智子云私有化DMP支持有潜在价值的全数据管理。
1.数据支持面广,信息保留完整
智子云私有化DMP支持有潜在价值的全数据管理。
线下、线上,第一方、第二方、第三方, CRM系统、移动端APP的用户行为日志等。结构化or半结构化,均可以加入到DMP的数据计算流程中。智子云私有化DMP采用独有的以用户为中心的全数据自动集成机制,数据清理后的全表数据可以完整导入到DMP中。不限定数据表的格式,也不会强制转化到一个预设的统一的数据表结构,最大程度地保留了数据中蕴含的信息。一方面为逐步深入挖掘数据提供了强大的数据基础,另外一方面也提高了数据部门的工作效率。
2.多分辨率的用户信息分层
智子云私有化DMP的用户信息分为四层:原始数据、量化特征、标签化特征和人群细分层。
2.多分辨率的用户信息分层
智子云私有化DMP的用户信息分为四层:原始数据、量化特征、标签化特征和人群细分层。
多分辨率的用户信息分层为不同层次的应用预备了用户信息,帮助它们便捷地分析和使用用户数据。用户标签面下业务部门的日常的人群细分和洞察工作;各类算法和工具可以直接使用粒度更细的量化特征,减少信息损失。原始数据则为未来更多量化算法提供信息基础。
3.高效的自动标签化/特征化机制
智子云私有化DMP采用了独创的基于微结构的自动打标签/特征化机制。
3.高效的自动标签化/特征化机制
智子云私有化DMP采用了独创的基于微结构的自动打标签/特征化机制。
企业在导入数据后,只需安排具备业务知识的技术人员标注和配置就能完成大部分的用户标签化/特征化工作 ,无需开发和定制大量的ETL和数据计算程序。这大大缩短了项目实施周期,降低了平台成本。
4.数据加工流程图形化监控
智子云私有化DMP为数据加工流程提供了图形化的过程描述。
4.数据加工流程图形化监控
智子云DMP为数据加工流程提供了图形化的过程描述。
包括从原始数据到量化特征,从标签化特征到用户标签,从用户标签到细分人群。一方面能够简化平台管理人员的维护工作,另一方面也能够帮助数据使用者清晰地了解用户信息的加工过程,正确使用平台提供的用户信息。
5.数据计算框架集成统一用户标识
统一用户标识功能根据规则自动关联各类用户ID,统一用户编号。
5.数据计算框架集成统一用户标识
统一用户标识功能根据规则自动关联各类用户ID,统一用户编号。
智子云私有化DMP的数据计算框架集成了统一用户标识功能。数据计算流程变得简洁,定制也更加方便,无需考虑繁琐的用户ID关联和统一编号。
6.支持私有化部属和定制
智子云私有化DMP支持私有化部署和定制。
6.支持私有化部属和定制
智子云私有化DMP支持私有化部署和定制。
企业可以完全控制整个平台的管理和安全控制。也可以根据企业的需求,灵活定制DMP的功能模块。
7.一键式数据重算功能
智子云私有化DMP支持各类特征、标签和人群的一键式重新计算,轻松实现历史数据的回溯计算。
7.一键式数据重算功能
智子云私有化DMP支持各类特征、标签和人群的一键式重新计算,轻松实现历史数据的回溯计算。
大数据应用往往是在不断尝试和验证的过程中成熟起来的,特征/指标/标签会频繁发生变动。如何重新快速从历史数据中重新计算这些特征/指标/标签成了技术瓶颈。