针对吉林油田上述实际需求，黄金城科技通过自主研发的数据支撑平台实现数据清洗、转换、同步和加载工作。该平台通过对业务系统数据进行标准化，向数据仓库或大数据平台提供高质量数据，支持异构数据迁移、基于数据库日志的数据实时复制、ETL开发、分布式处理等功能。具体如下：
数据清洗人物配置管理�？�
清洗模块是整个清洗工具的控制中心，实现清洗数据源的连接信息、清洗表的设置，并且记录清洗信息。
清洗规则管理�？�
包含各类清洗算法的运行参数、数据质量指标等，如重复记录清洗算法的阈值、异常值检测的标准、基于业务规则的清洗算法的业务逻辑等。
清洗算法管理�？�
对重复数据检测算法、不完整数据检测算法和字段匹配算法、异常值检测算法等进行灵活定义和配置。
扩展�？楣芾�
通过扩展�？樵市硐蚴萸逑垂ぞ咧屑尤胪耆ㄖ苹那逑捶椒ê土鞒蹋涸鸾嘁牒玫睦┱骨逑捶椒懊枋鲂畔⒈４娴嚼┱鼓？榕渲弥�，清洗任务可以灵活的选择相应的扩展清洗方法。
清洗日志管理
实现清洗动作的可追溯性，清洗任务会自动保存到清洗日志表中，不能自动清洗的为异常。通过清洗日志管理�？榭梢远郧逑慈挝窠胁檠�，并对异常数据进行手工处理。
算法和规则配置管理
通过选择不同的清洗方法和规则实现数据清洗的需求。算法库管理：通过配置管理界面，将已实现算法编译后的类加载到算法库，并在算法库中维护算法的描述信息便于以后的配置管理；规则库管理：工具中的清洗规则都维护在系统规则表中，将规则代码和规则相对应管理。
扩展清洗�？�
增强数据清洗工具和数据类型的灵活性，在满足扩展模块接口的前提下，定制数据清洗流程进行数据清洗工作。
黄金城官网测评
系统上线前开展代码黄金城官网测评，并出具第三方测评机构出具评测报告。
浙公网安备 33010502006954号
浙ICP备12021012号-1
