2024年6月7日发(作者：)

ODS原则规范

ODS目标 ............................................................................................................................... 2

ODS建设原则 ....................................................................................................................... 2

数据库规则........................................................................................................................... 3

3.1. ODS数据库用户 ........................................................................................................ 3

3.2. 数据访问规则 ........................................................................................................... 4

3.3. ODS表规则 ................................................................................................................ 4

3.4. 数据管理规范 ........................................................................................................... 6

源系统规则........................................................................................................................... 6

测试规则............................................................................................................................... 6

1.

2.

3.

4.

5.

1. ODS目标

成为平安证券的数据中心，集中包括经纪、资管、固收、客户管理，以至将来新增业务

等各业务条线的数据；

具备能力为各业务系统和报表工具提供证券公司所有业务当前（除当天实时数据外）的

全量数据、一年之内指定日期的全量数据、和一年之内发生的业务数据。

2. ODS建设原则

1) 所有跨系统的非实时数据交换必需通过ODS，其中包含同一个系统供应商的两个采用独

立数据库的系统；

2) 保存当前的全量业务数据和最近一年发生的业务变动数据，变动数据包含每天发生的交

易性数据和主表/参数表的维护数据；

3) 对于主表（包含持仓表）和参数表等类型数据表，在尽可能的情况下，采用由数据提供

者提供每天增量数据，在ODS组成全量数据，而避免每天传入全量数据，以大量减低

ODS储存数据量；

4) 一年之前的业务变动数据定时迁移到历史数据库，历史数据库可以考虑采用与ODS相

同的数据模型，以至提供相似的数据应用工具，只是硬件的处理能力比较低，需要处理

的时间比较长；

5) ODS数据储存分为主数据库和Staging两部分。主数据库使用Oracle按数据模型储存一

年内已经通过检查和清理的数据；

6) Staging是数据提供者/数据使用者和ODS主数据库之间的中转部分，按情况使用Oracle

或文本储存每天的源数据，数据格式与源系统提供的格式完全相同；

7) Staging也保留一段时间的历史数据，例如1到2个月数据，历史数据有两个用途：a、

主数据库的备份，在主数据库出现问题时可以使用Staging的数据重整主数据库；b、为

数据使用者提供近期的历史数据；

8) 在ODS主数据库和Staging，数据使用者只有阅读的权限。在Staging，数据提供者除拥

有阅读的权限外，也拥有对由它负责的数据表的更新权限，而数据提供者只拥有主数据

库的阅读权限。对于CIF2需要更新小部分的客户信息，在Staging设置一张新的数据表

储存CIF2，新的数据表只有CIF2拥有更新权限，由CIF2推送数据到ODS后，后再由

ODS更新主数据库的客户主表；

9) ODS按数据模型接收和储存业务系统已经完成处理的数据，ODS在储存和抽取数据时只

考虑数据逻辑而不考虑业务逻辑，不会根据业务逻辑产生新数据；

10) 数据提供者需要提供全量数据一致性检查方法，以保证ODS储存数据的一致性；

11) 数据提供者需要进行提供数据的质量检查，例如主键属性非空、日期的合法性检查等；

12) 数据提供者发出的新增数据必需符合无重复的原则，即针对数据模型定义的主键没有重

复的记录，否则新增的记录将视为替换已经存在的记录；

13) 极度敏感性数据，例如密码，除已取得特殊批准外，不应该保存在ODS。如果需要在

ODS保存，也需要加密/变形处理；

14) 尽管ODS可以支持使用ETL工具和直接使用SQL插入和抽取数据，但除特殊原因外，

必需使用ETL工具，原因包括：1、加强运行管理，避免太多任务同时并发，特别是多