Redshift 数仓治理与挖掘（redshift-cluster-yl / dev，AWS 宁夏）

依据交接文档、治理挖掘方案与参考工作簿，对生产数仓做只读实测：目录与消费方 → 过程血缘 → 成本感知画像 → 冗余清退 → ontoos 交叉核对。所有数字可在工作簿 29_查询清单与 evidence/ 复现。

一、结论摘要

总存储（RA3 托管存储）

21.85TB

dev.public · 3 节点 × 2 slice

物理表

5,738

有数据 4,130 · 空壳 1,608

存储过程

1,081

plpgsql · 797 个 sp_psa_

活跃账号 / 账号

20/ 45

7 天连接日志

可清退候选

590.0GB

842 张 · 三重证据

超级用户服务账号

biplatform · 4 位点共用

BI 报表账号可写表

5,727

quickbireport · report_group

bi-sync 同步目标表

372

8,170.4 GB · DMS 任务表实查

家底核实一致：表 5,738（有数据 4,130，空壳 1,608），21.85 TB / 1626.0 亿行；但"薄建模"要修正——建模逻辑在 1,081 个存储过程里（797 个 sp_psa_ 做 CDC 合并），另有 179 个自动物化视图。
仓的运转方式已还原：Kafka/消息总线 → bi-sync 服务缓存到 S3 → COPY 进 _ty_kafka 中转表 → sp_psa_* 合并进贴源表 → sp_report/sp_m 派生；过程之间没有任何 CALL，调度在外部 DolphinScheduler（Python 任务，峰值 00:00）。
bi-sync 的写入面已闭合：DMS 任务表 392 个任务 → 372 张目标表（8,170.4 GB），与 Redshift 表名 100% 匹配；但 m_finacc_seller_invoice、m_vat_invoice_item_all、ods_kafka_monitor_system 等最大的表既无过程写入也不在同步任务表中，写入方仍待定位。
消费方从 4 个账号扩展为 20 个活跃 / 45 个账号：自研 Redash、阿里云 QuickBI、OpenMetadata 爬虫（bi-export）、DataGrip/DBeaver 人工查询，以及 4 个用个人账号跑生产的服务。
账号安全最紧迫：biplatform 是超级用户且被 4 个部署位点 + 调度器 + 办公网共用；quickbireport 经 report_group 拥有 5,727 张表 INSERT/DELETE；个人账号拥有 169 张表 400.7 GB；25 个账号 7 天无连接；凭据写死在镜像里。
BI 热点在进项发票池（购方侧）而不是销项：自动物化视图引用最多的是 …purchaserinvoicemanagesaas_invoicebusiness（22）与 _invoicemain（17），psa_inv_seller_invoice 排第三（10）。
冗余与清退有据：1,082 个同基名簇 / 3,670 张表；三重证据筛出可清退候选 842 张 590.0 GB，另有 10 张日志类大表 1,747.6 GB 需要保留期策略。
_v1/_v2/_pro 是按来源库实例拆分的并行分片（各含一个 sync_from_db_instance、近 7 天持续摄取），不是旧版本；_0、_3_ali、_bak_ty_kafka、m_vat_invoice_all/_item_all 等 8 张核心表 ≥90 天无摄取，合计 1915.3 GB，其中 3 张仍被读取（历史归档），其余可进入清退观察。
m_finacc_seller_invoice 不是一行一票：近 30 天切片 5,578 万行只对应 854 万个 invoice_id（平均 6.5 行/票）；psa_inv_seller_invoice（按 id）与 psa_seller_invoice（按 invoice_id）切片内唯一，销项头→行关联孤儿率 0.00%。
语义资产比预想多：982 张表注释、41,095 条列注释（24.0%）可直接作为字典 E1 证据；但 psa_inv_seller_invoice（169 列）等核心表 0 注释。
类型风险：金额类列 33.3% 为字符串，时间类列 42.5% 字符串 / 24.8% bigint，varchar(65535) 列 6,831 个；聚合前必须转换。
ADB-PG 是平行体：阿里云 ADB-PG biplatform.public 2,934 张表中 1,149 张与 Redshift 同名（涉及 9,882.9 GB）；bi-sync 与 daas 服务双源配置——迁移/双写状态必须先澄清。

证据分级：E0 待验证 → E1 结构证据（DDL/注释/过程源码/ACL）→ E2 样本/切片验证（范围已注明）→ E3 多期勾稽 → E4 业务签署。本次最高到 E2；所有查询只读、逐条超时、留档 552 条（成功 542）。

二、家底复核（交接 vs 实测）

存储按族群（GB）

表格视图：存储按族群

族群	表数	空壳	GB	行数亿
psa	3394	1158	15,491.8	1,027.7
m	356	36	4,295.0	312.7
ods	28	2	1,255.6	82.4
temp/tmp	681	107	639.5	137.2
other	331	110	322.1	39.8
dwd	7	0	213.8	9.3
report	130	15	69.3	4.9
dm	45	0	51.3	9.8
dim	305	14	24.1	1.5
check	445	165	10.1	0.2
dws	1	0	1.9	0.3
bi	2	0	1.7	0.1
t	7	1	1.4	0.2
test	6	0	0.5	0.0

表数：有数据 vs 空壳（按族群）

有数据空壳

表格视图：表数

族群	有数据	空壳
psa	2236	1158
temp/tmp	574	107
check	280	165
m	320	36
other	221	110
dim	291	14
report	115	15
dm	45	0
ods	26	2
dwd	7	0
t	6	1
test	6	0
bi	2	0
dws	1	0

按创建年份的存储（GB）

2023 年建表 2,291 张 / 12.6 TB，与 gp_sync_type 列（1,128 张表）、varchar 长度 ×3 等 Greenplum 迁移痕迹一致。

表格视图：创建年份

年份	表数	GB
2023	2291	12620.6
2024	1880	5854.4
2025	961	1896.6
2026	604	2006.4

psa 业务域存储（前 12，GB）

对交接结论的修正

交接判断	实测	修正
视图仅 15 个，无分层语义	15 个公共视图 + 179 个自动物化视图 + 1,081 个存储过程	语义在过程里，不在视图里
max pct_used=0.78% 磁盘健康	该值是单表占比；本地盘 5.73 TB 已用 50.5%，数据主体在 RA3 托管存储	按用量计费，清退直接省钱
另一库 yl_redshift_db 待登记	可连接，无用户表	空库，无需登记
yl_test 为 Spectrum 外部 schema	外部表 0 张	无外部扫描成本
其他用户查询日志不可见	证实；但 stl_connection_log / stl_analyze / stl_vacuum / stv_partitions 全量可见	用 analyze/vacuum 日志作为 7 天变更代理
stats_off>50% 有 440 张	其中 >1 GB 的 60 张（1,045.1 GB）	只处理大表
unsorted>50% 有 430 张	排序有收益的仅 2 张	证实交接的“勿误判”

三、仓的真实运转方式（本次新发现）

过程层

1,081 个 plpgsql 过程全部归 biplatform：sp_psa 797、sp_check 110、sp_report 88、sp_dreport 14、sp_oqs 9、sp_dim 8、sp_m 8、sp_nippon 5（立邦客户专属，最大单个 422 KB）。
典型 sp_psa_<表>_ty_kafka：按中转表 _op/_timestamp 去重 → 删除旧行 → 插入 → 删除事件写入 _op_delete。
解析出 5,921 条已知表引用、463 条过程内临时表、509 条未知对象；CALL 图为空。

外部驱动

Python 会话（application_name=__main__）来自 Pod 172.18.203.24/25 与 192.168.90.217，每日约 636 次，峰值 00:00 CST。
ontoos 湖仓确认 bi-prod 部署 DolphinScheduler 3.1.8（master 2 / worker 5）。

服务写入（线程名证据）

KakfaMqLogHandler_saveCacheToS3 → KakfaMqLogHandler_pullS3ToRedshift；TaxwareInvoiceDkToRedShiftService / CommonDataSaveToRedShiftService / StatisticsLogService。
输入：AWS SQS prod-consistence-invoice + 消息总线四通道 + Kafka（canal-bi-* ×20 投递 tower-invoices）。
目标表：DMS 任务表 392 任务 → 372 张（type 3 实时 360 / type 2 每日 24 / type 1 8），381 个任务在 2026-09-07 有成功同步。

语义与平行体

982 张表注释 / 41,095 条列注释（psa 25.6%、m 18.7%）。
ADB-PG biplatform.public 2,934 张表，与 Redshift 同名 1,149 张；bi-sync 与 daas 双源配置 → 平行体/迁移目标（推断，需 BI 团队确认）。

四、消费方地图

窗口 2026-08-31 00:00 → 09-07 10:43 UTC，417,058 条连接事件；rdsdb（AWS 内部 44,970 会话）未画入。

7 天会话数（前 14 账号）

BI 热表（自动物化视图引用数）

阿里云 K8s Pod 172.18.x

59,874

7 账号 / 34 主机

办公网 172.25.x

2,252

11 账号 / 18 主机 · DataGrip/DBeaver

AWS 同 VPC 172.31.x

588

QuickBI + bi_operations 03:00

192.168.90.217

4,230

biplatform Python 任务

账号	会话	主机	网段	客户端签名	可读表	可写表	拥有表	性质	已知部署/用途
biplatform	31,533	21	192.168.90(专线/IDC?);办公网(172.25);阿里云K8s Pod(172.18)	bi-sync 同步服务线程(7963);Java 连接池(Hikari)(5428);Python 脚本(__main	5,753	5,753	5,570	服务账号	bi-sync-redshift-service / sync-redshift-from-other-channel
bi_datavalue_user	18,093	5	阿里云K8s Pod(172.18)	Java 连接池(Hikari)(18093)	31	4	4	服务账号	daas-standard-invoice（daas-ks-prod，清单 #5，Hikari 池 5 副本）
bi_user_redash	10,855	3	阿里云K8s Pod(172.18)	Redash 连接池(10847);xxl-job 调度线程(8)	312	0	0	服务账号	Redash BI（清单未登记）+ xxl-job 调度
gongjianfeng	3,258	1	阿里云K8s Pod(172.18)	—	10	0	0	个人账号	invoice-title-dataclean2（janus-prod，清单 #6，个人账号跑生产）
bi_user_gulei	2,105	2	办公网(172.25)	Java 连接池(Hikari)(1437);Python 脚本(__main__)(667);DataGrip/Jet	5,730	0	0	BI命名账号	办公网 172.25.17.100 上的 Java 服务(Hikari)+Python 脚本（个人命名账号长期驻留）
quickbireport	581	1	AWS同VPC(172.31)	QuickBI 引擎(581)	5,749	5,727	0	服务账号	阿里云 QuickBI（清单未登记，AWS 同 VPC 172.31.156.63）
metadata_user	394	10	阿里云K8s Pod(172.18)	Java 连接池(Hikari)(366)	5,730	2	0	服务账号	元数据爬虫（RedshiftHikariPool，每日 07:00 UTC）
fanguozhu	30	1	办公网(172.25)	本次治理分析工具(30)	5,656	0	0	个人账号	本机 DBeaver / 本次治理分析（清单 #7）
wangruiqi	28	1	办公网(172.25)	—	5,730	0	0	个人账号	—
tianyang	14	1	阿里云K8s Pod(172.18)	推送服务线程(14)	170	97	95	个人账号	K8s Pod 推送服务（push-async，每日 20:00 UTC；个人账号跑生产，拥有 95 张表）
ou_robot	11	1	办公网(172.25)	—	5,730	0	0	服务账号	—
bi_user_ted	8	3	阿里云K8s Pod(172.18)	—	1,812	64	38	BI命名账号	K8s Pod 定时任务（每日 01:38 UTC）
sunquanfeng	8	2	办公网(172.25)	DataGrip/JetBrains 交互(8)	5,730	0	0	个人账号	—
bi_operations	7	1	AWS同VPC(172.31)	—	4	0	0	服务账号	AWS 同 VPC 定时任务（每日 19:00 UTC，与 QuickBI 同主机）
guiweidong	6	1	办公网(172.25)	JDBC 客户端交互(DBeaver等)(6)	5,730	0	0	个人账号	—
lvwenjing	6	2	办公网(172.25)	DataGrip/JetBrains 交互(6)	5,730	0	0	个人账号	—
wangchen	3	1	办公网(172.25)	JDBC 客户端交互(DBeaver等)(3)	5,753	0	0	个人账号	—
cailibin	2	1	办公网(172.25)	JDBC 客户端交互(DBeaver等)(2)	5,730	0	0	个人账号	—
yuanxuebo	2	1	办公网(172.25)	DataGrip/JetBrains 交互(2)	5,730	0	0	个人账号	—

账号安全发现

E012 biplatform 超级用户E013 quickbireport 可写 5,727 表E014 个人账号跑生产 ×425 个休眠账号凭据随镜像分发Redshift 未纳管 DMS

biplatform：超级用户；4 个部署位点（含 SIT）+ DolphinScheduler + 办公网 DataGrip 共用，拥有 5,570 张表。
quickbireport：经 report_group 拥有 5,727 张表 INSERT/DELETE；bi_user_xialin 可写 1,724 张。
gongjianfeng（janus-prod，3,258 会话）、tianyang（推送服务，每日 04:00，拥有 95 张表 376 GB）、bi_user_gulei（办公网常驻 Java+Python 服务）、bi_user_ted（K8s 定时任务）用个人账号跑生产。
Redshift 连接串写死在镜像 application-*.yml，不经 Apollo/Secret（ontoos 实查）。

五、血缘与引用覆盖

被过程/视图/自动MV引用

2,812

张表

未被引用

2,926

9,531.8 GB

未引用但 7 天内有变更

592

7,086.1 GB · 写入方待定位

7 天内有变更证据

1,436

18.35 TB

未被过程/同步任务引用的最大表（多为服务直写，不是废弃）

表	GB	行数亿	7 天变更	清退分层
m_finacc_seller_invoice	732.8	26.6	是	—
m_vat_invoice_item_all	533.8	63.1	是	—
ods_kafka_monitor_system	470.3	36.3	是	T5 日志/监控类大表·建议保留期策略
psa_seller_invoice	452.2	8.1	是	—
ods_log_message_open_api_v1	401.2	11.7	是	T5 日志/监控类大表·建议保留期策略
m_walmart_seller_invoice_item	394.3	25.6	是	—
psa_inv_seller_invoice_item_0	330.2	25.9	是	T4b 结构克隆·仍被引用/变更中（疑似分片或并行版本）·核验
psa_inv_seller_pre_invoice_item	302.5	23.8	是	—
psa_ord_salesbill_bak_ty_kafka	259.4	6.8	是	T3b 备份/历史·仍被引用/变更中·核验
psa_inv_seller_pre_invoice_item_0	240.7	20.5	是	T4b 结构克隆·仍被引用/变更中（疑似分片或并行版本）·核验
psa_tbl_task_detail	229.5	4.1	是	—
psa_ord_salesbill_item_bak_ty_kafka	227.4	13.0	是	T3b 备份/历史·仍被引用/变更中·核验

交接提出的“8 天无访问即无依赖”不成立：调度在仓外，最大的表由过程外写入。本次血缘覆盖 = 过程 + 视图 + 自动MV + bi-sync 任务表 + ACL 授权面 + 应用名签名；仍缺 Redash/QuickBI 报表 SQL 与 DolphinScheduler 任务定义。

六、核心表画像（C2：成本感知画像）

无谓词的 APPROXIMATE COUNT(DISTINCT) 在 26.5 亿行表 150 秒超时；改为前 N 行样本 + 摄取时间列谓词收敛（zone map 剪枝，0.5–4 秒）+ 近 30 天切片内粒度 + ≤3.5 亿行表全表近似。范围写在表头。

规模、新鲜度与粒度

表	COUNT(*)	摄取时间列	近 7 天行	近 30 天行（=切片）	最大摄取时间	切片去重键	切片重复率	切片租户数	切片实例数
m_vat_invoice_item_all	6,304,926,542	delta_time	0	0	—	0	—	—	—
psa_seller_invoice_item	5,346,654,477	delta_time	19,320,307	51,760,264	2026-09-07 03:36:15	51,760,264	0.00%	—	—
psa_eccp_tocorder_oqs_tocorder_orderitembwcj	4,622,191,607	delta_time	32,251,393	137,383,521	2026-09-07 16:28:24	137,383,521	0.00%	1	1
ods_kafka_monitor_system	3,631,852,900	create_time	17,661,873	69,612,249	2026-09-07 19:20:12	—	—	—	—
psa_inv_seller_invoice_item	3,016,086,226	delta_time	14,605,694	54,446,926	2026-09-07 03:15:49	54,446,924	0.00%	—	—
psa_taxware_invoice_collection_item	2,942,877,716	delta_time	0	0	2026-08-07 19:52:16	0	—	0	0
m_finacc_seller_invoice	2,654,674,753	delta_time	10,036,070	55,776,026	2026-09-07 03:48:59	8,538,615	84.69%	—	—
psa_inv_seller_invoice_item_0	2,574,781,788	delta_time	0	0	—	0	—	—	—
psa_seller_invoice_item_pro	2,533,084,056	delta_time	13,507,868	41,632,339	2026-09-07 13:46:04	41,632,339	0.00%	—	1
m_walmart_seller_invoice_item	2,525,080,753	delta_time	22,165,110	99,236,083	2026-09-06 21:44:53	8,018,453	91.92%	—	—
psa_inv_seller_pre_invoice_item	2,376,884,475	delta_time	12,746,854	42,389,356	2026-09-07 03:13:04	42,389,355	0.00%	—	—
psa_inv_seller_business_delivery_log	2,313,686,764	delta_time	21,090,257	85,621,682	2026-09-07 01:06:40	85,621,682	0.00%	—	1
psa_ord_salesbill_item	2,207,909,029	delta_time	15,747,125	43,518,864	2026-09-07 18:51:48	43,518,864	0.00%	—	1
psa_athena_tencent_t_settlement_item	1,997,447,084	delta_time	11,499,256	34,604,963	2026-09-07 00:46:25	34,604,963	0.00%	—	1
psa_inv_seller_invoice_item_v1	1,668,780,959	delta_time	6,408,489	24,158,144	2026-09-07 18:27:15	24,158,144	0.00%	—	1
psa_inv_seller_invoice_item_v2	1,321,470,014	delta_time	10,282,578	32,340,913	2026-09-07 18:29:43	32,340,913	0.00%	—	1
psa_pur_invoice_pool_oqs_purchaserinvoicemanagesaas_invoiceitem	1,178,090,178	delta_time	19,130,634	235,464,686	2026-09-07 02:05:47	235,464,686	0.00%	608	3
ods_log_message_open_api_v1	1,171,773,379	—	—	—	—	—	—	—	—
m_vat_invoice_all	1,138,313,846	delta_time	0	0	—	0	—	—	—
m_inv_hdr_2c_ope_dtl	1,026,032,705	—	—	—	—	—	—	—	—
m_datavalue_inout_invoice	1,017,990,959	delta_time	0	0	—	0	—	—	—
psa_seller_invoice	794,707,929	delta_time	2,369,230	6,690,431	2026-09-07 03:33:59	6,690,431	0.00%	—	—
psa_ord_salesbill_bak_ty_kafka	679,907,393	update_time	0	0	—	0	—	—	0
psa_inv_seller_invoice	558,819,631	delta_time	3,297,980	12,488,284	2026-09-07 03:25:48	12,488,281	0.00%	—	—
psa_tocorder_oqs_tocorder_ordereleme	545,096,160	delta_time	10,527,193	47,765,501	2026-09-07 02:29:28	47,765,501	0.00%	3	1
m_full_seller_invoice_delete	533,814,282	delta_time	0	0	—	0	—	—	—
psa_taxware_invoice_collection_main	531,367,975	delta_time	0	0	2026-08-07 19:52:16	0	—	0	0
psa_ord_salesbill	503,501,495	delta_time	6,685,610	14,665,960	2026-09-07 18:51:57	14,665,960	0.00%	—	1
psa_inv_seller_invoice_v1	414,873,158	delta_time	2,333,033	8,195,203	2026-09-07 18:59:47	8,195,203	0.00%	—	1
psa_tbl_task_detail	393,490,053	delta_time	1,544,002	5,126,574	2026-09-07 00:51:59	5,126,574	0.00%	—	—
m_walmart_seller_invoice	379,341,516	delta_time	2,768,950	8,535,644	2026-09-07 03:50:42	8,535,644	0.00%	—	—
psa_seller_invoice_pro	345,105,300	delta_time	1,564,098	5,766,884	2026-09-07 15:02:13	5,766,884	0.00%	—	1
psa_seller_invoice_3_ali	271,065,089	delta_time	0	0	—	0	—	—	0
psa_pur_invoice_pool_oqs_purchaserinvoicemanagesaas_invoicemain	240,776,735	delta_time	4,258,509	11,619,014	2026-09-07 01:43:45	11,619,014	0.00%	628	3
psa_pur_invoice_pool_oqs_purchaserinvoicemanagesaas_invoicebusiness	240,688,726	delta_time	4,084,413	11,684,813	2026-09-07 02:42:28	11,684,813	0.00%	628	3
psa_invoice_seller_main	198,511,758	delta_time	0	0	—	0	—	—	—
psa_inv_seller_invoice_v2	141,283,889	delta_time	1,395,939	4,696,407	2026-09-07 19:07:25	4,696,407	0.00%	—	1
psa_pim_invoice_main	85,274,518	delta_time	11,924	45,335	2026-09-07 01:43:19	45,335	0.00%	—	1
psa_bss_company_new	208,848	delta_time	1,041	3,408	2026-09-07 17:45:39	3,408	0.00%	—	1
psa_bss_tenant_new	108,492	delta_time	211	867	2026-09-07 01:04:41	867	0.00%	867	1

近 7 天无摄取的核心表：m_vat_invoice_item_all、psa_taxware_invoice_collection_item、psa_inv_seller_invoice_item_0、m_vat_invoice_all、m_datavalue_inout_invoice、psa_ord_salesbill_bak_ty_kafka、m_full_seller_invoice_delete、psa_taxware_invoice_collection_main、psa_seller_invoice_3_ali、psa_invoice_seller_main

核心表中的停更表（≥90 天无摄取或最后摄取 >30 天）

表	GB	行数	摄取时间列	最后摄取	读取过程数	自动MV引用	清退分层
psa_inv_seller_invoice_item_0	330.2	2,574,781,788	delta_time	≥90 天无	0	0	T4b 结构克隆·仍被引用/变更中（疑似分片或并行版本）·核验
m_vat_invoice_all	154.5	1,138,313,846	delta_time	≥90 天无	0	0	T4b 结构克隆·仍被引用/变更中（疑似分片或并行版本）·核验
m_vat_invoice_item_all	533.8	6,304,926,542	delta_time	≥90 天无	0	0	—
psa_taxware_invoice_collection_main	78.0	531,367,975	delta_time	2026-08-07 19:52:16	2	0	—
psa_taxware_invoice_collection_item	292.1	2,942,877,716	delta_time	2026-08-07 19:52:16	2	0	—
psa_seller_invoice_3_ali	171.6	271,065,089	delta_time	≥90 天无	8	3	T4b 结构克隆·仍被引用/变更中（疑似分片或并行版本）·核验
psa_ord_salesbill_bak_ty_kafka	259.4	679,907,393	update_time	≥90 天无	0	0	T3b 备份/历史·仍被引用/变更中·核验
m_full_seller_invoice_delete	206.2	533,814,282	delta_time	≥90 天无	0	2	—
m_datavalue_inout_invoice	134.8	1,017,990,959	delta_time	≥90 天无	2	1	—
psa_invoice_seller_main	124.7	198,511,758	delta_time	≥90 天无	0	1	—

psa_taxware_invoice_collection_main/item（税件归集，379 GB）最后摄取 2026-08-07，采集链路已中断一个月，需确认是停用还是故障。销项头→行两条关系孤儿率 0.00%；单据头→行 0.16% 孤儿行需区分父表时间截断与真实缺失；psa_seller_invoice_item（53 亿行）关联检查 150 秒超时；进项池头行关联未执行：明细表经 OQS 关系字段 invoiceitemandinvoicemainrelation_id 指向 invoicemain.id，需按该列另测。

主从关联（子表近 30 天摄取切片 → 父表）

关系	子表切片行	父键数	孤儿行	孤儿率	孤儿键
psa_inv_seller_invoice_item → psa_inv_seller_invoice	54,446,934	11,318,322	1	0.00%	1
…_item_v1 → …_invoice_v1	24,158,144	7,398,074	8	0.00%	2
psa_ord_salesbill_item → psa_ord_salesbill	43,518,864	12,486,625	71,607	0.16%	5,689
psa_seller_invoice_item → psa_seller_invoice	—	—	—	超时/未执行	—
进项 invoiceitem → invoicemain	—	—	—	未执行	—

_v1/_v2/_0/_pro 是版本还是分片（sync_from_db_instance）

表	范围	实例分布
psa_inv_seller_invoice	无该列/未测	—
psa_inv_seller_invoice_v1	近30天切片	1226563967195942917=8,195,203
psa_inv_seller_invoice_v2	全表	1226563967191748631=141,283,889
psa_inv_seller_invoice_item	无该列/未测	—
psa_inv_seller_invoice_item_v1	近30天切片	1226563967195942917=24,158,144
psa_inv_seller_invoice_item_v2	近30天切片	1226563967191748631=32,340,913
psa_inv_seller_invoice_item_0	无该列/未测	—
psa_seller_invoice	无该列/未测	—
psa_seller_invoice_pro	近30天切片	1226563967191748611=5,766,884
psa_seller_invoice_3_ali	前20万行样本	1795014301224296448=200,000

状态/类型枚举样本（前 20 万行）

表	列	取值=计数
m_finacc_seller_invoice	status	1=191,805, 0=7,206, 5=989
m_finacc_seller_invoice	invoice_type	s=76,891, c=66,647, ce=51,887, ct=1,743, j=1,503, ju=1,044, se=195
psa_inv_seller_invoice	status	1=197,852, 9=1,438, 0=708, 2=2
psa_pur_invoice_pool_oqs_purchaserinvoicemanagesaas_invoicemain	invoice_color	1=197,000, 2=3,000
psa_pur_invoice_pool_oqs_purchaserinvoicemanagesaas_invoicemain	invoice_status	1=189,333, 2=6,390, 5=2,599, 3=1,646, 4=18, 6=14
psa_ord_salesbill	status	1=191,436, 0=8,564
m_vat_invoice_all	invoice_type	s=181,752, c=15,254, ct=1,859, (空)=423, --=416, ce=224, ju=58

七、冗余与清退

同基名簇

1,082

3,670 张表

结构克隆非规范成员

4,403.3GB

Jaccard ≥ 0.9

可清退候选

590.0GB

842 张

日志/监控类大表

1,747.6GB

10 张 · 保留期策略

清退分层存储（GB）

表格视图：清退分层

分层	表数	GB	行数亿
T1a 空壳·无引用·可清退候选	411	0.0	0.00
T1b 空壳·有过程/视图依赖或专属授权·保留核验	1197	0.0	0.00
T2a 临时前缀·无引用无变更·可清退候选	278	294.9	74.03
T2b 临时前缀·仍被引用/变更中·核验	296	344.6	63.16
T3a 备份/历史·无引用无变更·可清退候选	15	56.2	5.93
T3b 备份/历史·仍被引用/变更中·核验	94	1,082.9	100.11
T4a 结构克隆·无引用无变更·可清退候选	138	238.9	15.29
T4b 结构克隆·仍被引用/变更中（疑似分片或并行版本）·核验	680	3,510.6	245.30
T5 日志/监控类大表·建议保留期策略	10	1,747.6	111.06
T7 测试命名·核验	31	19.3	4.69

可清退候选 Top 12

表	层	GB	行数	创建
tmp_wqs_scb_xiaoxiang_20231214	T2a	49.2	588,270,831	2023-12-15
temp_m_datavalue_inout_invoice_flag2	T2a	36.1	560,186,752	2024-01-15
temp_m_datavalue_inout_invoice_flag	T2a	34.0	560,186,752	2024-01-15
m_walmart_seller_invoice_temp	T4a	31.9	134,884,685	2023-10-08
psa_toi_t_invoice_dk	T4a	29.6	83,975,511	2025-05-20
psa_taxware_invoice_collection_item_bk	T3a	23.8	321,957,920	2024-08-23
tmp_m_s_inv_title	T2a	19.3	168,161,221	2023-11-27
m_purchaser_vat_invoice_all	T4a	19.0	208,292,290	2024-07-24
psa_toi_t_ae_invoice_dk	T4a	18.7	87,813,404	2025-05-21
m_purchaser_vat_invoice_all_temp1	T4a	17.5	208,292,290	2024-07-29
tmp_wqs_scb_jinxiang_20231214	T2a	15.3	171,783,025	2023-12-15
ods_log_message_taxware_item_bk	T3a	14.4	151,150,677	2024-05-29

最大的非规范簇成员

基名	变体表	GB	Jaccard	7 天变更	创建
ods_log_message_open_api	ods_log_message_open_api_v1	401.2	0.0	是	2024-01-01
psa_inv_seller_invoice_item	psa_inv_seller_invoice_item_0	330.2	1.0	是	2023-09-25
psa_seller_invoice_item	psa_seller_invoice_item_pro	324.3	0.909	是	2023-08-06
psa_ord_salesbill	psa_ord_salesbill_bak_ty_kafka	259.4	0.95	是	2024-08-08
psa_inv_seller_invoice_item	psa_inv_seller_invoice_item_v1	249.5	0.934	是	2026-03-22
psa_inv_seller_pre_invoice_item	psa_inv_seller_pre_invoice_item_0	240.7	1.0	是	2023-09-26
psa_ord_salesbill_item	psa_ord_salesbill_item_bak_ty_kafka	227.4	0.904	是	2024-08-06
psa_athena_tencent_t_settlement_preinvoice_detail	psa_athena_tencent_t_settlement_preinvoice_detail_t1	199.7	1.0	是	2023-08-25
psa_inv_seller_invoice	psa_inv_seller_invoice_v1	191.6	0.884	是	2024-03-13
psa_inv_seller_invoice_item	psa_inv_seller_invoice_item_v2	186.3	0.934	是	2026-03-22

日志/监控类大表

表	GB	行数	创建	7 天变更
ods_kafka_monitor_system	470.3	3,631,840,635	2024-01-19	是
ods_log_message_open_api_v1	401.2	1,172,967,392	2024-01-01	是
psa_inv_seller_business_delivery_log	381.3	2,325,218,234	2023-08-27	是
psa_taxware_invoice_log	244.4	789,503,509	2024-12-26	是
psa_taxware_invoice_log_bk	84.4	276,721,604	2023-10-07	否
ods_sqs_monitor_system	42.7	593,649,693	2024-02-20	是
ods_log_message_taxware_item	38.7	613,496,909	2024-09-12	否
psa_inv_seller_business_log	37.7	813,979,802	2023-09-26	是
psa_inv_seller_business_log_v1	26.9	587,216,384	2023-08-29	是
psa_inv_seller_split_request_log	20.0	301,111,890	2023-08-27	是

规则：T1 空壳；T2 temp/tmp 前缀；T3 bak/old/his；T4 结构克隆；T5 日志类；T7 测试命名。“可清退候选” = 无过程/视图/自动MV/同步任务引用 + 7 天无变更 + 无专属授权。执行：确认 DolphinScheduler 任务定义无引用 → 重命名观察 30 天 → 审批 → DROP 并保留回滚脚本；_ty_kafka 中转表即使空壳也不能删。

八、物理健康与类型风险

统计失效大表

1,045.1 GB · stats_off>50% 且 >1GB

排序有收益

unsorted>50% 且 benefit>0

金额列为字符串

33.3%

全库 18,516 个金额类列

时间列非时间类型

67.3%

字符串 42.5% + bigint 24.8%

varchar(65535) 列

6,831

4.0% · 按声明长度分配内存

表	GB	stats_off%	unsorted%	skew_rows
psa_seller_invoice_item	562.1	58.07	53.74	—
psa_taxware_invoice_collection_main	78.0	97.93	100.0	—
m_inv_hdr_2c_ope_dtl	64.8	100.0	—	—
psa_inv_seller_invoice_v2	64.5	54.38	100.0	—
psa_pur_invoice_pool_oqs_purchaserinvoicemanagesaas_invoicemain	59.6	100.0	95.09	—
m_f_billing_basis	22.1	100.0	—	—
m_f_account_with_detail	12.0	100.0	—	—
m_f_yunzi_bill	11.6	100.0	—	—
psa_bill_shard_ord_salesbill	11.2	82.01	7.0	—
s_full_activetax	11.1	100.0	83.42	—

WLM 自动模式，QMR 仅 1 条（cpu_skew>1 降优先级），无超时/扫描量规则；本次大表聚合是被自身 statement_timeout 取消的。个人账号拥有的表：tianyang 95 张 376.1 GB；bi_user_ted 38 张 17.6 GB；bi_user_xialin 21 张 6.2 GB；bi_user_tableau 10 张 0.3 GB；bi_test 5 张 0.5 GB。

九、业务域覆盖与客户专属数据

业务域（关键词）	表数	GB	有数据
收付款/银行/现金	37	14.1	24
应收/应付/账龄	104	15.6	85
库存/仓储/出入库	15	60.6	12
订单/单据	1021	3565.2	636
进项发票(购方)	332	1212.8	253
销项发票(销方)	680	8400.2	504
结算	96	1369.1	67
商品/品类	131	36.1	79
客户/企业主数据	510	81.2	368
合同	50	6.8	35
物流/交付	43	403.3	21
税务申报	370	549.9	250

客户/项目（表名关键词）	表数	GB
腾讯 tencent	106	1998.4
霸王茶姬 bawang/bwcj	77	933.8
沃尔玛 walmart	61	625.5
饿了么 eleme	10	496.3
蚂蚁 ant	135	76.8
屈臣氏 watsons	107	60.9
立邦 libang/nippon	101	58.1
万科 wanke/vanke	43	25.0
云字 yunzi	10	24.6
联合利华 ul	23	6.1

按表名关键词识别，需业务确认；跨客户使用须授权审查。

销项/进项发票、单据、结算、税件归集齐备；应收/收付款/核销、库存、履约几乎缺失——财务与供应链预测类模型在现仓不可行；经营结构、客户集中度、交易沉默、供应方集中度、采购议价线索、异常票据线索的数据基础具备。

十、指标与模型可行性（基于实测结构）

指标/模型	数据可得性（实测）	判定
M001 发票口径净开票额	psa_inv_seller_invoice(amount_without_tax, status, invoice_type, seller_tax_no, paper_draw_date)；m_finacc_seller_invoice 三金额 numeric(18,6)	可建，先认证粒度与红字规则
M002 客户 Top5 集中度	purchaser_tax_no / purchaser_name 在 715 / 745 张表	可建
M003 供应商 HHI	进项发票池 invoicemain/invoiceitem（BI 最热对象），amount numeric(20,2)，invoice_color	可建，数据基础最好
M004 交易沉默天数	paper_draw_date + delta_time 可见时间	可建
M005 采购单价偏离	进项明细含数量/单价/商品列；无标准商品主数据	需商品映射
M006 红冲强度	invoice_color（购方池）；销项红字标识待认证	部分
M007 逾期应收	仓内无应收/收款/核销表	不可计算
M008 数据覆盖门禁	租户表、delta_time、sync_from_db_instance	可建
O01–O06 / O13 经营、供应链线索、异常票据	销项+进项+单据齐备	P0 试点候选
O07/O08/O10/O11/O12/O15 履约、库存、应收、现金流、盈利、违约	仓内无对应事实	需外部数据

十一、治理建议与路线

30 天：速赢（不改数据）

收回 biplatform superuser；拆分调度/服务/人工账号；report_group 收敛为 SELECT；迁移 4 个个人账号跑的生产任务；禁用 25 个休眠账号。
DBA 配置 QMR 超时/扫描量规则；对 60 张大表 ANALYZE。
可清退候选 842 张 590.0 GB 进入重命名观察期；为 10 张日志表定义保留期。
与 BI 团队确认 ADB-PG 迁移/双写状态。

60 天：语义还原

导入 41,095 条列注释到字典（E1），补齐核心表注释。
取得 DolphinScheduler 任务定义 + Redash/QuickBI 报表 SQL，闭合端到端血缘。
维护窗口做核心表全表去重计数与头行金额勾稽，认证发票主题粒度。
解决 _v1/_v2/_0 命名（按实例/客户显式命名）。

90 天：资产与试点

规范层统一 numeric/timestamp；建立主体—发票—交易对手—商品认证模型。
首批指标 M001–M004/M008 认证发布。
试点经营结构、供应方集中度、异常票据线索三类客户产品。

十二、方法、边界与产物

只读护栏scripts/rs_run.py：仅 SELECT/WITH/SHOW；关键字黑名单（INTO/CREATE/UNLOAD/COPY…）；只读会话；单语句；逐条 statement_timeout；凭据内存解密不落盘。批次A 目录与消费方（37）、B 过程全文与变更代理（19）、C0 成本校准（5）、C2 核心表画像、D 调度器与第二库；合计 552 条（成功 542，超时/错误 10）。 交叉核对ontoos 研发本体湖仓（服务代码表引用、K8s 工作负载、DMS 纳管库）+ DMS 只读取回 bi-sync 任务表。 权限盲区他人查询日志不可见；97 个对象不可读；DolphinScheduler/Redash/QuickBI 侧定义未取得；ADB-PG 迁移判定为推断。口径目录行数含未回收删除行；“7 天变更”来自 analyze/vacuum 日志代理；样本与切片结果只代表其范围；业务域/客户按表名关键词识别。产物报告 Redshift_数仓治理与挖掘报告_20260907.md · 工作簿 Redshift_数仓治理与挖掘工作簿_20260907.xlsx（34 张表）· 本页 https://xforce-dw-governance-cc-0907.pages.dev/ · evidence/（552 条查询留档 + ontoos 交叉核对）· scripts/（可复现）

生成 2026-09-07 19:40 · 采集身份 fanguozhu · 仅供内部治理使用 · 页面不含任何口令与凭据