数据仓库和OLAP系统
数据仓库是指将来自多个数据源的大量历史数据和当前数据集中存储在一个存储库中，以支持业务决策的过程。OLAP（联机分析处理）是指一组技术，允许用户在数据仓库中交互式地分析多维数据，用于生成报告、分析趋势和提供决策支持。
2. 关键概念 A. 数据仓库
定义：一个集中存储集成、面向主题、随时间变化且非易失性数据的存储库。
用途：支持商业智能 (BI)、分析和决策。
特点：
面向主题：按关键业务领域（例如，销售、财务）进行组织。
集成：整合来自多个异构数据源的数据。
随时间变化：存储历史数据以识别趋势。
非易失性：数据稳定且更新频率不高。
B. OLAP（联机分析处理）
支持对数据仓库中存储的数据进行快速的多维分析。
支持诸如切片、切块、下钻和汇总等复杂查询。
主要操作：
切片：沿一个维度选择单层数据。
切块：通过选择多个维度来选择一个子立方体。
下钻：从更高级别的汇总数据中查看详细数据。
汇总：将详细数据聚合为更高级别的汇总数据。
透视（旋转）：沿维度改变数据视角。
3. 数据仓库架构
该架构通常包含三个层次：
A. 数据源层
从异构数据源收集数据：
操作型数据库
外部数据源
平面文件或日志
B. 数据暂存层
ETL 流程（提取、转换、加载）：
提取：从源系统收集数据。
转换：清洗、规范化和集成数据。
加载：将数据存储到数据仓库中。
C. 数据存储层
存储集成数据和历史数据的中央存储库。
可以组织成以下形式：
星型模式：事实表和维度表。
雪花模式：规范化的维度表。
事实星座模式：多个事实表共享维度。
D. 表示层
通过以下方式向最终用户提供数据：
OLAP 工具
BI 仪表盘
报表和可视化
4. OLAP 系统类型
MOLAP（多维 OLAP）
数据存储在多维立方体中。
查询预聚合数据速度快。
示例：IBM Cognos、Microsoft Analysis Services
ROLAP（关系型 OLAP）
数据存储在关系数据库中。
使用 SQL 动态生成查询。
示例：Oracle OLAP、SAP BW
HOLAP（混合型 OLAP）
结合了 MOLAP 和 ROLAP 的优势。
汇总数据存储在立方体中，详细数据存储在关系表中。
5. 数据仓库和 OLAP 的优势
改进决策：整合的历史数据有助于更好地进行分析。
高性能：OLAP 立方体优化了复杂的查询。
数据一致性：集成数据可减少数据不一致。
趋势分析：历史数据支持预测。
用户友好型报表：支持仪表盘和交互式分析。
6. 挑战
数据集成复杂性：整合多个数据源较为困难。
高存储需求：大量历史数据需要占用大量空间。
实施成本高昂：ETL 工具、数据仓库和 OLAP 系统可能成本高昂。
性能问题：对大型数据集执行复杂查询可能会降低性能。
数据新鲜度：维护用于分析的最新数据可能具有挑战性。
7. 应用领域
零售：销售趋势、客户行为分析、库存管理。
银行与金融：风险管理、欺诈检测和投资组合分析。
医疗保健：患者数据分析、疾病趋势和医院管理。
电信：通话数据分析、客户流失预测。
电子商务：推荐、定价优化和购物篮分析。
8. 对比表：OLAP 与 OLTP
功能 OLAP（分析型） OLTP（事务型）
用途 数据分析与决策支持 日常事务处理
数据量 大型历史数据 小型当前数据 兄弟手机清单
模式 星型、雪花型 规范化
查询 复杂、多维 简单、重复性
响应时间 秒到分钟 毫秒到秒
更新频率 低 高
9. 主要工具和技术
ETL 工具：Informatica、Talend、Apache NiFi
数据仓库：Amazon Redshift、Google BigQuery、Snowflake、Microsoft Azure Synapse
OLAP 工具：Microsoft Analysis Services、SAP BW、IBM Cognos、Oracle OLAP
頁:
[1]