什么是数据仓库？
数据仓库是一种技术，主要用于收集和管理来自各种来源的数据，为业务提供有意义的业务洞察力。数据仓库专门用于支持管理决策。简单来说，数据仓库定义了一个独立于组织的操作数据库维护的数据库。数据仓库系统能够集成多个应用系统。它们通过提供用于分析的整合的历史信息的可靠平台来提...
2024-01-10数据仓库和数据挖掘
数据仓库数据仓库是工具和技术的集合，利用这些工具和技术可以从大量数据中清除更多的知识。这有助于决策过程并改善信息资源。 数据仓库基本上是具有唯一数据结构的数据库，该数据库可以相对快速，轻松地对大量数据执行复杂的查询。它是从多个异构源创建的。数据仓库的特点集成时变 非...
2024-01-10
数据仓库与维度建模
维度建模的基本概念维度建模(dimensional modeling)是专门用于分析型数据库、数据仓库、数据集市建模的方法。 它本身属于一种关系建模方法，包含了基本的两个概念：1. 维度表(dimension) 表示对分析主题所属类型的描述。比如"昨天早上张三在京东花费200元购买了一个皮包"。那么以...
2024-01-10
数据仓库之数据分析
1. 数据仓库基本介绍 英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。它出于分析性报告和决策支持目的而创建。 数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外...
2024-01-10什么是数据仓库用户？
数据仓库是一种技术，通常用于收集和管理来自多个来源的数据，以为业务提供有意义的业务洞察力。数据仓库是专门为支持管理决策的目标而创建的。简单来说，数据仓库定义了一个独立于组织的操作数据库维护的数据库。数据仓库系统能够集成多个应用系统。它们通过支持用于分析的整合的历史数...
2024-01-10数据仓库的实现有哪些？
数据仓库包含大量数据。OLAP 服务器要求以秒为单位确认决策支持查询。因此，数据仓库系统必须提供高效的立方体计算技术、访问技术和查询处理技术。数据立方体的高效计算多维数据分析的核心是跨多维集合的高效计算。在 SQL 术语中，这些聚合被称为分组依据。每个 group-by 可以由一个长方体表示...
2024-01-10什么是三层数据仓库架构？
数据仓库通常具有三级（层）架构，涉及 -该底层是相对始终是关系型数据库系统中的仓库数据库服务器。后端工具和实用程序用于将记录从操作数据库或其他外部来源（包括外部顾问支持的用户配置文件数据）输入底层。这些工具和实用程序实现数据提取、清理和转换（例如，将来自多个源的相同数...
2024-01-10
数据中台建设实战——数据仓库架构
数据仓库（Data Warehouse）：是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策(Decision Making Support)。数据仓库的目标实现跨系统数据共享，解决信息孤岛提升数据质量辅助决策分析提供统一的数据服务数...
2024-01-10
IDG调查表明云数据仓库部署正在增长
导读调研机构IDG公司最近发布的一份调查报告表明，虽然组织的数据向云平台的大规模迁移并不是从2020年开始的，但在这一年中得以快速发展。绝大多数组织计划在2021年扩大对云计算数据仓库和数据湖的投资。然而，围绕数据管理和ETL的许多问题仍然存在。调查发现，77%的IT决策者计划在未来...
2024-01-10
空间数据仓库的建设和利用面临哪些挑战？
关于空间数据仓库的构建和利用，存在几个具有挑战性的问题。第一个挑战是统一来自异构来源和系统的空间信息。空间数据通常使用各种数据格式存储在不同的行业公司和政府机构中。数据格式不仅是特定于结构的（例如，基于栅格与基于矢量的空间数据、面向对象与关系模型、不同的空间存储和索...
2024-01-10
数据仓库(12)数据治理之数仓数据管理实践心得
这边文章聊聊自己对数据治理开发实践的一些思路，就是聊聊怎么开始去做数据治理这件事情。说起数据治理，有时候虽然看了很多文章，看了很多的介绍，了解数据治理的理论，但是实际上需要我们去搞的时候，就会踩很多的坑。这里记一下自己做数据治理的一些思路，做做笔记，也分享给需要的同...
2024-01-10
为云而生，云原生数据库TDSQLC技术突破与演进
以“数实融合，绽放新机”为主题，聚焦产业趋势与技术前沿，打造产业互联网顶级盛会的2021腾讯数字生态大会日前在武汉举办，腾讯云数据库技术负责人程彬进行了《云原生时代的数据库技术实践》的主题演讲，分别从云原生时代数据库技术何去何从，新时代下如何构建TDSQL-C数据库产品和TDSQL-C在云...
2024-01-10
技术分享|MySQL数据库如何改名？
作者：杨涛涛资深数据库专家，专研 MySQL 十余年。擅长 MySQL、PostgreSQL、MongoDB 等开源数据库相关的备份恢复、SQL 调优、监控运维、高可用架构设计等。目前任职于爱可生，为各大运营商及银行金融企业提供 MySQL 相关技术支持、MySQL 相关课程培训等工作。本文来源：原创投稿*爱可生开源社区出品，...
2024-01-10
谈谈数据中台技术体系
昀哥 20191109我们做大数据很早，2011年、2012年就开始了，到现在基本形成了一整套完整的数据中台体系。大数据基本为这三件事服务：1.决策依据和经营分析2.运营调度3.外部机构尽职调查和穿刺各个公司各条业务线对数据高度敏感，尤其是打仗（有仗打仗，没仗造仗）的时候基本上是实时调度，加...
2024-01-10
盘点|主流云原生数据库技术方案
作者：柯煜昌 顾问软件工程师目前从事 RadonDB 容器化研发，华中科技大学研究生毕业，有多年的数据库内核开发经验。你将 Pick 这些内容：云原生的概念云原生数据库的概念两种主流技术路线分析六种云原生数据库方案和功能介绍云原生数据库的核心功能和价值背景随着云计算的蓬勃发展，I...
2024-01-10
【搜索技术】汽车之家的车型库的数据库设计以及多属性查询是如何实现的？
回答建立三个表，车型表、属性表、车型属性表车型表carid car属性表 attrid attr车型属性 car_attrc_id a_id data这样无论有后期添加多少属性，都不用修改表结构车型表和属性表就不做过多介绍了吧，分别记录不同车型和不同的属性类型车型属性中每一行对应：某一车型+某一属性+该属性值现在比如我要找所...
2024-01-10
实现数据库安全性控制的方法和主要技术。
(1)用户标识和鉴别：该方法由系统提供一定的方式让用户标识自己的名字或身份。每次用户要求进入系统时，由系统进行核对，通过鉴定后才能提供系统的使用权 (2)存取控制通过用户权限定义和合法权检查确保只有合法权限的用户访问数据库，所有未授权的人员无法存取数据 (3)视图机制为不同...
2024-01-10
「分布式技术专题」三种常见的数据库查询引擎执行模型
注：本文涉及到的相关资料图片摘自 CARNEGIE MELLON DATABASE GROUP 发表的 CMU SCS 15-721 (Spring 2019) :: Query Execution & Processing （点击可查看）1. 迭代模型/火山模型（Iterator Model）又称 Volcano Model 或者 Pipeline Model。该计算模型将关系代数中每一种操作抽象为一个 Operator，将整个 SQL 构建成一个 Operator 树，查...
2024-01-10
大数据技术栈浅述
最近在做企业安全建设，企业安全建设中最常见的一项就是做监控，监控的种类多种多样，但是底层的技术栈却基本是一致的————大数据技术，下面我记录一下我最近学习到的一些大数据技术，下文只是描述个脉络而已。大数据的技术栈，以及对应的上下依赖图如下：看完这个图，是不是觉得和...
2024-01-10
技术分享|连接数据库这个操作做了什么？
作者：蒋乐兴MySQL DBA，擅长 python 和 SQL，目前维护着 github 的两个开源项目：mysqltools 、dbmc 以及独立博客：https://www.sqlpy.com。本文来源：原创投稿*爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。问题在 Python 语言环境下我们这样连接数据库。In [1]: from mysql im...
2024-01-10
禧云数芯大数据平台技术白皮书
白皮书作者：赵兴申顾问：郑昀出品方：禧云集团-基础技术中心-大数据与算法部 数据分析组：谭清勇、王明军、徐蕊、曹寿波平台开发组：刘永飞、李喜延数据可视化组：陈少明、董建昌基础架构组：崔明黎、邱志伟、陈赏 第一章：数芯大数据平台1.1 禧云大数据发展历程知名咨询公司麦肯...
2024-01-10
