fan_2009_8_23.MP3

my Facebook

Jing Tang 的Facebook资料

2009年1月19日星期一

Datawarehouse1

Ein DataWarehouse ist eine zentrale Datensammlung (meist eine Datenbank), deren Inhalt sich aus Daten unterschiedlicher Quellen zusammensetzt. Die Daten werden von den Datenquellen in das DataWarehouse geladen und dort vor allem für die Datenanalyse und zur betriebswirtschaftlichen Entscheidungshilfe in Unternehmen langfristig gespeichert. Ein DataWarehouse dient der Informationsintegration. Daten werden im Rahmen des ETLProzesses(Extraktion,Transformation,Laden) aus verschiedenen Quellen extrahiert,durch Transformation bereinigt und vereinheitlicht, um danach in das DataWarehouse geladen zu werden.
Datawarehouse system:
  1. Datenquelle(externe system+operative system)
  2. ETLProzesses(Extraktion,Transformation,Laden)
  3. DWM
  4. queries,analysis
  5. datamining(BI tools:reports,auswertung,tabelle kalkulation)
  6. OLAP
DWH im vergleich mit Transactional DB(conventional)
transactional:
  • read,write,delete
  • relative few datarecords
  • no/few null values
  • most independent data objects
  • high dynamics of modification
  • tuple query
  • flexible with respect to query formulation
DWH:
  • read,periodical append
  • many data records (very high data volume)
  • very many null values
  • comprehensive dependencies between data
  • mostly statistical data(stable data,modification only in production phase)
  • region queries
  • customized for analyzing
数据仓库是一种信息系统的数据储存理论,此理论强调利用某些特殊数据储存方式,让所包含的数据,特别有利于分析处理,以产生有价值的信息并依此作决策。
利用数据仓库方式所存放的数据,具有一但存入,便不随时间而更动的特性,同时存入的数据必定包含时间属性,通常一个数据仓库皆会含有大量的历史性数据,并利用特定分析方式,自其中发掘出特定信息。
主要功能乃是将组织通过信息系统之在线交易处理(OLTP)经年累月所累积的大量数据,通过数据仓库理论所特有的数据储存架构,作一有系统的分析整理,以利各种分析方法如在线分析处理
(OLAP)、数据采矿(Data Mining)之进行,并进而支持如决策支持系统(DSS)、主管信息系统(EIS)之建立,帮助决策者能快速有效的自大量数据中,分析出有价值的信息,以利决策拟定及快速回应外在环境变动,帮助建构商业智能(BI)
数据采矿和OLAP同为分析工具,其差别在于OLAP提供使用者一便利的多维度观点和方法,以有效率的对数据进行复杂的查询动作,其默认查询条件由使用者预先设置,而数据采矿,则能由信息系统主动发掘数据来源中,未曾被查觉的隐藏信息,和通过使用者的认知以产生知识。
数据采矿(Data Mining)技术是经由自动或半自动的方法探勘及分析大量的数据,以建立有效的模型及规则,而企业通过数据挖掘更了解他们的客户,进而改进他们的行销、业务及客服的运作。 Data Mining 是 Data Warehouse 应用方式中最重要的一种。基本上,Data Mining 是用来将你的数据中隐藏的信息挖掘出来,所以 Data Mining 其实是所谓的 Knowledge Discovery 的一部份,Data Mining 使用了许多统计分析与 Modeling 的方法,到数据中查找有用的特征(Patterns,muster)以及关连性(Relationships)。 Knowledge Discovery 的过程对 Data Mining 的应用成功与否有重要的影响,只有它才能确保Data Mining 能获得有意义的结果

没有评论:

发表评论

study blogging