数据库
olap数据库有哪些?
一、olap数据库有哪些?
olap数据库的常用数据库有:
1、MS SQL数据库;
2、ACCESS数据库;
3、My SQL数据库;
4、Oracle数据库;
OLAP,也叫联机分析处理(Online Analytical Processing)系统,有的时候也叫DSS决策支持系统,就是我们说的数据仓库。与此相对的是OLTP(on-line transaction processing)联机事务处理系统。
二、olap特点?
1)快速性:用户对OLAP的快速反应能力有很高的要求。系统应能在用户要求的时间内对用户的大部分分析要求做出反应,因此就更需要一些技术上的支持,如专门的数据存储格式、大量的事先运算、特别的硬件设计等。
2)可分析性:OLAP系统应能处理与应用有关的任何逻辑分析和统计分析。用户无需编程就可以定义新的专门计算,将其作为分析的一部分,并以用户理想的方式给出报告。用户可以在OLAP平台上进行数据分析,也可以连接到其他外部分析工具上,如时间序列分析工具、数据挖掘工具等。
3)多维性:多维性是OLAP的关键属性。系统必须提供对数据分析的多维视图和分析,包括对层次维和多重层次维的完全支持。事实上,多维分析是分析企业数据最有效的方法,是OLAP的灵魂。
4)信息性:不论数据量有多大,也不管数据存储在何处,OLAP系统应能及时获得信息,并且管理大容量信息。这里有许多因素需要考虑,如数据的可复制性、可利用的磁盘空间、OLAP产品的性能及与数据仓库的结合度等。
三、olap技术选型?
对 OLAP 从查询类型上的划分:离线批处理、即席查询(ad-hoc)、固化查询。
如:离线批处理引擎
离线批处理引擎主要用于复杂的 ETL、构建数仓、数据挖掘等对延时要求不高,但灵活性最大的处理引擎,典型的代表如 Hive(ODPS)、Spark。这类引擎典型的优点就是吞吐量大,扩展性好,容错性好;缺点是低效,适合规模大、逻辑复杂任务。
四、数据库系统领域(oltp,olap都包括)有哪些顶级的实验室呢?
数据库是三大基础软件系统(操作系统,编译系统,数据库)之一。从研究和实际系统结合的角度,我把数据库方向排在三大软件系统之首,因为其起到了承上启下的作用,向下和操作系统及硬件结合,向上和数据及应用结合,因此可研究的子方向非常多,当然研究方向仁者见仁智者见智,我仅仅表达我的观点,仅供参考。下面我以国内外数据库实验室为入口介绍下我认识的或者接触过的教授,希望能对感兴趣的朋友,特别是想申请PhD的同学启到帮助作用。
美国
- MIT数据库组。该实验室包括三位重量级教授:Sam Madden, Mike Stonebraker和Tim Kraska。这三位教授可以说是数据库领域的引领者,Mike Stonebraker是元老级人物,2014年图灵奖获得者,是和Jim Gray并列的数据库始祖,一直以来大范围使用的开源数据库Postgres就是出自他手;Mike虽然年纪已高,但是思维极为活跃,最近一次交流老人家直接在白板上算用多少VoltDB节点就可以解决问题。Sam Madden可以称之为是数据库领域的中流砥柱人物,获得了N多该领域的顶级奖项,各个数据库顶会的组织者和领导者,除此之外,Sam在分布式系统,大数据,网络等方向也颇有建树。Tim Kraska是较为年轻的教授,之前在布朗大学任助理教授,17年去MIT并升任副教授,可见实力超强,目前主要致力于机器学习和数据库的结合,人很open,你如果想邀请他来给talk,他都很愿意。
- Berkeley AMPLab(现为RICE LAB)。Berkeley在数据库的发展使上可谓举足轻重,如BDB,Spark都出自berkeley,无论对学术界还是工业界影响极为深远广泛。上面提到的Mike Stonebraker开始也在Berkeley任教,后来去的MIT。AMPLab之前的掌门人是Mike Franklin(不要和Mike Stonebraker混了,在美国Mike实在太多了),其在数据库领域的影响力仅次于Mike Stonebraker,有兴趣的同学可以查一下两位Mike的论文引用数。Mike Franklin于2016年跳槽去了芝加哥大学,任系主任,正在大张旗鼓扩大芝加哥大学CS的规模和影响力。Mike Franklin我比较熟悉,所以多说几句,Mike虽然不年轻,但是做事非常认真,对所带的学生和博后指导非常仔细,并且人非常nice,我不确定他现在是否还带学生,可以直接发邮件问问,如果带,强烈建议申请。
- CMU数据库组。该实验室也是我曾经待过的地方,可以说那段时间是我人生最充实,最美好的时光,CMU的科研氛围和教授学者会潜移默化的影响你的一生,所以我很推荐来CMU读PhD做研究。回到CMU数据库组,包含两位教授Andy Pavlo和Christos Faloutsos。Andy Pavlo的思维极为活跃,治学严谨,非常热爱写code,对学生非常负责,是Self-driving Database System的主要引领者。除此之外,其PPT和网站做的也很漂亮,最近得了很多奖,包括SIGMOD最佳论文奖,VLDB亚军论文奖等,推荐申请他的PhD,但是他对学生要求比较高,因为经费有限,如果申请之前你有顶会论文还是有戏的。Christos严格来说属于data mining领域,在该领域属于大佬级人物,不过DBMS和data mining原本就属于一家,所以Andy来CMU之前都是Christos教数据库课程。
- Stanford系统组。严格说来,这个实验室并不仅仅focus在数据库领域,我主要想提到的是Peter Bailis。Peter是Berkeley AMPLab博士毕业, 在MIT读了一年博后,加入了Stanford做助理教授。Peter的独立研究能力相当强,他读博期间Berkeley AMPLab已经没多少人做OLTP了,他自己一人独立开展分布式事务研究,取得了非常好的研究成果,并且十分高产,论文数量和质量都很高。加入Stanford之后主要关注系统+机器学习领域,该方向并不是他PhD方向,但是做的风生水起,产出也很不错。可见,牛人在什么领域都是牛人。Peter个子很高,人很热情,只不过现在创业开了家Startup,有兴趣的同学可以等他回归学术界申请他的PhD。
聊完美国计算机四大高校,让我们聊聊其他学校:
- 布朗大学。布朗大学是常青藤之一,其CS包括数据库方向规模并不大,但是小而精,HStore就是MIT、Brown和其他几所学校一起搞的,里面的教授都是圈内人,如Stan Zdonik就是Mike Stonebraker的老友,上面提到的Andy Pavlo和Tim Kraska也出自Brown。
- 马里兰大学。提到马里兰大学主要是因为Daniel Abadi从Yale跳槽去了马里兰,Daniel Abadi非常聪明,对学生的指导也非常认真,工作很实际,代表工作HadoopDB卖了一个好价钱,现在以Calvin为基础在做startup。
- 密歇根大学。密歇根大学是一所很好的综合性大学,其数据库组也是很有名,特别是在数据库测量、自动调参方面有很深的造诣,其中的教授没怎么接触过,就不过多评论了。
- 华盛顿大学。非常不错的大学,校园也很美,数据库组很强。工作有交集是Alvin Cheung,华裔教授(看姓应该是新加坡人,我不确定),其主要方向是programming language和数据库的结合。
- 威斯康辛。老牌数据库名校,很多大佬都是这个学校出来的,如Mike Franklin和后面要提到的Anastasia Ailamaki等。不过近些年有些没落。
上面仅仅是我熟悉的老师所在的高校,关于美国数据库实验室更全面的介绍请看Andy Pavlo的介绍(Yingjun也提到了):An Updated Guide on Where to Apply for a PhD in Databases in the US (2018)
欧洲
- EPFL(洛桑联邦理工学院)。主要介绍的是Anastasia Ailamaki。Anastasia是威斯康辛PhD毕业并在CMU任教多年,之后回到了欧洲老家。Anastasia是欧洲数据库数一数二的人物,负责EPFL的data intensive实验室,实力很强。
- TUM(慕尼黑工业大学)。Hyper就出自该校,是近些年软硬结合高性能数据库的典范,Thomas Neumann教授带领团队取得的成绩有口皆碑,研究组的PhD同学都很强,如Viktor等人。
- CWI(荷兰): 我和该实验室的Peter Boncz有过一面之交。列式数据库MonetDB出自该实验室,最近他们也在尝试在MonetDB加上AI特性。
- ETH(苏黎世联邦理工学院):Gustavo Alonso教授,不是很熟悉就不详细介绍了。
其他:
- 新加坡。新加坡国立和南洋理工一直是数据库领域的活跃力量,有兴趣的同学可以google三大会议(SIGMOD, VLDB, ICDE)论文,都可以看到新加坡的身影。
- 澳洲。悉尼大学的Alan Fekete教授是澳洲数据库领域的代表,其早年PhD毕业于Harvard,在数据库领域与MIT和Berkeley合作密切。
中国
- 香港。香港的几所大学在数据库方向都有涉及,但是主要面向分析场景,如港科大的易珂,OLTP涉及较少。
- 人大。人大的计算机学科可以说是以数据库起家的,也是国内最早开展国产数据库系统的高校。代表人物是王珊老师,其早年在美国马里兰大学合作研发数据库系统,归国后继续开展数据库系统的研发工作,人大金仓出自该实验室。
- 哈工大。代表教授是李建中老师。李老师也是早年美国Berkeley学习工作,是中国数据库领域的开创者之一。
- 其他的学校包括东北大学,华中科大,华东师范,北大,清华,北航,复旦,北理工,西北工大,武汉大学等都有专业的数据库实验室或老师,有兴趣的同学可以google之,就不一一介绍了。本人认知有限,如有遗漏敬请谅解。
五、大数据 olap
大数据OLAP技术的应用与发展
在当今信息爆炸的时代,大数据已经成为企业和组织中不可或缺的一部分。为了更好地管理和利用这些海量数据,OLAP(联机分析处理)技术应运而生。本文将探讨大数据OLAP技术的应用与发展,以及它在商业领域中的重要性。
什么是大数据OLAP技术?
大数据OLAP技术结合了大数据处理和OLAP技术的优势,能够帮助企业更快速、更准确地分析大规模的数据。OLAP技术是一种多维数据分析技术,通过多维数据模型和交互式分析工具,帮助用户实现对数据的深入理解和探索。
在大数据OLAP技术中,数据通常以多维数据模型的形式存储,包括维度和指标。通过OLAP引擎的快速计算和查询能力,用户可以实时地分析和探索大规模的数据集,发现数据中隐藏的模式和关联。
大数据OLAP技术的应用领域
大数据OLAP技术在各行各业都有广泛的应用,特别是在商业领域中。以下是一些大数据OLAP技术的应用领域:
- 营销分析:通过对销售数据和市场数据的多维分析,企业可以更好地了解客户需求和市场趋势,制定更有效的营销策略。
- 财务分析:企业可以利用大数据OLAP技术对财务数据进行多维分析,帮助管理层更好地监控企业的财务状况,及时调整经营策略。
- 供应链分析:通过对供应链数据的多维分析,企业可以优化供应链管理,提高生产效率,降低成本。
大数据OLAP技术的发展趋势
随着大数据技术的不断发展和普及,大数据OLAP技术也在不断创新和演进。以下是大数据OLAP技术的一些发展趋势:
- 实时分析:随着业务需求的提升,对实时数据分析的需求也在增加。大数据OLAP技术将更加关注实时计算和查询能力,以满足用户对实时数据分析的需求。
- 深度学习应用:随着机器学习和人工智能的发展,大数据OLAP技术将会更多地应用于深度学习领域,帮助用户挖掘数据中的深层信息。
- 云端部署:随着云计算技术的成熟,大数据OLAP技术也会越来越多地向云端部署,提供更灵活、更弹性的服务。
结语
大数据OLAP技术作为大数据处理和OLAP技术的结合,为企业提供了强大的数据分析和探索能力。在未来的发展中,大数据OLAP技术将继续发挥重要作用,帮助企业更好地应对信息化时代的挑战。
六、olap 大数据
OLAP(联机分析处理)和大数据是当今数据处理领域的两个热门话题,它们在数据分析和商业决策中起着关键作用。OLAP是一种多维数据分析技术,大数据则是指海量、多样化的数据集。
OLAP技术的特点
OLAP技术可以帮助企业从不同的维度进行数据分析,例如时间、地点、产品等多方面。通过OLAP,用户可以快速进行复杂的数据查询和分析,从而更好地了解业务状况和趋势。
OLAP与大数据的关系
- OLAP和大数据都是处理和分析数据的重要工具,二者可以相互结合应用,以实现更全面、深入的数据分析。
- OLAP在传统的数据分析中有着较长的历史,而大数据则是近年来随着数据规模的爆炸性增长而兴起的概念。
- OLAP可帮助从大数据中提取有用信息,而利用大数据则可以为OLAP提供更丰富、更全面的数据源。
OLAP和大数据的应用场景
在当今的商业环境中,OLAP和大数据被广泛应用于各个领域,并为企业的决策和发展提供了重要支持。
未来发展趋势
随着数据量的不断增长和数据处理技术的不断演进,OLAP和大数据在未来将继续发挥重要作用。企业应不断学习和应用这些技术,以应对日益复杂和多样化的商业挑战。
七、olap的特点不包括?
电子数据表与OLAP相比,不具备OLAP的多维性、层次、维度计算以及结构与视图分离等特点。
1.快速。终端用户对于系统的快速响应有很高的要求。
2.可分析。
3.共享。由于人们认为OLAP是只读的,仅需要简单的安全管理,导致目前许多OLAP产品在安全共享方面还存在许多问题。因此当多个用户访问OLAP服务器时,系统就在适当的粒度上加锁。
4.多维。维是OLAP的核心概念,多维性是OLAP的关键属性,这与数据仓库的多维数据组织正好相互补充。
八、oltp和olap的区别?
OLTP和OLAP主要区别有:
1、基本含义不同:OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,记录即时的增、删、改、查,比如在银行存取一笔款,就是一个事务交易。OLAP即联机分析处理,是数据仓库的核心部心,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。典型的应用就是复杂的动态报表系统。
2、实时性要求不同:OLTP实时性要求高,OLTP 数据库旨在使事务应用程序仅写入所需的数据,以便尽快处理单个事务。OLAP的实时性要求不是很高,很多应用顶多是每天更新一下数据。
3、数据量不同:OLTP数据量不是很大,一般只读/写数十条记录,处理简单的事务。OLAP数据量大,因为OLAP支持的是动态查询,所以用户也许要通过将很多数据的统计后才能得到想要知道的信息,例如时间序列分析等等,所以处理的数据量很大。
4、用户和系统的面向性不同:OLTP是面向顾客的,用于事务和查询处理。OLAP是面向市场的,用于数据分析。
5、数据库设计不同:OLTP采用实体-联系ER模型和面向应用的数据库设计。OLAP采用星型或雪花模型和面向主题的数据库设计。
九、oltp和olap的异同?
?oltp和olap在数据处理和分析方面有着一些明显的异同点。1. 异同点:oltp(联机事务处理)主要用于在线交易处理,旨在处理实时的交易数据。它通常涉及对数据库进行增删改操作,并且需要快速响应和高并发能力。典型的应用包括银行交易、电商订单处理等,它注重的是数据的准确性和实时性。olap(联机分析处理)则主要用于在线分析处理,旨在对海量数据进行复杂的多维度分析和查询。它通常涉及到对数据进行汇总、聚合和计算,以便为决策层提供支持和洞察力。典型的应用包括商业智能、数据挖掘等,它注重的是数据的全面性和可用性。2. 具体在技术层面上来说,oltp和olap的实现方式、数据模型和查询操作等方面也存在一些差异。oltp通常采用关系型数据库,强调事务处理和一致性,而olap则常使用数据仓库和多维数据库,强调数据集成和多维分析。此外,oltp和olap在数据使用的方式和目的上也有所不同。oltp主要用于操作性业务处理,如交易记录和订单操作等,而olap则用于决策性分析,如销售趋势分析和市场调研等。总的来说,oltp和olap是在不同场景下对数据进行处理和分析的方法,它们的目标、数据需求和技术实现都有所差异。了解它们的异同点有助于更好地利用它们来满足不同的业务需求。
十、olap和oltp是什么?
OLAP和OLTP是两种不同的数据库处理技术。
OLAP(联机分析处理)是一种多维数据分析技术,它用于快速处理大量数据和提供灵活的数据处理方式,使用户能够对数据进行更深入的挖掘和分析。
OLAP适用于数据分析、数据挖掘、报表制作等领域。
OLTP(联机事务处理)是一种在操作层面上优化的数据处理技术,适用于企业中的各种业务处理,如订单处理、交易处理等。
与OLAP不同的是,OLTP需要实时访问和更新数据库,以及确保数据的准确性和一致性。
OLAP和OLTP的区别在于两种技术处理数据的方式不同。
OLAP适用于数据分析、决策支持系统、报表等,而OLTP适用于企业系统中的各种业务处理。
因此,企业系统应根据业务需求使用不同的技术。
热点信息
-
在Python中,要查看函数的用法,可以使用以下方法: 1. 使用内置函数help():在Python交互式环境中,可以直接输入help(函数名)来获取函数的帮助文档。例如,...
-
一、java 连接数据库 在当今信息时代,Java 是一种广泛应用的编程语言,尤其在与数据库进行交互的过程中发挥着重要作用。无论是在企业级应用开发还是...
-
一、idea连接mysql数据库 php connect_error) { die("连接失败: " . $conn->connect_error);}echo "成功连接到MySQL数据库!";// 关闭连接$conn->close();?> 二、idea连接mysql数据库连...
-
要在Python中安装modbus-tk库,您可以按照以下步骤进行操作: 1. 确保您已经安装了Python解释器。您可以从Python官方网站(https://www.python.org)下载和安装最新版本...