Python数据分析与挖掘,简述常用的python数据挖掘相关库

　　许多企业需要处理来自多个数据源的复杂数据，因此需要使用数据库管理系统来存储和管理数据。现在，有许多不同类型的数据库系统，并不容易找到合适的。这需要考虑业务需求，以便选择合适的数据库管理系统。

　　使用企业关系数据库管理系统(RDBMS)来存储和管理他们的数据。然而，这些系统无法处理海量的复杂数据，无法满足当今数据库用户的需求。因此，许多企业正在寻找能够提供可伸缩性、可用性和高性能，同时保持传统数据库系统的重要特征的数据库系统。软件供应商也认识到了这种需求，开发了NewSQL数据库，弥补了传统数据库系统的缺陷。

　　NewSQL数据库在不放弃传统数据库优势的情况下解决了问题。NewSQL关系数据库管理系统为OLTP提供了与NoSQL系统相同的可扩展性。它可以在保证传统数据库系统ACID的同时，处理在线事务的读写工作量。NoSQL数据库使用的数据结构与关系数据库不同，这使得NoSQL数据库的一些操作速度更快。

　　什么是NewSQL数据库？NewSQL数据库是一个现代SQL数据库，它解决了一些与传统联机事务处理(OLTP)RDBMS相关的主要问题。他们在保持传统数据库管理系统优势的同时，努力实现NoSQL数据库的可扩展性和高性能。换句话说，NewSQL数据库是一种特殊的关系数据库系统，它结合了传统数据库OLTP和NoSQL的高性能和可伸缩性。它们保留了传统DBMS的ACID(原子性、一致性、隔离性和持久性)。ACID事务特性确保完整的业务流程、并发事务、系统故障或错误情况下的数据完整性，以及事务前后的一致性。

　　NewSQL数据库内部设计不同，但都是运行在SQL上的rdbms。他们使用SQL来接收新信息，同时执行许多事务，并修改数据库的内容。NewSQL系统主要包括新的技术架构、透明数据切片中间件、SQL引擎和数据库即服务(DBaaS)。

　　分区/碎片：几乎所有的NewSQL数据库管理系统都是通过将数据库划分成不同的子集(称为分区或碎片)来进行扩展的。数据库中的表被水平划分为几个片，这些片的边界基于列值划分，并且来自不同表的相关片被连接以创建分区。

　　副本：这个特性允许数据库用户创建和维护数据库和副本。数据库的副本存储在连接到主站的远程站点或远处的站点。用户可以同时更新副本，或者更新一个节点并将结果状态转移到其他副本。

　　二级索引(Secondary index):二级索引允许数据库用户通过使用主键以外的值来有效地访问数据库记录。

　　并发性：该功能可以解决多用户系统中多个用户同时访问或修改数据时可能出现的问题。NewSQL系统使用该功能来确保同步事务，同时保持数据完整性。

　　恢复：NewSQL数据库有一个故障恢复机制，使它们能够在系统崩溃时将数据恢复到一致的状态。

　　一些好处包括：

　　数据库分区减少了系统的通信开销，因此可以方便地访问数据。即使出现系统故障或错误，ACID事务也可以确保数据的完整性。NewSQL数据库可以处理复杂的数据。NewSQL系统是高度可伸缩的。常用的NewSql Vitess(开源)Vitess是一个分布式的MySql工具集，可以自动分片存储MySQL数据表，将单个SQL查询改写成分布式并发送到多个MySQL服务器，支持行缓存(高于MySQL自身的缓存效率)和复制容错。Vitess 4.0有很多改进，可以让新用户更容易使用。在k8s上部署Vitess很容易，可以从单个MySQL或MariaDB迁移到Vitess，但应用程序意识到了这一点。

　　cocroach db(免费)cocroach db(蟑螂数据库)是一个可扩展的数据存储系统，支持地理位置处理和事务处理。CockroachDB提供了两种不同的事务特性，包括快照隔离(SI)和顺序快照隔离(SSI)语义，后者是默认的隔离级别。

　　蟑螂是分布式K/V数据仓库，支持ACID事务，多版本值存储是其首要特点。主要设计目标是全局一致性和可靠性，从蟑螂的命名就可以看出来。数据库可以在磁盘、物理机、机架甚至数据中心故障的情况下，以最小的延迟处理服务中断；整个故障过程不需要人工干预。蟑螂的节点是平衡的，它的设计目标是同构部署(只有一个二进制包)和最小配置。CockroachDB无需重新配置或大规模架构检修即可水平扩展。只需在集群中添加一个新节点，CockroachDB就会处理底层的复杂性。

　　只是在集群中增加新的节点来扩大段的自动平衡和分配范围，而不是在所有节点上平均优化段来提高服务器利用率。TiDB(企业版收费)是面向联机事务处理/联机分析处理(HTAP:混合事务/分析处理)的融合数据库产品，实现了一键横向扩展、多副本数据安全强一致性、分布式事务、实时OLAP等重要特性。同时兼容MySQL协议和生态，易于迁移，运维成本极低。但从使用情况来看，对硬件要求较高。目前也分为社区版和企业版。

　　ClusterxDB (fee) Maria DB于2018年收购ClusterxDB。它目前是一个类似MySQL的关系数据库，可以很容易地从MYSQL迁移到ClusterxDB。ClustrixDB与MySQL客户端兼容，但与mazon Aurora不同，它是分布式的，可以扩展写操作，并且不会产生单独的IO和存储费用。它从底层支持具有最极端可扩展性要求的应用，如web、移动和物联网(IoT)，并且在不损害关键功能的情况下做到这一点。数据库需要为具有关键任务的应用程序提供可靠的数据访问服务：事务和SQL。

　　MESQL(费)MemSQL最大的卖点是性能和对MySQL的兼容性。2012年12月14日发布的MemSQL是世界上最快的关系数据库，每秒可实现150万次事务。MemSQL是一个分布式的、高度可伸缩的SQL数据库，可以在任何地方运行。我们使用熟悉的关系模型为事务性和分析性工作负载提供最高性能。MemSQL是一个可扩展的SQL数据库，它不断地吸收数据并为您的业务执行操作分析。使用ACID事务每秒接收数百万个事件，同时以关系SQL、JSON、地理空间和全文搜索格式分析数十亿行数据。

　　NuDB(业务需要授权)NuDB是世界上第一个也是唯一一个获得专利的、灵活的、可扩展的SQL关系数据库，主要用于分散计算资源。我们从零开始设计了这样一个全新的数据库，100% ACID保证，兼容SQL标准和规范。支持复杂的数据库管理任务，如分区、缓存集群和性能调优等。

　　ALTIBASE(商业收费)Altibase数据库的完美结合，提出了一个新概念——混合DBMS。ALTIBASE提供高性能、容错性和交易管理的便利性，特别是在通信、网上银行、证券交易、实时应用和嵌入式系统领域。

　　VoltDB(商业收费)VoltDB是一个内存开源的OLTP SQL数据库，可以保证事务的完整性(ACID)。它是由Postgres和Ingres联合创始人Mike Stonebraker领导的下一代开源数据库管理系统。它可以在现有的廉价服务器集群上实现每秒百万次的数据处理。VoltDB大大降低了服务器资源开销，单个节点每秒的数据处理量远高于其他数据库管理系统。与NoSQL的键值存储不同，VoltDB可以使用SQL access并支持传统数据库的ACID模型。VoltDB代码由GPLv3授权，支持订阅费从15，000美元起。

　　Citus(商业收费)Citus面向高速简单交易、高通量批量加载和高速亚秒级分析查询。还集成了cstore/hll等很多插件。一个限制是，在某些情况下，它不支持所有的SQL查询或复杂的事务。CitusDB采用PostgreSQL的插件形式(不是fork)，即享受PostgreSQL的强大支持，同时具备分布式数据库的能力。Citus企业版是要收费的。

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。