时间复杂度与初始排序无关,常见的误区是,时间复杂度与初始排序无关,常见的误区有哪些

　　近年来，物联网、IIoT、AIoT和智慧城市发展迅速，时序数据库成为数据架构技术栈的标准。根据国际知名网站DB-Engines的数据，时间序列数据库在过去24个月中排名第一，远高于其他类型的数据库，可见业界对时间序列数据库的迫切需求。

　　但是，业界对时间序列技术的认识还停留在几年前。本文阐述了时间序列数据库的四个误区，希望帮助读者理清其中的因果和背后的原因，从而在业务场景中选择合适的数据平台和技术栈。

　　时间序列数据就是时间序列数据，其本质是一系列带有时间戳的结构化数据，通常是周期性固定的数据。比如数控机床每100毫秒采集的轴坐标、运动、速度数据，无人机每秒采集的位置、高度、风向等数据，汽车每分钟采集的位置、速度、转速、温度数据。智能冰箱每小时的metrics是索引名，tags是时间序列数据的来源，data是当时的时间戳和metrics索引值。

　　时序数据具有以下特点：

　　周期性采集数据源的时间序列数据，对插入性能要求较高，可能会导致无序和数据丢失；

　　时间序列数据量大，对存储压缩率敏感。

　　数据源属性多样化，修改频率低。

　　数据量大，但变化小。

　　查询的要求多种多样。单个数据源的最新值、单个数据源的详细信息、单个数据源的过滤器合并、多维查询、下采样、滑动窗口查询、数据源状态转换图、特定模式识别、趋势预测、原因分析和阈值。

　　为了解决时间序列数据的上述特点带来的挑战，受限于当时的技术能力，我们在几年前就在业内开始着手一个针对时间序列数据设计的时间序列数据库开发方法，我们称之为专用时序数据库。专用时间序列数据库的核心设计是存储引擎，用于高效存储数据源属性信息、数据源索引信息、数据源层次关系信息等问题，并提供相应的简单执行引擎和API。其中一些提供了某种形式的查询语言。例如，InfluxDB提供了ffdgk查询语言。代表性的有InfluxDB和OpenTSDB。

　　专用时间序列数据库在一定程度上可以满足业务子集对时间序列数据处理的需求，但也存在很多问题。

　　1. 性能低、扩展性差

　　2. tags数据和主数据更适合使用关系数据库存储:时序数据需要结构化，才能成为有价值的信息。比如收集37这个数字，是温度、速度还是压力？是摄氏度，分钟，帕斯卡？数据是来自锅炉、水泵还是变压器？设备是来自生产现场还是总部？没有这些信息，原始数据就不会成为有用的信息。在专用的时间序列数据库中大多使用Tags来实现这一功能，但是tags数量大性能差，也难以适应tags可能发生变化或更新的场景。此外，时序场景需要主数据信息，但由于主数据通常存储在关系数据库中，因此使用关系数据库同时存储主数据、时序标签数据和时序索引数据更合适。

　　3. 需要MPP数据库或者大数据产品配合：专用时间序列数据库的设计核心是存储引擎，相应的执行引擎较弱，中大型分析查询性能较低。因此，目前市面上的时间序列数据库大多不支持分析能力，需要与MPP数据库或大数据产品配合，支持商业智能(BI)、机器学习(ML)、人工智能等应用；

　　4. 技术栈复杂，监控运维复杂：很多产品学习曲线陡峭，知识共享度低，运维效率低且容易出错；

　　http://www.Sina.com/APP的应用需要保持与不同数据库的连接，开发大量代码，将数据库中的数据提取到内存中进行集成计算，效率低下；

　　5. 技术栈复杂，开发效率低：任何数据产品都会出现新的数据孤岛，这将导致不同数据孤岛之间缺乏有效的协作，造成数据不一致，产生大量冗余副本，磁盘空间消耗严重。

　　近年来，由于缺乏专门的时间序列

　　将时间序列视为一种数据类型并不新鲜。自20世纪70年代以来，关系数据库就支持时间戳数据类型。而过去的关系数据库并没有针对时序场景进行专门的优化，所以满足了时序场景的需求。原因是关系数据库通常采用原始存储的Btree索引方法。原始存储不利于压缩。另一方面，Btree是一种为读取而优化的数据结构，原有的存储Btree并不适合作为时间序列数据的存储方式，因为这样会牺牲写性能。时间序列数据适用于列保存和排序的预聚集，以提高写入速度、压缩率和查询。

　　性能。目前，常见的时间序列数据库都使用一些基于LSM树的变体技术。

　　针对这一观点可从两个方面展开讨论

　　1.LSM树比B树更适合写，但是查询处理没有B树友好。为了满足各种场景的高性能查询需求，基于LSM变体的时间序列数据库需要引入额外的开销，这会降低数据写入的性能。比如InfluxDB引入TSI支持多维查询，写数据时需要创建和维护TSI数据。另外，虽然B树会造成随机IO，但是通过WAL缓冲可以大大降低随机IO的频率。总之，基于LSM的产品的写入性能不一定比B树产品好。下图显示了对100，000台设备的测试，收集索引分别为10、50、100和400。实际测量了四个时间序列数据库，MatrixDB、TDEngine、TimescaleDB和InfluxDB:

　　这个数字并不意味着B树更适合计时场景，而是意味着最终产品会综合考虑很多因素。

　　2.现在很多关系数据库都支持可插拔存储引擎、执行引擎、优化引擎的技术架构，使得关系数据库可以实现多个存储引擎，用于处理不同的数据类型或场景，比如存储关系数据的行存储引擎、存储历史数据的列存储引擎、存储时间序列数据的LSM引擎等。这样就可以在一个数据库中处理不同的数据类型和场景，这就是所谓的超融合数据库。基于模块化可插拔技术架构，超时序数据库在数据库内部提供了一个针对时序数据优化的存储引擎(如基于LSM树的存储引擎)，并配以相应的执行器和优化器。借助关系数据库数十年的技术沉淀和最新的行业技术成果，关系数据库不仅支持原有的关系数据处理场景，还可以高效灵活地处理时序数据的全场景(包括抽查、分析查询和流数据处理)，无需额外的产品配合，即可实现。

　　这种新思路新架构具备很大的优势：

　　性能卓越：关系数据库六十年来积累了大量优秀的数据处理技术，加上针对时间序列的特殊优化，性能远超特殊时间序列数据库；

　　精简了技术栈，没有关系数据库和时序数据库的产品组合，大大提高了开发效率，降低了运维的复杂度；

　　支持ACID，保证数据完好不丢失，把ACID的复杂留给数据库开发者而不是应用开发者；

　　功能丰富：关系型时序数据库几乎拥有关系型数据库的所有功能，比如支持丰富的数据类型，包括数组、JSON等复合类型；支持自定义函数/存储过程；支持触发器；支持指数；支持监控和管理；支持备份恢复；支持冷热分级存储；支持灵活分区等。

　　完善的生态：关系数据库生态系统已经发展了几十年，关系时间序列数据库可以直接整合到现有的生态中。

　　故而，时序数据是一种结构化非常好的数据，非常适合使用专为时序优化过的关系数据库进行存储和处理，而不必使用专用时序数据库。

　　MatrixDB等超收敛时间序列数据库产品实现了关系数据库对时间序列数据的支持，性能优异，远超专用时间序列数据库。评价指标见https://ymatrix.cn。

　　传统的时序数据库，如InfluxDB、OpenTSDB、TDEngine等，都不支持事务。但是，这并不意味着顺序场景不需要事务。毫无疑问，一些时序场景，如服务器监视器，可以容忍数据丢失或重复数据，但也有大量的

　　证券的快速交易、工业设备的监控、电磁信号的诊断和对策等。这种场合每一条数据都很重要，数据错误可能造成很大损失；

　　高级数据分析场景，如事件识别、趋势预测、异常诊断等。大数据分析的一个基本共识是垃圾进，垃圾出。如果数据本身是错误的，那么得到的模型将是一个糟糕的模型。

　　即使是可以容忍错误数据的场景，我也希望数据是正确的，但是过去的产品不能。

　　时序数据库之所以弃用ACID，主要是考虑支持ACID的额外成本，希望通过弃用ACID来提升性能。实际上，时间序列数据的主要操作是插入和选择，从事务的角度来看，这对整体性能的影响很小。

　　主流的时间序列数据库，如InfluxDB、OpenTSDB，还有一些新的时间序列数据库，如TDEngine，只支持简单查询和简单场景，如单数据源单/多指标过滤查询、单数据源单/多指标过滤聚合、多数据源过滤聚合等。它是核心的点击和聚合查询。

　　但随着大数据分析、IoT、IIoT等的快速发展。越来越多的应用需要更强大的分析能力来实现模式识别、趋势预测等高级功能。因此，时间序列数据需要很强的分析能力，包括关联聚集分析和与关系数据的高级分析(如ARIMA、趋势预测、特定模式识别、根本原因分析、阈值修正)等。

　　此外，用户希望使用自己熟悉的语言，如Python、R，来处理更复杂的时间序列数据，充分发挥Python和R在数据分析方面的强大生态。

　　很多人认为时序场景只需要时序数据库，但实际上很少场景只需要时序数据库。大多数情况下，时间序列数据库需要关系数据库的配合来解决实际的业务问题，因为时间序列数据库的本质只能表达时间序列数据和与时间序列数据密切相关的元信息，如数据源id、位置、供应商等附加信息。在实际场景中，需要更多的信息来充分发挥时间序列数据的价值，比如工业设备监控、智能制造、柔性制造、个性化定义等等。传统的时间序列数据库如InfluxDB、OpenTSDB等无法解决这种场景，必须与关系数据库相匹配，才能获得更多的时间序列数据的上下文信息。

　　专用时间序列数据库是一个阶段性的产物，是为了解决特定历史时期的供需矛盾而出现的。第三代超融合时间序列数据库以新的思路解决了特殊时间序列数据库遗留的许多问题，成为未来时间序列数据库发展的主流。目前，许多特殊的时间序列数据库已经开始或计划增加更多的功能，数据产品的边界将越来越模糊。

　　关 注 我 们

　　YMatrix官方用户群现已正式对外开放，我们真诚期待您的加入。

　　在这里，你可以了解最前沿的创新技术，掌握最深入的科技信息，获得专业的技术解答，并有机会与大咖面对面互动交流。

　　你还在等什么？赶紧点下面链接，加小M助手为好友加入群。www.ymatrix.cn/contact

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。