科技网

当前位置: 首页 >新闻

ApacheKudu又更新14版改进了W

新闻
来源: 作者: 2019-03-14 01:58:43

Apache Kudu 1.4已经发布,改进了Kudu Web界面的可用性,以及一个新的文件系统检查实用程序。Apache Kudu原来是Cloudera的项目,

ApacheKudu又更新14版改进了W

现在是Apache Hadoop生态系统的一部分。Apache表示其可以用于快速分析数据。实际上,Kudu是一个柱状存储引擎,填补了Hadoop分布式文件系统(HDFS)和HBase NoSQL数据库之间的差距。

Kudu表具有由一个或多个列组成的主键,并使用诸如游程编码,差分编码和向量化位打包等高效地存储读取数据。它旨在与结构化数据一起使用,支持低延迟随机访问以及高效的分析访问模式。对于“NoSQL”的访问,程序员可以选择Java,C ++或Python API。

Kudu在Hadoop集群中扮演着“好公民”的角色,程序员可以使用Java客户端从现场实时数据源将数据流传输到Kudu,然后使用Spark,Impala或MapReduce立即处理。程序员甚至可以透明地将Kudu表与其他Hadoop存储(如HDFS或HBase)中的数据进行连接。它可以与HDFS DataNodes共享数据磁盘,并且轻负载下的RAM占用空间小至1 GB。

C ++和Java客户端库已经在新版本中进行了更新,因此可以改变存储属性(如编码和压缩)以及现有列的默认值。C ++客户端库附带一个实验性的KuduPartitioner API,程序员可以使用它来有效地将行映射到相关联的分区和主机。Java客户端库也已更新,以支持扫描仪上的容错功能。

Kudu现在具有在服务器上存储的所有数据上计算,存储和验证校验和的可选功能。要知道,以前的版本只对存储数据的某些部分执行校验和。

Kudu Web界面的可用性得到改进,特别是对于服务器托管许多平板电脑或具有许多分区的情况,并在可切换部分下显示完整列表。

维护也得到了改进。它可以更好地利用已配置的维护线程,并且当内存消耗超过配置的进程范围的60%时,将主动调度内存中的数据进行刷新。

Kudu命令行工具也通过新的高级管理命令得到改进。

相关推荐