Trafodion 安装所依赖的Hadoop组件

从零安装Trafodion 从零开始安装Trafodion 立即下载

鉴于网上关于安装Trafodion相关的文章较少,且大部分文章只是说明依赖Hadoop,却并没有说明需要哪些Hadoop组件,这里写一篇简短的文章说明一下。

我们知道Trafodion是一个SQL on Hadoop的数据库,准确地说是一个SQL on HBase的数据库,因为每个Trafodion表实质上是一个HBase表。因此,安装Trafodion之前,必须保证Hadoop集群中安装了HBase,而HBase又依赖于Zokeeper管理,因此Zookeeper也是必要的。当然了,HDFS也是不可或缺的,HDFS是Hadoop底层数据存储的基石。

因此,对于安装Trafodion依赖的Hadoop组件,最基本的组件是HDFS、HBase、Zookeeper。那么Hive呢?我们知道通过Trafodion不仅可以访问原生的HBase数据,也可以访问原生的Hive表,Trafodion访问Hive表实质上只需要Hive Metastore,Hive Metastore存储了所有Hive中数据结构的元数据信息。Trafodion通过Hive Metastore就可以访问Hive,无须Hive本身,更不需要MapReduce、Yarn这种组件。

概括起来,可以通过下面这幅图理解,

这里写图片描述

hadoop的外部依赖jar 有时候在eclipse上运行项目,需要引用的Hadoopjar,也就是hadoop的外部依赖,有conf,fs,io,mapreduce等等,这里列举了一部分,基本上hadoop的所有外部依赖jar含在内了,如果下载了不会使用,可以看我的第一篇博客——怎么下载hadoop安装,并在eclipse上引入hadoop外部依赖jar 立即下载

相关推荐

基于Hadoop的分布式系统依赖的所有JAR

集合Maven,hdfs,mapreduce等相关所有jar依赖

安装hadoop及其依赖组件

本地node1,node2,node3大数据环境搭建

jinying_51eqhappy的博客 906

hadoop-2.2.0依赖jar

hadoop-2.2.0开发依赖jar

hadoop依赖

hadoop-common依赖了servlet-api, jasper-runtime等可能与当前环境冲突的jar,由于这些都是通过依赖关系链产生的关系,所以非常不容易被察觉。     <dependency>       <groupId>org.apache.hadoop</groupId>       <artifactId>...

dapeng 1277

05、Hadoop框架HDFS Java API

Hadoop框架HDFS Java API

hujieliang123的博客 1264

HADOOP依赖

<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http...

denghong637573的博客 802

Hive最全总结

第一个MR Job中,Map的输出结果会随机分布到Reduce中,每个Reduce做部分聚合操作,并输出结果,这样处理的结果是相同的Group By Key有可能被分发到不同的Reduce中,从而达到负载均衡的目的;在查询时只要指定分区字段的值就可以直接从该分区查找即可。Hive通过给用户提供的一系列交互接口,接收到用户的指令(SQL),使用自己的Driver,结合元数据(MetaStore),将这些指令翻译成MapReduce,提交到Hadoop中执行,最后,将执行返回的结果输出到用户交互接口。

jane9872的博客 1246

Trafodion 安装教程

环境 操作系统:CentOS release 6.7 (Final) Hadoop版本:CDH 5.4.8 节点数:2 单节点内存:8G 安装 - Trafodion 服务器安装 - Trafodion 客户端安装 - Trafodion 安装程序

数据源的港湾 3590

trafodion/esgyn安装手册

准备工作 下载VMware Workstation安装centos虚拟机,在安装虚拟机时建议资源分配:内存16G,处理器数量:4,硬盘:100G,网络适配器选择桥接模式 配置默认用户的sodu权限 修改配置文件 vi /etc/sudoers 添加centos ALL=(ALL) ALL 调整虚拟机网络连接 修改配置文件 sudo vi /etc/sysconfig/network-scripts/ifcfg-eth0 添加如下配置: BOOTPROTO=static IPADDR=10.1

weixin_42414758的博客 405

数据库Trafodion 调研报告

1.Trafodion是啥? Trafodion是一个建立在Hadoop/HBase平台上的关系型数据库,它完全开源免费。擅长处理交易型负载的Hadoop大数据解决方案。和传统关系数据库不同的地方在于,Trafodion利用底层Hadoop的横向扩展能力,可以提供极高的扩展性。Trafodion可以借助HBase的扩展性,仅通过增加普通Linux服务器就可以增加计算和存储能力,进而支持大数据应用。 2.Trafodion的主要特性有哪些? 完整的ANSI SQL语言支持 完整的ACID事务支持。对于

Aiky哇 1124

Trafodion 开发环境搭建

Trafodion是Apache下面的开源孵化项目,既然是开源,任何人都可以修改并提交你的代码,Trafodion欢迎大家通过各种方式为开源社区贡献一份力量,最直接的方式当然是提交你的代码。要想将自己的代码提交到开源Trafodion社区,首先得准备一套自己的开发环境,有了自己的开发环境,就可以在下载下来的Trafodion源码基础上修改、编译并测试,本篇幅通过详细步骤描述如何搭建Trafodion

数据源的港湾 4164

Trafodion server --- 服务端安装

准备工作: 因为安装trafodion2.0.1版本,如果使用CHD平台,就必须使用5.4版本。(CDH5.4安装在上一篇有介绍) trafodion搭建。   1、在http://trafodion.incubator.apache.org/download.html下载 trafodion的server和installer。   2、将两个文件放到 linu

wanghui19931015的博客 2912

C 的MapReduce​框架MR4C.zip

MR4C 是 Google 开发的 C 的 MapReduce 框架,你可以在 Hadoop 架构中执行本地代码。依赖:tested with Ubuntu 12.04 and CentOS 6.5tested with CDH 5.2.0 (either MRV1 or YARN)ant (1.8.2 min)java (1.6 min)ivy (2.1 min)make (3.8.1 min)g (4.6.3 min)log4cxx (0.10.0)jansson (2.2.1 min)cppunit (1.12.1 min)proj4 (4.8.0 min)gdal (1.10 min) 标签:MR4C

Trafodion Bulk Load 初试

如在文章《Trafodion 数据加载介绍》中提到,Trafodion的Bulk Load与Tricke Load不同,Bulk Load主要是针对大数据量的且一般是批量装载的方式。Bulk Load通常使用LOAD语句实现。 下面介绍几种Bulk Load方式, 从Trafodion表加载数据从HDFS文件加载数据(Hive外部表)从Hive表加载数据从外部数据库加载数据(Sqoop t

数据源的港湾 1620

Trafodion 架构简介

介绍 Trafodion提供基于Hadoop之上的一个SQL引擎,一个可以在Hadoop大数据环境中进行操作的解决方案。 主要括: 完整的ANSI SQL标准支持对读写查询的ACID保护,提供分布式的事务保护机制能够访问多种存储引擎中的数据,括本地HBase及Hive中的数据支持对客户端应用的高可用性使用优化过的并行查询可支持大数据集的查询访问通过编译及运行期的优化使得对OLTP操作

数据源的港湾 4737

Trafodion 如何升级

如果当前Trafodion中的版本为1.3,然后希望升级到2.0,应该怎么办呢? Trafodion并不提供专门的升级工具用于将Trafodion版本从一个老的版本升级到新的版本,而是通过重装安装的方式实现。 通过官网提供的Installer重新安装便可轻松实现,但是有一个地方需要注意的事:正常的Trafodion安装完在启动Trafodion的时候通常括如下步骤:sqstart initia

数据源的港湾 711

推荐开源项目:Apache Trafodion —— 强大的SQL-on-Hadoop交易解决方案

推荐开源项目:Apache Trafodion —— 强大的SQL-on-Hadoop交易解决方案 1、项目介绍 Apache Trafodion是一款基于Hadoop的Web规模SQL解决方案,专为处理事务性或操作性工作负载而设计。其名称“Trafodion”(威尔士语中的“交易”,发音为“Tra-vod-eee-on”)巧妙地突显了该项目在Hadoop生态系统中填补的关键空白。通过扩展Had...

gitblog_00010的博客 507

浅析Trafodion体系结构

Trafodion简介 Trafodion是一个构建在Hadoop/HBase基础之上的关系型数据库,它完全开源免费。Trafodion能够完整地支持ANSI SQL,并且提供ACID事务保证。和传统关系数据库不同的地方在于,Trafodion利用底层Hadoop的横向扩展能力...

chudajin2983的博客 491
上一篇: Trafodion 处理JSON半结构化数据
下一篇: Sqoop1 与 Sqoop2
数据源的港湾
博客等级 码龄10年 256粉丝 504原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数据源的港湾

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值