写个简单的例子,帮助学习分布式Hadoop框架。
在Eclipse里新建一个工程,名字随便取个好了,TestHadoop
新建一个类,类名也随便取好了,TestHadoop
类的代码如下:
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class TestHadoop{
/**
* @param args
*/
public static void main(String[] args) {
// TODO Auto-generated method stub
Configuration conf = new Configuration();
try {
FileSystem fs = FileSystem.get(conf);
Path f = new Path("hdfs:///test.txt");
FSDataOutputStream os = fs.create(f, true);
int i = 0;
for (i = 0; i < 100; ++i) {
os.writeChars("test");
}
os.close();
} catch (Exception e) {
// TODO: handle exception
e.printStackTrace();
}
}
}
(先把hadoop的架包添加进去)
代码的意思是在 hdfs 的根目录下新建一个文件 test.txt
Path f = new Path("hdfs:///test.txt");
FSDataOutputStream os = fs.create(f, true);
然后在文件里循环写100个test字符串
接下来是打包成 TestHadoop.jar (在Eclipse里打包很简单。不说了)
然后把TestHadoop.jar放在 hadoop/bin 目录下
然后进入Hadoop 的bi n目录,然后依次完成如下的五步操作:
(1)查看当前目录,检查TestHadoop.jar 是否存在:ls
(2)查看Hadoop根目录下是否存在 test.txt文件:./hadoop fs-ls /
(3)运行TestHadoop.jar ,以生成test.txt文件:
./hadoop jar ./TestHadoop.jar TestHadoop
(4)再查看Hadoop 根目录下是否存在test.txt文件:./hadoop fs-ls /
(5)检查test.txt文件的内容:./hadoop fs -cat /test.txt
OK了
分享到:
相关推荐
在Windows上使用eclipse编写Hadoop应用程序
hadoop 云计算 mdfs mapreduce
19 在Windows 上使用eclipse 编写Hadoop 应用程序 24 在Windows 中使用Cygwin 安装HBase 28 Nutch 与Hadoop 的整合与部署 31 在Windows eclipse 上单步调试Hive 教程 38 Hive 应用介绍 42 Hive 执行计划解析 50 ...
1 Hadoop介绍 2 Hadoop在国内应用情况 ...19 在Windows上使用eclipse编写Hadoop应用程序 24 在Windows中使用Cygwin安装HBase 28 Nutch 与Hadoop的整合与部署 31 在Windows eclipse上单步调试Hive教程 38 Hive应用介绍
03-hadoop应用场景.avi 04-hadoop对海量数据处理的解决思路.avi 05-hadoop版本选择和伪分布式安装.avi 06-hadoop版本选择和伪分布式安装2.avi 07-hdfs&mapreduce;测试.avi 08-hdfs的实现机制初始.avi 09-hdfs...
(2)编写MepReduce程序 (3)调试和运行MepReduce程序 (4)完成上课老师演示的内容 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 二、实验内容 1.单词计数实验(wordcount) (1)输入...
【大数据入门笔记系列】第五节 SpringBoot集成hadoop开发环境(复杂版的WordCount)前言环境清单创建SpringBoot项目创建包创建yml添加集群主机名映射hadoop配置文件环境变量HADOOP_HOME编写代码添加hadoop依赖jar包...
使用Eclipse编写Spark应用程序(scala)(建议) 121 使用Eclipse编写Spark应用程序(java+maven) 123 使用Eclipse编写Spark应用程序(java) 128 Storm安装和使用 130 使用Eclipse编写Storm程序(maven) 134 ...
《Hadoop实战》分为3个部分,深入浅出地介绍了Hadoop框架、编写和运行Hadoop数据处理程序所需的实践技能及Hadoop之外更大的生态系统。《Hadoop实战》适合需要处理大量离线数据的云计算程序员、架构师和项目经理阅读...
Linux Hadoop 分布式配置 和使用 Hadoop分布式配置 Hadoop使用: HDFS、Hadoop用户管理、Hadoop作业提交、Hadoop应用程序编写
052 完成MyWordCount程序编写 053 打包运行MyWordCount程序并监控Job运行 054 优化MyWordCount程序和讲解GenericOptionsParser 055 安装Hadoop Eclipse插件并使用Eclipse查看文件系统 056 使用Eclipse运行...
03-hadoop应用场景.avi 04-hadoop对海量数据处理的解决思路.avi 05-hadoop版本选择和伪分布式安装.avi 06-hadoop版本选择和伪分布式安装2.avi 07-hdfs&mapreduce;测试.avi 08-hdfs的实现机制初始.avi 09-hdfs...
2. 学会在Spark Shell中编写Scala程序; 3. 学会在Spark Shell中运行Scala程序。 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 三、实验内容 (一)Spark基础知识 (1)输入start-...
二、 课程的任务 通过本课程的学习,使学生学会搭建Hadoop完全分布式集群,掌握HDFS的原理和基础操作,掌握MapReduce原理架构、MapReduce程序的编写。为将来从事大数据挖掘研究工作以及后续课程的学习奠定基础。
风筝应用[ ] Kite Apps是一种用于在Hadoop和Kite上编写,部署和管理应用程序的规范方法。 开发人员使用简单的流利的Java API来安排Crunch或Spark作业,并将其连接到Kite视图作为输入和输出。 该库处理所有调度工作,...
Hadoop的I/O、MapReduce应用程序开发;MapReduce的工作机制;MapReduce的类型和格式;MapReduce的特性;如何构建Hadoop集群,如何管理Hadoop;Pig简介;Hbase简介;Hive简介;ZooKeeper简介;开源工具Sqoop,最后还...
Hadoop是Apache的一款开源框架,使用java语言编写,可以通过编写简单的程序来实现大规模数据集合的分布式计算。工作在Hadoop框架上的应用可以工作在分布式存储和计算机集群计算的环境上面。 Hadoop具有高扩展性,...
1. 掌握Spark常用操作。 2. 理解Spark常用API的使用。 3. 掌握编写Spark独立应用程序。编写一个Spark应用程序,对某个文件中的单词进行词频统计。
Hadoop是Apache的一款开源框架,使用java语言编写,可以通过编写简单的程序来实现大规模数据集合的分布式计算。工作在Hadoop框架上的应用可以工作在分布式存储和计算机集群计算的环境上面。 Hadoop具有高扩展性,...
Hadoop和Cascading在ShareThis的应用 总结 在Apache Hadoop上的TB字节数量级排序 使用Pig和Wukong来探索10亿数量级边的 网络图 测量社区 每个人都在和我说话:Twitter回复关系图 (度)degree 对称链接 社区提取 ...