请教如何在hadoop获取数据 hadoop 集群怎么导入和查询数据
请教如何在hadoop获取数据
我们的一些应用程序中，常常避免不了要与数据库进行交互，而在我们的hadoop中，有时候也需要和数据库进行交互，比如说，数据分析的结果存入数据库，
或者是，读取数据库的信息写入HDFS上，不过直接使用MapReduce操作数据库，这种情况在现实开发还是比较少，一般我们会采用Sqoop来进行数
据的迁入，迁出，使用Hive分析数据集，大多数情况下，直接使用Hadoop访问关系型数据库，可能产生比较大的数据访问压力，尤其是在数据库还是单机
的情况下，情况可能更加糟糕，在集群的模式下压力会相对少一些。
那么，今天散仙就来看下，如何直接使用Hadoop1.2.0的MR来读写操作数据库，hadoop的API提供了DBOutputFormat和
DBInputFormat这两个类，来进行与数据库交互，除此之外，我们还需要定义一个类似JAVA
Bean的实体类，来与数据库的每行记录进行对应，通常这个类要实现Writable和DBWritable接口，来重写里面的4个方法以对应获取每行记
hadoop 集群怎么导入和查询数据
导入数据可以直接用put命令将本地数据上传到HDFS。
如果是数据库里的数据可以使用sqoop将数据导入HDFS。
查询数据可以使用hive，也可以写一些MapReduce程序来处理数据
如何利用hadoop实现 准实时的ip登录次数查询
1. Spark Streaming 是Apache Spark 中最有趣的组件之一。
2. 利用Spark Streaming，你可以通过使用与处理批量加载数据相同的API来创建数据管道，并通过数据管道处理流式数据。
3. 此外，Spark Steaming的“micro-batching”方式提供相当好的弹性来应对某些原因造成的任务失败。
使用hadoop进行数据的查询怎么提高效率?
三个层面：
HDFS: 参数调优、备份数、硬件性能、网络性能等等
HBase: 数据表的设计：如rowkey的设计，参数调优等。
MapReduce: 用户自己的程序的设计、实现的好坏等等。
以上都可能影响到查询效率。
如何用Hive访问Hadoop上数据
步骤
Hive提供了jdbc驱动，使得我们可以连接Hive并进行一些类关系型数据库的sql语句查询等操作，首先我们需要将这些驱动拷贝到报表工程下面，然后再建立连接，最后通过连接进行数据查询。
拷贝jar包到FR工程
将hadoop里的hadoop-common.jar拷贝至报表工程appname/WEB-INF/lib下；
将hive里的hive-exec.jar、hive-jdbc.jar、hive-metastore.jar、hive-service.jar、libfb303.jar、log4j.jar、slf4j-api.jar、slf4j-log4j12.jar拷贝至报表工程appname/WEB-INF/lib下。
配置数据连接
启动设计器，打开服务器>定义数据连接，新建JDBC连接。
在Hive 0.11.0版本之前，只有HiveServer服务可用，在程序操作Hive之前，必须在Hive安装的服务器上打开HiveServer服务。而HiveServer本身存在很多问题（比如：安全性、并发性等）；针对这些问题，Hive0.11.0版本提供了一个全新的服务：HiveServer2，这个很好的解决HiveServer存在的安全性、并发性等问题，所以下面我们分别介绍HiveServer和HiveServer2配置数据连接的方式。
HiveServer
数据库驱动:org.apache.hadoop.hive.jdbc.HiveDriver；
URL:jdbc:hive://localhost:10000/default
注：hive服务默认端口为10000，根据实际情况修改端口；另外目前只支持默认数据库名default，所有的Hive都支持。
测试连接，提示连接成功即可。
数据库驱动:org.apache.hive.jdbc.HiveDriver；
URL:jdbc:hive2://localhost:10000/default
注：该连接方式只支持Hive0.11.0及之后版本。
如何使用Hadoop提升Hive查询性能
将原始数据大小为260M的txt文件放入hdfs。并配置了Hive环境做数据查询测试。由于原始数据太小，要做GB以上的文件测试。
并且分别拷贝10、50、100、200、300、400、500份原始数据做成对应的大数据文件。
分别对这些数据使用hiveQL查询相同的数据，然后记录不同大小的数据查询的结果。做成一个图表。然后再添加一个slave计算节点，负载均衡后再使用相同的hiveQL语言查询相同的数据集，记录对应的结果。