Hadoop 入门
首页 专栏 hadoop 文章详情 0 Hadoop 入门 想你就写信 发布于 2 月 1 日 1 大数据概率 大数据是指在一定时间内无法用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多
Hadoop“Permission denied（publickey，password，keyboard-interactive）”警告
我正在关注this教程，以便在我的计算机中安装Hadoop。完成安装后，当我尝试使用此命令./start-dfs.sh启动Hadoop时，它返回以下内容： U:sbin U$ ./start-dfs.sh Starting namenodes on [localhost] localhost: U@
livy 安装并集成kerberos
使用原因：因为griffin需要安装livy组件的支持，所以需要安装livy提交spark任务。 版本说明: Livy版本0.7 spark版本CDH6.2-spark2.4 安装 （1）下载apache livy 下载地址：https://github.com/apache/incubator-l
如何在写入hive orc表时合并spark中的小文件
我正在从s3读取csv文件并将其作为orc写入hive表。在写作时，它写的是很多小文件。我需要合并所有这些文件。我有以下属性集： spark.sql("SET hive.merge.sparkfiles = true") spark.sql("SET hive.merge.mapredfiles
idea远程连接hadoop(macOS)
windows系统可直接参考 因为mac系统的idea中图标位置不太一样, hadoop安装位置也不一样, 所以这里补充我在mac上的配置方式. 前提是电脑中已经安装有hadoop 首先下载安装jdk8官网下载JDK8我的电脑上原本有JDK11, 但是hadoop对于JDK9以上的配置对于我这个新手
Hadoop学习笔记—Yarn
首页 专栏 hadoop 文章详情 0 Hadoop学习笔记—Yarn 西北偏北 发布于 4 月 10 日 Hadoop学习笔记—Yarn @(Hadoop)[hadoop, yarn] [TOC] 上一份工作主要负责大数据平台的建设，在这个过程中积累了一些H
hadoop3.X完全分布式集群搭建
五台机器已经配好ip地址和免秘钥登录，文中不在赘述，有疑问的同学可自行百度，另外本集群采用非root用户搭建，很多命令都带有sudo，若使用root用户搭建，可忽视，如果你也使用非root用户，请特别注意，免秘钥也是非root用户 集群规划 hadoop1 hadoop2 hadoop3 hado
使用spark-submit部署程序时的java.lang.NoSuchMethodError
我正在编写一个程序来将数据上传到某个s3a：//链接。该计划是通过mvn install编制的。在本地运行程序（如使用java -jar jarfile.jar）没有返回任何错误。但是，当我使用spark-submit（如使用spark-submit jarfile.jar）时，它返回了这样的错误：
hdfs命令的那点事
首页 专栏 shell 文章详情 0 hdfs命令的那点事 lang 发布于 2 月 26 日 背景 时间：2021年02月26日13:58:26 简要步骤： 确定命令是什么？ 确定命令的位置是是哪里？ 确定命令执行的主类是哪一个？ 按照执行流程查看 例子：发现hd
Hadoop学习笔记—HDFS
首页 专栏 hadoop 文章详情 0 Hadoop学习笔记—HDFS 西北偏北 发布于 4 月 3 日 [TOC] 上一份工作主要负责大数据平台的建设，在这个过程中积累了一些Hadoop生态组件的搭建和使用笔记，由于时间关系，不打算去修改其中的错别字和排版问
启动yarn失败，明明端口没有被占用，但是仍然无法连接？
如题，用vm虚拟机创建了几个linux主机，hadoop102机器为master，slave机器hadoop103上指定ResourceManager。在hadoop102上启动yarn失败，log中报错： cause: org.apache.hadoop.yarn.exceptions.YarnR
如何解释numpy.correlate和numpy.corrcoef返回的值？
我有两个1D数组，我想看看它们之间的相互关系。我应该在numpy中使用什么程序？我正在使用numpy.corrcoef(arrayA, arrayB)和numpy.correlate(arrayA, arrayB)，但都给出了一些我无法理解或理解的结果。 有人可以阐明如何理解和解释这些数值结果（最好
加载更多