Spark历史UI不工作 | Ambari | YARN
我使用Ambari的Hadoop群集设置,该设置具有HDFS,YARN,SPARK在主机上运行的服务. 当我以群集模式作为主纱线运行示例Spark Pi时,该应用程序将成功执行,我可以从资源管理器日志中查看相同的操作. 但是,当我单击"历史记录链接"时,它不会显示Spark History UI.如何启用/查看相同? 解决方案 首先,通过在 spark-defaults.conf 文件中查找spark.yarn.historyServer.address来检查您的Spark-History Server是否已配置. 如果未配置,此链接应帮助您配置服务器: https://docs.hortonworks.com/hdpdocuments/hdp2/hdp2/hdp2/hdp-2.3.6/bk_installing_manaly_book/content/content/ch19s04s04s01.html 如果已经配置了
0 2024-02-29
编程技术问答社区
Spark字数断言失败:不安全符号Unstable
我使用Hortonworks Ambari安装了HDF,纱线和Spark.我编写了简单的程序来阅读/阅读给HDFS,Map-Reduce WordCount,都很好. 然后我尝试测试火花.我从官方Spark示例中复制了"计数"程序: public final class JavaWordCount { private static final Pattern SPACE = Pattern.compile(" "); public static void main(String[] args) throws Exception { if (args.length
2 2024-02-29
编程技术问答社区
我怎样才能在HDP上的自定义版本中以无头模式运行spark?
如何在无头模式下运行火花? 当前,我在群集上在HDP 2.6.4(即2.2安装)上执行Spark. 我从现在尝试运行时,我会关注:export SPARK_DIST_CLASSPATH=$(hadoop classpath) export HADOOP_CONF_DIR=/etc/hadoop/conf export SPARK_HOME=/home/>/development/software/spark_no_provided_hadoop ./bin/spark-shell --master yarn --deploy-mode client --queue > 不幸的是,它无法启动: 19/05/01 07:12:23 WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading l
0 2024-02-29
编程技术问答社区
Ambari服务器设置。OSError: [Errno 2] 没有这样的文件或目录
我正在尝试使用本教程在我的EC2实例上设置Hadoop.当我收到此错误时,我正在尝试设置Ambari服务器: [root@ip-xxx-xxx-xxx-xxx ec2-user]# ambari-server setup Using python /usr/bin/python2.6 Setup ambari-server Checking SELinux... WARNING: Could not run /usr/sbin/sestatus: OK Ambari-server daemon is configured to run under user 'root'. Change this setting [y/n] (n)? Adjusting ambari-server permissions and ownership... Checking iptables... Checking JDK... JCE Policy archive already exists,
2 2024-01-24
编程技术问答社区
哪一个是最好的。在有5台机器的物理系统上安装Apache Ambari集群,还是在有不同的5台虚拟机上安装?
嗨,我正在从事我创建5台VM的项目之一,并且在开发环境中效果很好,但是我对VM群集有一些混乱,或者需要使用物理系统群集. 解决方案 Hadoop是针对物理系统开发的,但它将在虚拟环境中取得不同程度的成功,这取决于特定的环境. 这实际上是Hadoop邮件列表上的一个常见问题,Hadoop开发人员在Hadoop Wiki文章上专门解决了:虚拟hadoop .本文涵盖了每个文章的优点/劣势,并谈论了云部署.您应该阅读本文,看看您属于哪些部署方案并评估您在VM设置中可能存在哪些问题. 其他解决方案 如果要使用虚拟机作为HDF,请小心复制.默认情况下,HDFS将所有数据存储在64MB块中,并将每个块复制到3个不同的节点.另外,至少一个复制品应位于不同的物理架子中 - 请参见"机架意识"功能.如果虚拟数据的所有3个复制品恰好位于单个物理主机/HDD上,则在硬件故障的情况下,您可能会遇到问题. 另一个潜在的警告可能是I/O性能.如果您使用基于文件的磁盘映像用于VM而不是直接
2 2023-11-20
编程技术问答社区
如何在Ubuntu 16.04LTS中禁用透明的巨大页面(THP)?
我正在设置一个Ambari群集,其中3个虚拟盒VM运行Ubuntu 16.04LTS.但是我得到以下警告: The following hosts have Transparent Huge Pages (THP) enabled. THP should be disabled to avoid potential Hadoop performance issues. 如何在Ubuntu 16.04中禁用THP? 解决方案 您是否尝试过此命令: sudo su echo never > /sys/kernel/mm/transparent_hugepage/enabled ? 另外,您可以安装 gumetpages sudo su apt-get install hugepages hugeadm --thp-never 如 @anthony ,重新启动后的效果不会在重新启动后坚持下去.重新启动后每次使用特定于分销的方法. 其他解决方案
18 2023-11-02
编程技术问答社区
如何将 RestSharp 与 Ambari Swagger 结合使用
如何通过RestSharp客户端连接到Ambari的Swagger界面? 此代码有效并返回预期JSON: HttpClientHandler handler = new HttpClientHandler { Credentials = new System.Net.NetworkCredential("xxx", "yyyyy") }; using (var httpClient = new HttpClient(handler)) { var activationUrl = "https://aaaa.azurehdinsight.net"; var uri = new Uri(activationUrl + "/api/v1/users"); var response = await http
8 2023-10-06
编程技术问答社区
在ambari hadoop安装过程中,权限被拒绝(publickey,gssapi-keyex,gssapi-with-mic,password)。
我正在尝试使用Ambari部署Hadoop群集,但是当我选择使用FQDN的主机名并继续配置时,我会获得SSH的权限. 步骤: 1.使用SSH-Keygen作为root生成RSA键. 更改了.ssh(700)和授权的权限(640) cat授权_keys的公共密钥. 并将公共密钥复制到所有主机(授权_Keys)并更改了上述文件权限. 我可以从Ambari服务器主机到所有其他主机无密码. ,但来自Ambari的hadoop安装没有以下错误. SSH command execution finished host=XXX, exitcode=255 Command end time 2015-06-23 10:44:07 ERROR: Bootstrap of host XXX fails because previous action finished with non-zero exit code (255) ERROR MESSAGE: Permission
22 2023-09-27
编程技术问答社区
如何从开源的Hadoop或公开的HDP源代码中构建deb/rpm repos,以便由ambari安装。
我正在尝试安装开源的Hadoop或从Ambari安装的来源构建HDP.我可以看到,可以使用Apache Repos中可用的文档为每个组件构建Java软件包,但是如何使用这些文档来构建由Hortonworks提供的RPM/deb软件包,用于由Ambari安装的HDP分发. 解决方案 @shivamkhandelwal从源头建造Ambari是一个挑战,但可以通过一定的持久来完成.在这篇文章中,我透露了我最近用来在CentOS中构建Ambari 2.7.5的命令: ambari bambari 2.7..5..5 CentOS 7 失败 "从源构建HDP"是非常巨大的任务,因为它需要分别构建每个组件,创建自己的公共/私人仓​​库,其中包含每个操作系统风味的所有组件存储库或rpms.这是一项巨大的任务,以前是由Hortonworks的许多员工和组件贡献者管理的. 当您从HDP安装Ambari时,它带有其存储库,包括HDP堆栈(HDFS,Yarn,MR,Hive等).当您从
20 2023-08-13
编程技术问答社区
Ranger LDAP集成用户/群组同步问题
我正在使用Ranger版本1.2.0.iam尝试与LDAP用户/组同步集成.以下是Ranger的配置. Bind User: uid=admin,o=Mobility Username Attribute : cn User Object Class​ : inetOrgPerson User Search Base : ou=Users,o=Mobility ​User Search Filter : (&(objectClass=inetOrgPerson)(cn=?)) User Search Scope : cn User Group Name Attribute : cn Group Member Attribute : member Group Name Attribute : cn Group Object Class : groupOfNames Group Search Base : ou=Groups,o=Mobility Group Search Filter
4 2023-06-19
编程技术问答社区
/bin/sh: /usr/jdk64/jdk1.7.0_45/bin/java: 无法执行二进制文件
我成功安装了Ambari服务器,但是当我尝试启动该服务器时,它说, /bin/sh: /usr/jdk64/jdk1.7.0_45/bin/java: cannot execute binary file 所以您能帮我解决这个问题. 谢谢. 解决方案 可能是错误的架构.您可能正在X32机器上运行Java X64. As @G.S mentioned in comments the same problem was disscussed at 超级用户
24 2023-06-06
编程技术问答社区
自定义Ambari服务的Ambari用户和组管理
我已经使用自定义Ambari服务了一段时间.我已经能够安装几个不同的自定义组件.我创建了几个管理包,并认为自己在使第三方服务在Ambari工作方面非常有经验. 每当我安装自定义服务时,我都会获得用户keyError,例如elasticsearch: Traceback (most recent call last): File "/var/lib/ambari-agent/cache/stack-hooks/before-ANY/scripts/hook.py", line 38, in BeforeAnyHook().execute() File "/usr/lib/ambari-agent/lib/resource_management/libraries/script/script.py", line 352, in execute method(env) File "/var/lib/ambari-agent/cache/
50 2023-05-16
编程技术问答社区
用于访问HDFS中的文件的URI
我使用包含3个节点的Ambari设置了一个集群. 现在,我想使用客户端应用程序访问HDFS中的文件. 我可以在amabari中的数据节点下找到所有节点uris. 我需要使用什么uri +端口来访问文件?我使用了默认安装过程. 解决方案 默认端口为" 8020". 您可以以3种不同的方式访问" HDFS"路径. 简单地使用"/"作为根路径 例如,例如 E:\HadoopTests\target>hadoop fs -ls / Found 6 items drwxrwxrwt - hadoop hdfs 0 2015-08-17 18:43 /app-logs drwxr-xr-x - mballur hdfs 0 2015-11-24 15:36 /tmp drwxrwxr-x - mballur hdfs 0 2015-10-20 15:27 /user 使用" hd
14 2023-05-16
编程技术问答社区
如何调整hadoop集群中的 "DataNode最大Java堆大小"?
我在Google中搜索以查找有关如何调整 - datanode最大Java Heap size size 的信息,除此之外 - /artticles/74076/datanode-high-heap-heap-size-alert.html https://docs.oracle.com/cd/e19900-01/819-4742/abeik/index.html 但找不到计算数据磁盘最大Java Heap size的值的公式 datanode最大Java堆大小的默认值是1G 我们将此值增加到5G,因为在某些情况下,我们从数据座日志中看到了有关堆大小的错误 这不是调整值的正确方法 因此 假设我们有以下Hadoop群集大小: 10个数据台机器,带有5个磁盘,而每个磁盘具有1T 每个数据节点都有32个CPU 每个数据节点都有256G内存 基于此信息,我们可以找到显示正确值的公式,以" datanode logs有关堆大小的错误"
130 2023-05-16
编程技术问答社区
使用maven构建过程在Ambari'的metainfo.xml文件中动态创建版本号
我不想将我的服务版本用于metainfo.xml,我可以吗? DUMMY_APP My Dummy APP This is a distributed app. 0.1 --------------This I don't want to hardcode, Can I doit? ... 我正在使用Maven作为我的构建工具. 解决方案 这可以通过使用Maven的资源过滤来完成.需要三个步骤: 定义将持有版本号的Maven属性 补充说Metainfo.xml文件中的过滤器标签之间的maven属性 在POM中记录了Metain
24 2023-03-23
编程技术问答社区
Ambari 2.7.5在CentOS 7上安装失败
我正在CentOS 7机器上安装Apache Ambari 2.7.5. 我正在关注 Apache网站. 指南的步骤1的最后命令 mvn -b清洁安装rpm:rpm -dnewversion = 2.7.5.0.0 -dbuildNumber = 5895E4ED6B30A2DA8A90FEE2403B6CAB91D19972 -DSKIPTESTS -KIPTESTS- 以以下错误结尾: [INFO] ------------------------------------------------------------------------ [INFO] BUILD FAILURE [INFO] ------------------------------------------------------------------------ [INFO] Total time: 01:18 min [INFO] Finished at: 2020-04-3
72 2023-03-22
编程技术问答社区
如何减少查询中的容器数量
我可以查询大量容器和许多内存. (97%使用的内存). 有没有办法设置查询中使用的容器数量并限制最大内存? 查询在tez上运行. 预先感谢 解决方案 控制映射器的数量: 映射器的数量取决于各种因素,例如如何在节点,输入格式,执行引擎和配置参数之间分布数据.另请参见 MR使用CombineInputFormat,而Tez使用分组分配. tez: set tez.grouping.min-size=16777216; -- 16 MB min split set tez.grouping.max-size=1073741824; -- 1 GB max split 增加这些数字以减少运行的映射器数量. 也在数据节点上运行的数据节点,这就是为什么手动控制映射器的数量不是一件容易的任务,也不总是可以组合输入的原因. 控制还原器的数量: 根据 确定的还原数 mapreduce.job.reduces 每个作业的默认任务的默认号码.通常将
22 2023-03-18
编程技术问答社区
获取D-Bus连接失败。操作不允许
我正在尝试在Docker Centos7映像上安装Ambari 2.6,但是在Ambari设置步骤中,恰好在初始化PostgreSQL DB时,我会收到此错误: 无法获得D-Bus连接:不允许操作 每次尝试在Docker Image上运行服务时,我都会遇到此错误. 我尝试了网中的每个解决方案,但尚无效用. 任何人都有想法如何解决吗? 预先感谢您 解决方案 使用此命令 docker run -d -it --privileged {Image ID} /usr/sbin/init 和在容器中访问根 systemctl start httpd.service 这应该起作用! 其他解决方案 在CentOS7上,所有服务都开始并通过Systemd守护程序停止. SystemCtl命令将尝试使用D -Bus频道与守护程序交谈 - 这就是消息的来源. 而不是在特权模式下运行容器(因此并非真正包含),您也可以尝试 docker-s
158 2023-03-09
编程技术问答社区
在构建ambari 2.7.5 Centos 7时出错(在ambari-admin步骤失败)。
我试图在centos 7上构建Ambari 2.7.5 per 但是,当构建到达Ambari-admin时,它会失败.那里有几篇文章描述了此设想的解决方案 - 正在编辑" ... Ambari-admin/pom.xml",并设置节点和NPM版本以匹配服务器上安装的版本. 可悲的是,这对我不起作用.而且我尝试了CentOS(Epel)随附的节点/NPM的版本,我尝试了Apache的最新节点/NPM版本,并且我尝试了较旧的版本.我编辑pom.xml文件以匹配. 最后,无论使用上述数十次尝试,它总是完全相同的失败. mvn -B clean install rpm:rpm -DnewVersion=2.7.5.0.0 -DbuildNumber=5895e4ed6b30a2da8a90fee2403b6cab91d19972 -DskipTests -Dpython.ver="python >= 2.6" [INFO] BUILD FAILURE [INFO] ----
258 2023-03-09
编程技术问答社区