Classpath Databricks中过期的罐子
我试图用jar附上的数据映中运行一些代码.我得到的错误与类路径中过时的jar相关联.我已经上传了最新的罐子,但是显然过时的版本仍在类路径中.有没有办法访问,查看或编辑Databricks中的类路径? 是否会删除该集群并构建一个新集群解决问题? 对不起,我对班级路径的熟悉为0%.谢谢 解决方案 我弄清楚了. Scala笔记本,使用此代码: val jarfiles = dbutils.fs.ls("dbfs:/FileStore/jars") .map(_.path) .filter(_.indexOf("your pattern") > -1) jarfiles.foreach(dbutils.fs.rm(_)) 用罐子的名称替换"您的图案"(但不够常见以删除其他罐子). 重新启动群集,繁荣
0 2024-03-01
编程技术问答社区
Apache Spark。导入罐子
我在Windows机器上使用Apache Spark. 我是相对较新的,在将代码上传到集群之前,我正在本地工作. 我编写了一个非常简单的Scala程序,一切正常: println("creating Dataframe from json") val sqlContext = new org.apache.spark.sql.SQLContext(sc) val rawData = sqlContext.read.json("test_data.txt") println("this is the test data table") rawData.show() println("finished running") 程序正确执行.我现在想添加一些处理,这些处理调用一些我预先包装在JAR文件中的简单Java功能.我正在运行Scala外壳. 正如它在入门页面上所说的那样,我使用以下方式启动了外壳 c:\Users\eshalev\Desktop\spark-1.4.1-
0 2024-02-29
编程技术问答社区
在spark中不能在commmandline上覆盖Typesafe配置。
我在src/main/resources文件夹中具有typeafe配置application.conf,默认情况下加载. 可以通过指定: 来覆盖单个值 --conf spark.driver.extraJavaOptions=-DsomeValue="foo" 但是,指定一个完整的新的,即覆盖application.conf文件,例如: spark-submit \ --class my.Class \ --master "local[2]" \ --files foo.conf \ --conf spark.driver.extraClassPath="-Dconfig.file=file:foo.conf" \ --conf spark.driver.extraJavaOptions=-Dvalue="abcd" \ job.jar 将无法加载foo.conf.相反,将加载来自资源文件夹的原始文件. 尝试以下技巧
0 2024-02-29
编程技术问答社区
在EC2上设置spark的classpaths:spark.driver.extraClassPath和spark.executor.extraClassPath
通过为MAVEN依赖性提供SparkSpath来减小应用程序JAR的尺寸: 我的群集有3个EC2实例正在运行,如果我构建具有毛衣依赖性的罐子,它会变得太大(大约100 mb),我想避免这种情况,因为jar正在在所有节点上复制,每次我运行工作. 避免我已经将Maven软件包构建为" maven package".为了解决依赖项,我已经下载了每个节点上的所有maven依赖项,然后仅在下面提供的jar路径上方提供: 我在" spark-defaults.conf "中的每个节点上添加了类路径 spark.driver.extraClassPath /home/spark/.m2/repository/com/google/code/gson/gson/2.3.1/gson-2.3.1.jar:/home/spark/.m2/repository/com/datastax/cassandra/cassandra-driver-core/2.1.5/cassand
0 2024-02-29
编程技术问答社区
如何在Spark 1.2.0中把配置文件添加到所有Spark执行器的classpath中?
我正在使用typeafe配置, https://github.com/typesafehub/config ,以参数化运行的火花工作在带有配置文件的纱线群集模式下. TypeAfe配置的默认行为是搜索类Path的资源,并使用匹配正则符合正则符合正则的名称并将其加载到您的配置类中(出于我们的目的,假设所示的文件称为application.conf).ConfigFactory.load()./p> 我能够使用--driver-class-path 将配置文件加载到驱动程序中,但是使用--conf spark.executor.extraClassPath=并未将资源放在所有执行者的类Pather上.执行者报告说,他们找不到在配置文件中确实存在的键的某个配置设置,我正在尝试将其添加到其classPath中. 使用SPARK
0 2024-02-29
编程技术问答社区
Spark中addJar()方法的用途是什么?
在火花工作中,我不知道如何导入和使用方法SparkContext.addJar()共享的罐子.似乎这种方法能够将罐子移至群集中其他节点可以访问的某个地方,但是我不知道如何导入它们. 这是一个例子: package utils; public class addNumber { public int addOne(int i) { return i + 1; } public int addTwo(int i) { return i + 2; } } 我创建一个名为addNumber的类,然后将其制作到Jar文件utils.jar. 然后,我使用以下代码创建一个火花作业: import org.apache.spark.SparkConf import org.apache.spark.SparkContext object TestDependencies { def main(args:Array[Str
0 2024-02-29
编程技术问答社区
Spark-提交的ClassNotFound异常
使用此简单示例,我在" classNotfound"异常方面遇到问题: import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf import java.net.URLClassLoader import scala.util.Marshal class ClassToRoundTrip(val id: Int) extends scala.Serializable { } object RoundTripTester { def test(id : Int) : ClassToRoundTrip = { // Get the current classpath and output. Can we see simpleapp jar? val cl = ClassLoader.getSys
0 2024-02-29
编程技术问答社区
Spark Shell使用spark-defaults.conf向Classpath添加多个驱动/Jars
我们正在使用火花壳替补模式测试各种用例,并连接到多个来源/接收器 我们需要在spark-defaults.conf文件中添加自定义驱动程序/罐子 喜欢 spark.driver.extraClassPath = /home/sandeep/mysql-connector-java-5.1.36.jar spark.executor.extraClassPath = /home/sandeep/mysql-connector-java-5.1.36.jar 但它不起作用,任何人都可以提供正确的语法 提供详细信息 解决方案 注意:在Linux Mint和Spark 3.0.1 中进行了验证 如果您是在spark-defaults.conf中设置属性,则只有在使用Spark-Submit提交作业时,Spark才会进行这些设置. 注意:Spark-Shell和Pyspark需要验证. 文件: spark-defaults.conf spark.dr
0 2024-02-29
编程技术问答社区
Hive错误: 线程 "main "中的异常 java.lang.NoClassDefFoundError: scala/collection/Iterable
当我尝试在Hive使用Spark时尝试查询Hive的表格时,我将面临错误.例如,当我这样做时: select count(*) from ma_table; 我明白了: Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/Iterable at org.apache.hadoop.hive.ql.parse.spark.GenSparkProcContext.(GenSparkProcContext.java:163) at org.apache.hadoop.hive.ql.parse.spark.SparkCompiler.generateTaskTree(SparkCompiler.java:195) at org.apache.hadoop.hive.ql.parse.TaskCompiler.compile(TaskCompil
0 2024-02-29
编程技术问答社区
火花提交在classpath中添加多个jars
我正在尝试运行一个火花程序,如果我只有一个罐子,我无法运行一个jar文件.我想添加两个位于同一位置的JAR文件.我已经尝试了以下操作,但显示了一个依赖关系错误 spark-submit \ --class "max" maxjar.jar Book1.csv test \ --driver-class-path /usr/lib/spark/assembly/lib/hive-common-0.13.1-cdh​5.3.0.jar 如何添加另一个位于同一目录中的JAR文件? 我要添加/usr/lib/spark/assembly/lib/hive-serde.jar. 解决方案 我试图通过使用spark-submit执行的Python代码连接到MySQL. 我正在使用使用Ambari的HDP沙箱.尝试了很多选项,例如--jars,--driver-class-path等,但无效. 解决方案 复制/usr/local/miniconda/l
0 2024-02-29
编程技术问答社区
使用Apache POI的 "错误:找不到符号"
这是我的代码: import java.io.FileInputStream; import java.io.IOException; import java.io.InputStream; import java.util.*; import org.apache.poi.xssf.usermodel.XSSFCell; import org.apache.poi.xssf.usermodel.XSSFRow; import org.apache.poi.xssf.usermodel.XSSFSheet; import org.apache.poi.xssf.usermodel.XSSFWorkbook; public class Reader { public static void read_excel() { File excel = new File ("C:\\Users\\Username\\Desktop\\java-Tools\
2 2024-02-29
编程技术问答社区
java.lang.NoClassDefFoundError: org/apache/poi/hssf/usermodel/HSSFWorkbook
java.lang.NoClassDefFoundError:org/apache/poi/hssf/usermodel/HSSFWorkbook 这是Java Web项目. Java项目还可以,但是在网络中,我得到了这个例外. Caused by: java.lang.ClassNotFoundException: org.apache.poi.hssf.usermodel.HSSFWorkbook at org.apache.catalina.loader.WebappClassLoader.loadClass(WebappClassLoader.java:1680) at org.apache.catalina.loader.WebappClassLoader.loadClass(WebappClassLoader.java:1526) maven依赖性:
2 2024-02-29
编程技术问答社区
通过apache poi读取excel文件(该文件在classpath中)。
我正在尝试读取(使用apache poi).xlsx文件,该文件不在文件系统中,而是在classPath中.我正在使用Maven-因此它在Resources文件夹中. 我的代码是 - InputStream resourceAsStream = MyReader.class.getClassLoader().getResourceAsStream("test.xlsx"); Workbook wb = new XSSFWorkbook(resourceAsStream); 我得到了这个例外. Caused by: java.lang.IllegalArgumentException: MALFORMED at java.util.zip.ZipCoder.toString(ZipCoder.java:58) ~[?:1.7.0_51] at java.util.zip.ZipInputStream.readLOC(ZipInpu
0 2024-02-29
编程技术问答社区
用-cp选项执行时,无法加载类。
Java用-CP选项执行时无法找到类文件 javac -cp ~/softwares/pig-0.12.0/pig-0.12.0.jar PR.java 汇编成功.但是,当我运行上面生成的类时,我会遇到错误 java -cp ~/softwares/pig-0.12.0/pig-0.12.0.jar PR Error: Could not find or load main class PR 如果我删除-cp,我要低于错误,这是预期的 java PR Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/pig/PigServer at PR.runPigScript(PR.java:9) at PR.main(PR.java:21) Caused by: java.lang.ClassNotFoundException: org.apache.pig.P
0 2024-02-28
编程技术问答社区
如何在build.gradle中指定 "pig-0.13.0-h2.jar "的依赖性?
要在我的项目中指定Maven依赖性,我提供了 name ,A 组ID 和A 版本.对于我的项目中的每个依赖性,这已经足够了. 具体来说,我需要pig-0.13.0-h2.jar.但是,当我提供依赖项 时 compile "org.apache.pig:pig:0.13.0" 在我的build.gradle中,仅下载了pig-0.13.0.jar,pig-0.13.0-sources.jar和pig-0.13.0.pom.我需要"*-h2.jar",因为那是与我的hadoop版本一起使用的正确的. 是否有一种方法可以告诉Gradle(通常是Maven或其他),我的编译依赖性需要 这个确切的jar ,并且只能包含在classpath中? 解决方案 您需要的是指定 apply plugin: 'java' repositories { mavenCentral() } dependencies { compile "org.apache.pig:pig:0.13.0:h2
0 2024-02-28
编程技术问答社区
Slf4j和classpath的错误
我会执行一个Maven项目,但我的班级路径不正确... 我尝试了许多可能性,没有找到任何解决方案. 汇编成功了,但是当我启动程序时,我会有以下错误: [root@sandbox kafka-log-appender]# java -cp "target/kafka-log-appender-1.0-SNAPSHOT.jar:log4j-1.2.17.jar" com.log.kafka.RogueApplication Exception in thread "main" java.lang.NoClassDefFoundError: org/slf4j/LoggerFactory at com.log.kafka.RogueApplication.(RogueApplication.java:11) Caused by: java.lang.ClassNotFoundException: org.slf4j.LoggerF
0 2024-02-28
编程技术问答社区
如何运行以下命令来测试kafka服务器是否正确安装?
我也安装了kafka和Zookeeper. Zookeeper工作正常.但是,当我尝试运行KAFKA服务器时,我会收到以下错误.请帮助我解决这个问题.先感谢您!!! 命令从c:\ kafka-0.9.0.1: 运行 .\bin\windows\kafka-server-start.bat .\config\server.properties 错误消息: classpath是空的.请先构建该项目,例如通过运行" gradlew jarall" 解决方案 安装Kafka时,您是否从源下载或二进制下载下载?当您下载源分发时,会发生此问题. 要解决此问题,请通过二进制下载链接下载: kafka 0.11.0.0二进制 另外,Windows的BAT文件似乎存在一些问题,因此我建议在此处遵循该指南: 使用指南中链接的github存储库中的bat文件. 其他解决方案 要解决此问题,修改 \ bin \ windows \ windows \ kafk
0 2024-02-28
编程技术问答社区
Spring webservicetemplate jar与Axis2的冲突问题
我在应用程序中都使用Spring Web服务和AXIS2.它们是完全独立的,效果很好,除了Spring WebServiceTemplate开始抛出下面的例外. 我怀疑这是因为春季需要saaj.jar(具有javax.xml.soap.soapelement)和axis2需要agiom-dom.jar(它具有org.apache.apache.apache.axiom.om.om.im.impl.impl.impl.dom.elementimpl) 两个接口都扩展了org.w3c.dom..dom. 除了将axiom-dom.jar重命名为z-axiom-dom.jar以外,我可以做什么,以防止春季在运行时拾取错误的实现,所以它在classpath之后? com.sun.xml.wss.xwssecurityexception:com.sun.xml.wss.xwssecurityexception: java.lang.classcastexception:org.
0 2024-02-28
编程技术问答社区
Axis2客户端的最小classpath是什么?
我想构建一个axis2客户端(我只访问远程Web服务,我不是实现一个!),我不想将21MB的JARS添加到我的项目.当我用ADB转换WSDL时,我必须放入POM.xml中以编译代码? 解决方案 (注意:此反应由Aaron Digulla本人提供.下面是他自己答案的确切文字.) 在Maven2中,使ADB客户端工作的最小依赖设置(如您从WSDL创建Java类的方式," ADB")是: org.apache.axis2 axis2-kernel 1.4.1 org.apache.axis2
0 2024-02-28
编程技术问答社区