Windows上的Hadoop+HBase集群:未找到winutils
我试图在Windows上设置一个完全分布的4节点Dev群集,Hadoop 2.20和HBase 0.98.我已经成功地在Windows上构建了Hadoop,最近也在Windows上构建了HBase. 我们已经成功地从Hadoop安装指南中运行了WordCount示例,以及自定义的WebHDFS作业.由于HBase在Windows上完全分布尚不支持,因此我在Cygwin下运行HBase. 尝试从我的主(./bin/start-hbase.sh)启动HBase时,我会收到以下错误: 2014-04-17 16:22:08,599 ERROR [main] util.Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop bi
0 2023-12-06
编程技术问答社区
连接到在Docker中运行的HBase
i不能连接到Windows上Docker中运行的HBase( banno/hbase-antalone 图像是使用: docker run -d -p 2181:2181 -p 60000:60000 -p 60010:60010 -p 60020:60020 -p 60030:60030 banno/hbase-standalone 我还设置了boot2docker-vm上的端口转发(在Windows上运行时需要): 我可以成功地telnet到我的本地主机上的所有这些端口. 接下来,这是我们在测试中使用的代码样本: Configuration config = HBaseConfiguration.create(); config.clear(); config.setInt("timeout", 12000); config.set("zookeeper.znode.parent", "/hbase"); config.set("hbase.zookeep
0 2023-12-06
编程技术问答社区
无法验证存储在hbase中的抓取的数据
我曾使用HBASE作为存储后端使用" Nutch"爬行网站.我已经提到了这个教程链接 - http://wiki.apache.org/nutch/Nutch2Tutorial. Nutch版本为2.2.1,HBase版本0.90.4和SOLR版本4.7.1 这是我使用的步骤 - ./runtime/local/bin/nutch注入URL ./runtime/local/bin/nutch生成-topn 100 -Adddays 30 ./runtime/local/bin/nutch fetch -all ./runtime/local/bin/nutch fetch -all ./runtime/local/bin/nutch UpdatedB ./runtime/local/bin/nutch solrindex http://localhost:8983/solr/ -all 我的url/seed.txt文件包含 - http
4 2023-11-30
编程技术问答社区
用主机系统上的客户端访问虚拟机中运行的HBase
我尝试使用客户端程序编写一些数据 hbase @ hadoop从cloudera @ ubuntu的预配置VM中运行. 客户端在托管VM并直接在VM Works中运行客户端的系统上运行. 所以现在我想使用VM之外的客户端来访问VM 上的服务器 我正在使用nat. 为了能够访问HBASE Master之类的服务器,Hue..在VM上运行我在Virtual Box中配置了端口转发:因此,我可以到达HBase Master的概述站点,色调.. 我创建的VM上的服务器运行客户端 hbase-site.xml具有内容: hbase.zookeeper.quorum localhost hbase.zookeeper.proper
0 2023-11-19
编程技术问答社区
org.apache.flink.table.api.ValidationException: Unable to create a sink for writing table 'default_catalog.default_database.hTable';
我试图将Flink 1.14.4与HBASE版本2.2.14连接起来; 我被添加了HBase SQL连接器Jar flink-sql-connector-HBase-HBase-HBase-2.2-1.15.2.2.2.jar,但对于版本2.2.x,因为这是JAR的最后版本. 但是我有以下错误: py4j.protocol.Py4JJavaError: An error occurred while calling o1.executeSql. : org.apache.flink.table.api.ValidationException: Unable to create a sink for writing table 'default_catalog.default_database.hTable'. Table options are: 'connector'='hbase-2.2' 'table-name'='test' 'zookeeper.quorum'=
0 2023-11-18
编程技术问答社区
我如何用HDFS 3.1.0设置HBase?
HDFS 2.7是HBASE 2.0.0的默认版本. 对于HBase稳定版本,它是2.5. 我刚开始使用3.1.0版的HDFS群集.如何使HBASE使用它? 我收到hsync错误消息. 编辑 我知道我必须替换所有这些JAR文件? hadoop - * - 2.7.4.jar 解决方案 如果您参考 hadoop and Hbase and Hbase and Hbase (NT代表"未测试"). 您也可以通过观看Jira HBase-20540来跟踪Hadoop 3的兼容性. [伞] Hadoop 3兼容性
2 2023-11-17
编程技术问答社区
如何在hbase中为一个行键设置不同的值,但时间戳相同?
我是HBase的新手.当将文本文件从文本文件加载到HBASE中时,我将面临问题.假设我有下表: Key_id | f1:c1 | f2:c2 row1 'a' 'b' row1 'x' 'y' 当我解析2记录并同时将其放入HBASE时(相同的时间戳),则仅更新版本{row1 'x' 'y'}.这是解释: 将数据放入HBase时,需要一个时间戳.时间戳可以由区域服务器自动生成,也可以由您提供.时间戳必须为​​每个版本的给定单元格是唯一的,因为时间戳标识了版本.例如,要修改单元格的先前版本,您将对数据本身的值发行不同,但是时间戳. 我正在考虑指定时间戳的想法,但我不知道如何自动设置时间戳以进行散装,并且它会影响加载性能吗?我需要大数据最快且安全地导入过程. 我试图解析并将每个记录放入表格中,但是速度非常慢……所以另一个问题是:在将HBASE放入HBASE之前,应在批处理中有多少个数据/大小. (我编写了一个简单的Java程序.它比我
2 2023-11-17
编程技术问答社区
用C#使用Hbase
如何使用C#/vb.net的HBase数据库? (使用=连接,查询,获取结果,插入,更新,删除) 我找不到Google的有用答案. 解决方案 我刚刚发布了HBase C#Thrift绑定为Nuget软件包. 另外,您可以从bitbucket获取代码/二进制文件:/下载 其他解决方案 来自 休息的Web服务网关 支持XML,Protobuf和二进制 数据编码选项 有一个其他解决方案 HBase C#节俭效果很好.只需在Windows机器上下载最新的Thrift-0.9.2.exe,Thrift.dll和Hbase.thrift文件即可.您可以使用以下命令生成所需的C#文件: thrift-0.9.2.exe -gen csharp Hbase.thrift 您将获得以下文件: AlreadyExists.cs BatchMutation.cs ColumnDescriptor.cs Hbase.cs IllegalArgument.cs IO
4 2023-11-14
编程技术问答社区
凤凰城udf不工作
我正在尝试在Apache Phoenix中运行自定义UDF,但会出现错误.请帮助我找出问题. 以下是我的功能类: package co.abc.phoenix.customudfs; import org.apache.hadoop.hbase.io.ImmutableBytesWritable; import org.apache.phoenix.expression.Expression; import org.apache.phoenix.expression.function.ScalarFunction; import org.apache.phoenix.parse.FunctionParseNode.Argument; import org.apache.phoenix.parse.FunctionParseNode.BuiltInFunction; import org.apache.phoenix.schema.tuple.Tuple; import or
0 2023-11-10
编程技术问答社区
HBase Shell挂起/冻结
我已经在Ubuntu上安装了HBASE 0.92.1-CDH4.0.1 12.04 in 伪分发模式. hbase-master , hbase-regionserver 和 zookeeper-server 在这台计算机上运行; HDFS在另一台计算机上运行(属性 hbase.rootdir 相应地设置). 现在,我对" HBase shell"有问题:每当我提交创建表语句时,例如 create 'tbl1', {NAME => 'd', COMPRESSION => 'GZ'} 外壳悬挂(它不会返回任何东西;永远等待),我必须用ctrl+c杀死它.但是,命令总是被执行,当我在" HBase shell"中提交"列表"命令时,该表被列出.另外,可以通过默认端口60010访问Web-UI,并且在用户表下列出了创建的表.我已经清洁了HDFS上的HBase目录,清洁了Zookeeper日志,更正了主机文件(更改了127.0.1.1.1至127.0.0.1).这个问题的
8 2023-11-02
编程技术问答社区
无法分配所要求的地址
cat/ett/hosts 127.0.0.1 localhost.localdomain localhost #192.168.0.105 UG-BLR-L030.example.com UG-BLR-L030 localhost 192.168.0.105 UG-BLR-L030 localhost.localdomain localhost # The following lines are desirable for IPv6 capable hosts ::1 ip6-localhost ip6-loopback fe00::0 ip6-localnet ff00::0 ip6-mcastprefix ff02::1 ip6-allnodes ff02::2 ip6-allrouters core-site.xml hadoop.tmp.dir
4 2023-11-01
编程技术问答社区
在bigtable衍生工具中存储大量有序的时间序列数据
我试图确切地弄清楚这些新的数据存储,例如Bigtable,HBase和Cassandra. 我使用大量的股票市场数据,数十亿行的价格/报价数据,这些数据每天可以累加100千兆字节(尽管这些文本文件通常至少会压缩至少一个数量级).这些数据基本上是几个数字,两个或三个短字符串和一个时间戳(通常是毫秒).如果我必须为每一行选择一个唯一的标识符,则必须选择整个行(因为交换可能会在同一毫秒中为同一符号生成多个值). 我想将这些数据映射到Boogtable(我包括其衍生产品)的最简单方法是按符号名称和日期(可能返回非常大的时间序列,超过百万个数据点并非闻所未闻).从阅读他们的描述,看起来多个键可以与这些系统一起使用.我还假设小数是钥匙的好候选者. 其中一些系统(例如,Cassandra)声称能够进行范围查询.在给定的一天,上午11:00至下午1:30之间,我可以有效地查询MSFT的所有值吗? 如果我想在所有符号上搜索给定的一天,并请求所有具有$ 10到$ 10.25的符号(所
6 2023-10-21
编程技术问答社区
python3.5 thrift cybin.ProtocolError。没有协议版本头
Traceback (most recent call last): File "", line 1, in File "/hskj/anaconda3/lib/python3.5/site-packages/happybase/connection.py", line 242, in tables names = self.client.getTableNames() File "/hskj/anaconda3/lib/python3.5/site-packages/thriftpy/thrift.py", line 198, in _req return self._recv(_api) File "/hskj/anaconda3/lib/python3.5/site-packages/thriftpy/thrift.py", line 210, in _recv fname, mtype, rseqid = s
10 2023-10-20
编程技术问答社区
Cloudera/CDH v6.1.x + Python HappyBase v1.1.0: TTransportException(type=4, message='TSocket read 0 bytes')
编辑:这个疑问和答案适用于主题行中所述例外的任何人: ttransportException(type = 4,message ='tsocket读取0 bytes');是否涉及Cloudera和/或Happybase. 根问题(结果是)源于protocol和/或transport格式上的client-side上的不匹配,而server-side正在实现server-side,并且任何客户端/服务器折磨都可能发生.我的恰好是 cloudera和happybase,但您不必是,您可以遇到同样的问题. 最近有人尝试使用happybase v1.1.0 (latest) python软件包与Cloudera CDH v6.1.x上的Hbase交互 我正在尝试各种选择,但要继续得到例外: thriftpy.transport.TTransportException: TTransportException(type=4, message='TSocket read 0 byt
12 2023-10-20
编程技术问答社区
Python3连接到Kerberos Hbase thrift HTTPS
我们有Python3应用程序可以连接到HBase和获取数据. 连通性与Kerberos HBase thrift二进制协议(在TSOCKETCOCK)(在TSOCKETS中)运行良好,直到Hadoop团队将Hadoop System移至Cloudera和Cloudera Manager,启动Kerberos HBase在HTTPS模式下进行thrift. 现在,协议从tsocket更改为http/htps,而python代码无法使用sasl kerberos进行身份验证. 当前使用的python版本使用ins python 3.6.8 和包装版本 节日= 0.13.0 hbase-thift = 0.20.4 pure_sasl = 0.5.1 在tsocket模式下工作代码: ############# from thrift.transport import TSocket,TTransport from thrift.pr
8 2023-10-20
编程技术问答社区
为什么HBase Thrift API总是返回一个thrift客户端连接?
对于每个节俭的API调用(在Erlang中使用HBase Thrift)API返回thrift连接: erlang示例: % creating the initial connection {ok, TFactory} = thrift_socket_transport:new_transport_factory( "localhost", 9090, []), {ok, PFactory} = thrift_binary_protocol:new_protocol_factory(TFactory, []), {ok, Protocol} = PFactory(), {ok, ThiftConnection1} = thrift_client:new(Protocol, hbase_thrift), %calling a row mutation {ThriftConnection2, Result} =
6 2023-10-20
编程技术问答社区
在PHP中使用Thrift的HBase过滤语言
我正在寻找一种使用php中的HBase过滤语言的方法. hbase书的 thrift上的章节 看来是正式的,并为用户提供了一些过滤器供用户访问php中的HBase.此页面中还提供了示例PHP代码,但是我在旧货中找不到任何API(例如$client->scannerOpenWithFilterString(...)).我什至检查了 hbase 0.92.0 的节俭定义文件,但它没有scannerOpenWithFilterString>的接口. 使用的版本:Hadoop 0.20.203.0,Hbase 0.90.4和thrift 0.8.0. 有人知道如何将PHP与滤波器功能一起访问HBase? 解决方案 thrift API的HBase过滤器在V.0.92中实现 有一个名为scanneropenwithScan()的函数,该函数采用2个参数 - 表名和tscan对象. 您需要使用hbase.trift文件生成thrift的PHP类,在HBase 0.92
6 2023-10-20
编程技术问答社区
TSocket读取0字节-happybase 0.8版
我正在尝试通过HappyBase Framework版本0.8. 连接HBase 我已经开始了守护程序 - /usr/hdp/current/hbase-master/bin/hbase-daemon.sh start thrift -p 9090 from happybase.connection import Connection DEFAULT_HOST = '10.128.121.13' DEFAULT_PORT = 9090 DEFAULT_TRANSPORT = 'framed' DEFAULT_COMPAT = '0.96'` cc = Connection(DEFAULT_HOST,DEFAULT_PORT,None,True,None,'_',DEFAULT_COMPAT,DEFAULT_TRANSPORT) print(cc.tables())` 我是否需要在所有节点,HBase Master和giemionservers? 中启动节俭服
8 2023-10-20
编程技术问答社区
CDH 5中的Hbase Thrift
我正在使用node.js thrift API连接到HBase.一切都很好,直到我将CDH 4.6升级为CDH 5.升级后,我使用此脚本为Node.js重新生成了thrift api: thrift --gen js:node /opt/cloudera/parcels/CDH-5.0.0-1.cdh5.0.0.p0.47/lib/hbase/include/thrift/hbase2.thrift 用新生成的脚本替换原始node.js脚本后,一切都停止了工作. 您可以在 https://github.com/lgrcyanny/node-hbase-thift2 当我运行'get'方法时,它会返回"内部错误处理获取". 当我运行'put'方法时,它会返回"无效方法名称:'put'. 似乎新的节俭API完全不相容吗?我在这里错过了什么吗? 解决方案 HBASE随附两个thrift IDL文件: 都有一个get()方法,但是其中只有一个具有p
8 2023-10-20
编程技术问答社区
运输例外
我正在尝试导入Happybase,但在连接时会收到以下错误消息. 我已经运行了Hadoop pseudonode群集和HBase. 安装的组件的版本如下, Hadoop版本-1.0.4 HBase版本-0.94.4 HappyBase -0.4 有人可以查看以下例外情况,让我知道,是否有任何特定的特定设置或任何指导以解决此问题. 谢谢. Python 2.6.1 (r261:67515, Jun 24 2010, 21:47:49) [GCC 4.2.1 (Apple Inc. build 5646)] on darwin Type "help", "copyright", "credits" or "license" for more information. import happybase connection = happybase.Connection('localhost') Traceback (most recent call last):
8 2023-10-20
编程技术问答社区