1. IT宝库
  2. 编程技术问答
  3. hbase
以下是关于 hbase 的编程技术问答
Windows上的Hadoop+HBase集群：未找到winutils
我试图在Windows上设置一个完全分布的4节点Dev群集，Hadoop 2.20和HBase 0.98.我已经成功地在Windows上构建了Hadoop，最近也在Windows上构建了HBase. 我们已经成功地从Hadoop安装指南中运行了WordCount示例，以及自定义的WebHDFS作业.由于HBase在Windows上完全分布尚不支持，因此我在Cygwin下运行HBase. 尝试从我的主(./bin/start-hbase.sh)启动HBase时，我会收到以下错误: 2014-04-17 16:22:08,599 ERROR [main] util.Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop bi
0 2023-12-06
编程技术问答社区
连接到在Docker中运行的HBase
i不能连接到Windows上Docker中运行的HBase( banno/hbase-antalone 图像是使用: docker run -d -p 2181:2181 -p 60000:60000 -p 60010:60010 -p 60020:60020 -p 60030:60030 banno/hbase-standalone 我还设置了boot2docker-vm上的端口转发(在Windows上运行时需要): 我可以成功地telnet到我的本地主机上的所有这些端口. 接下来，这是我们在测试中使用的代码样本: Configuration config = HBaseConfiguration.create(); config.clear(); config.setInt("timeout", 12000); config.set("zookeeper.znode.parent", "/hbase"); config.set("hbase.zookeep
0 2023-12-06
编程技术问答社区
无法验证存储在hbase中的抓取的数据
我曾使用HBASE作为存储后端使用" Nutch"爬行网站.我已经提到了这个教程链接 - http://wiki.apache.org/nutch/Nutch2Tutorial. Nutch版本为2.2.1，HBase版本0.90.4和SOLR版本4.7.1 这是我使用的步骤 - ./runtime/local/bin/nutch注入URL ./runtime/local/bin/nutch生成-topn 100 -Adddays 30 ./runtime/local/bin/nutch fetch -all ./runtime/local/bin/nutch fetch -all ./runtime/local/bin/nutch UpdatedB ./runtime/local/bin/nutch solrindex http://localhost:8983/solr/ -all 我的url/seed.txt文件包含 - http
4 2023-11-30
编程技术问答社区
用主机系统上的客户端访问虚拟机中运行的HBase
我尝试使用客户端程序编写一些数据 hbase @ hadoop从cloudera @ ubuntu的预配置VM中运行. 客户端在托管VM并直接在VM Works中运行客户端的系统上运行. 所以现在我想使用VM之外的客户端来访问VM 上的服务器 我正在使用nat. 为了能够访问HBASE Master之类的服务器，Hue..在VM上运行我在Virtual Box中配置了端口转发:因此，我可以到达HBase Master的概述站点，色调.. 我创建的VM上的服务器运行客户端 hbase-site.xml具有内容: hbase.zookeeper.quorum localhost hbase.zookeeper.proper
0 2023-11-19
编程技术问答社区
org.apache.flink.table.api.ValidationException： Unable to create a sink for writing table 'default_catalog.default_database.hTable'；
我试图将Flink 1.14.4与HBASE版本2.2.14连接起来； 我被添加了HBase SQL连接器Jar flink-sql-connector-HBase-HBase-HBase-2.2-1.15.2.2.2.jar，但对于版本2.2.x，因为这是JAR的最后版本. 但是我有以下错误: py4j.protocol.Py4JJavaError: An error occurred while calling o1.executeSql. : org.apache.flink.table.api.ValidationException: Unable to create a sink for writing table 'default_catalog.default_database.hTable'. Table options are: 'connector'='hbase-2.2' 'table-name'='test' 'zookeeper.quorum'=
0 2023-11-18
编程技术问答社区
我如何用HDFS 3.1.0设置HBase？
HDFS 2.7是HBASE 2.0.0的默认版本. 对于HBase稳定版本，它是2.5. 我刚开始使用3.1.0版的HDFS群集.如何使HBASE使用它? 我收到hsync错误消息. 编辑 我知道我必须替换所有这些JAR文件? hadoop - * - 2.7.4.jar 解决方案 如果您参考 hadoop and Hbase and Hbase and Hbase (NT代表"未测试"). 您也可以通过观看Jira HBase-20540来跟踪Hadoop 3的兼容性. [伞] Hadoop 3兼容性
2 2023-11-17
编程技术问答社区
如何在hbase中为一个行键设置不同的值，但时间戳相同？
我是HBase的新手.当将文本文件从文本文件加载到HBASE中时，我将面临问题.假设我有下表: Key_id | f1:c1 | f2:c2 row1 'a' 'b' row1 'x' 'y' 当我解析2记录并同时将其放入HBASE时(相同的时间戳)，则仅更新版本{row1 'x' 'y'}.这是解释: 将数据放入HBase时，需要一个时间戳.时间戳可以由区域服务器自动生成，也可以由您提供.时间戳必须为​​每个版本的给定单元格是唯一的，因为时间戳标识了版本.例如，要修改单元格的先前版本，您将对数据本身的值发行不同，但是时间戳. 我正在考虑指定时间戳的想法，但我不知道如何自动设置时间戳以进行散装，并且它会影响加载性能吗?我需要大数据最快且安全地导入过程. 我试图解析并将每个记录放入表格中，但是速度非常慢……所以另一个问题是:在将HBASE放入HBASE之前，应在批处理中有多少个数据/大小. (我编写了一个简单的Java程序.它比我
2 2023-11-17
编程技术问答社区
用C#使用Hbase
如何使用C#/vb.net的HBase数据库? (使用=连接，查询，获取结果，插入，更新，删除) 我找不到Google的有用答案. 解决方案 我刚刚发布了HBase C#Thrift绑定为Nuget软件包. 另外，您可以从bitbucket获取代码/二进制文件:/下载 其他解决方案 来自 休息的Web服务网关 支持XML，Protobuf和二进制 数据编码选项 有一个其他解决方案 HBase C#节俭效果很好.只需在Windows机器上下载最新的Thrift-0.9.2.exe，Thrift.dll和Hbase.thrift文件即可.您可以使用以下命令生成所需的C#文件: thrift-0.9.2.exe -gen csharp Hbase.thrift 您将获得以下文件: AlreadyExists.cs BatchMutation.cs ColumnDescriptor.cs Hbase.cs IllegalArgument.cs IO
4 2023-11-14
编程技术问答社区
凤凰城udf不工作
我正在尝试在Apache Phoenix中运行自定义UDF，但会出现错误.请帮助我找出问题. 以下是我的功能类: package co.abc.phoenix.customudfs; import org.apache.hadoop.hbase.io.ImmutableBytesWritable; import org.apache.phoenix.expression.Expression; import org.apache.phoenix.expression.function.ScalarFunction; import org.apache.phoenix.parse.FunctionParseNode.Argument; import org.apache.phoenix.parse.FunctionParseNode.BuiltInFunction; import org.apache.phoenix.schema.tuple.Tuple; import or
0 2023-11-10
编程技术问答社区
HBase Shell挂起/冻结
我已经在Ubuntu上安装了HBASE 0.92.1-CDH4.0.1 12.04 in 伪分发模式. hbase-master ， hbase-regionserver 和 zookeeper-server 在这台计算机上运行； HDFS在另一台计算机上运行(属性 hbase.rootdir 相应地设置). 现在，我对" HBase shell"有问题:每当我提交创建表语句时，例如 create 'tbl1', {NAME => 'd', COMPRESSION => 'GZ'} 外壳悬挂(它不会返回任何东西；永远等待)，我必须用ctrl+c杀死它.但是，命令总是被执行，当我在" HBase shell"中提交"列表"命令时，该表被列出.另外，可以通过默认端口60010访问Web-UI，并且在用户表下列出了创建的表.我已经清洁了HDFS上的HBase目录，清洁了Zookeeper日志，更正了主机文件(更改了127.0.1.1.1至127.0.0.1).这个问题的
8 2023-11-02
编程技术问答社区
无法分配所要求的地址
cat/ett/hosts 127.0.0.1 localhost.localdomain localhost #192.168.0.105 UG-BLR-L030.example.com UG-BLR-L030 localhost 192.168.0.105 UG-BLR-L030 localhost.localdomain localhost # The following lines are desirable for IPv6 capable hosts ::1 ip6-localhost ip6-loopback fe00::0 ip6-localnet ff00::0 ip6-mcastprefix ff02::1 ip6-allnodes ff02::2 ip6-allrouters core-site.xml hadoop.tmp.dir
4 2023-11-01
编程技术问答社区
在bigtable衍生工具中存储大量有序的时间序列数据
我试图确切地弄清楚这些新的数据存储，例如Bigtable，HBase和Cassandra. 我使用大量的股票市场数据，数十亿行的价格/报价数据，这些数据每天可以累加100千兆字节(尽管这些文本文件通常至少会压缩至少一个数量级).这些数据基本上是几个数字，两个或三个短字符串和一个时间戳(通常是毫秒).如果我必须为每一行选择一个唯一的标识符，则必须选择整个行(因为交换可能会在同一毫秒中为同一符号生成多个值). 我想将这些数据映射到Boogtable(我包括其衍生产品)的最简单方法是按符号名称和日期(可能返回非常大的时间序列，超过百万个数据点并非闻所未闻).从阅读他们的描述，看起来多个键可以与这些系统一起使用.我还假设小数是钥匙的好候选者. 其中一些系统(例如，Cassandra)声称能够进行范围查询.在给定的一天，上午11:00至下午1:30之间，我可以有效地查询MSFT的所有值吗? 如果我想在所有符号上搜索给定的一天，并请求所有具有$ 10到$ 10.25的符号(所
6 2023-10-21
编程技术问答社区
python3.5 thrift cybin.ProtocolError。没有协议版本头
Traceback (most recent call last): File "", line 1, in File "/hskj/anaconda3/lib/python3.5/site-packages/happybase/connection.py", line 242, in tables names = self.client.getTableNames() File "/hskj/anaconda3/lib/python3.5/site-packages/thriftpy/thrift.py", line 198, in _req return self._recv(_api) File "/hskj/anaconda3/lib/python3.5/site-packages/thriftpy/thrift.py", line 210, in _recv fname, mtype, rseqid = s
10 2023-10-20
编程技术问答社区
Cloudera/CDH v6.1.x + Python HappyBase v1.1.0: TTransportException(type=4, message='TSocket read 0 bytes')
编辑:这个疑问和答案适用于主题行中所述例外的任何人: ttransportException(type = 4，message ='tsocket读取0 bytes');是否涉及Cloudera和/或Happybase. 根问题(结果是)源于protocol和/或transport格式上的client-side上的不匹配，而server-side正在实现server-side，并且任何客户端/服务器折磨都可能发生.我的恰好是 cloudera和happybase，但您不必是，您可以遇到同样的问题. 最近有人尝试使用happybase v1.1.0 (latest) python软件包与Cloudera CDH v6.1.x上的Hbase交互 我正在尝试各种选择，但要继续得到例外: thriftpy.transport.TTransportException: TTransportException(type=4, message='TSocket read 0 byt
12 2023-10-20
编程技术问答社区
Python3连接到Kerberos Hbase thrift HTTPS
我们有Python3应用程序可以连接到HBase和获取数据. 连通性与Kerberos HBase thrift二进制协议(在TSOCKETCOCK)(在TSOCKETS中)运行良好，直到Hadoop团队将Hadoop System移至Cloudera和Cloudera Manager，启动Kerberos HBase在HTTPS模式下进行thrift. 现在，协议从tsocket更改为http/htps，而python代码无法使用sasl kerberos进行身份验证. 当前使用的python版本使用ins python 3.6.8 和包装版本 节日= 0.13.0 hbase-thift = 0.20.4 pure_sasl = 0.5.1 在tsocket模式下工作代码: ############# from thrift.transport import TSocket,TTransport from thrift.pr
8 2023-10-20
编程技术问答社区
为什么HBase Thrift API总是返回一个thrift客户端连接？
对于每个节俭的API调用(在Erlang中使用HBase Thrift)API返回thrift连接: erlang示例: % creating the initial connection {ok, TFactory} = thrift_socket_transport:new_transport_factory( "localhost", 9090, []), {ok, PFactory} = thrift_binary_protocol:new_protocol_factory(TFactory, []), {ok, Protocol} = PFactory(), {ok, ThiftConnection1} = thrift_client:new(Protocol, hbase_thrift), %calling a row mutation {ThriftConnection2, Result} =
6 2023-10-20
编程技术问答社区
在PHP中使用Thrift的HBase过滤语言
我正在寻找一种使用php中的HBase过滤语言的方法. hbase书的 thrift上的章节 看来是正式的，并为用户提供了一些过滤器供用户访问php中的HBase.此页面中还提供了示例PHP代码，但是我在旧货中找不到任何API(例如$client->scannerOpenWithFilterString(...)).我什至检查了 hbase 0.92.0 的节俭定义文件，但它没有scannerOpenWithFilterString>的接口. 使用的版本:Hadoop 0.20.203.0，Hbase 0.90.4和thrift 0.8.0. 有人知道如何将PHP与滤波器功能一起访问HBase? 解决方案 thrift API的HBase过滤器在V.0.92中实现 有一个名为scanneropenwithScan()的函数，该函数采用2个参数 - 表名和tscan对象. 您需要使用hbase.trift文件生成thrift的PHP类，在HBase 0.92
6 2023-10-20
编程技术问答社区
TSocket读取0字节-happybase 0.8版
我正在尝试通过HappyBase Framework版本0.8. 连接HBase 我已经开始了守护程序 - /usr/hdp/current/hbase-master/bin/hbase-daemon.sh start thrift -p 9090 from happybase.connection import Connection DEFAULT_HOST = '10.128.121.13' DEFAULT_PORT = 9090 DEFAULT_TRANSPORT = 'framed' DEFAULT_COMPAT = '0.96'` cc = Connection(DEFAULT_HOST,DEFAULT_PORT,None,True,None,'_',DEFAULT_COMPAT,DEFAULT_TRANSPORT) print(cc.tables())` 我是否需要在所有节点，HBase Master和giemionservers? 中启动节俭服
8 2023-10-20
编程技术问答社区
CDH 5中的Hbase Thrift
我正在使用node.js thrift API连接到HBase.一切都很好，直到我将CDH 4.6升级为CDH 5.升级后，我使用此脚本为Node.js重新生成了thrift api: thrift --gen js:node /opt/cloudera/parcels/CDH-5.0.0-1.cdh5.0.0.p0.47/lib/hbase/include/thrift/hbase2.thrift 用新生成的脚本替换原始node.js脚本后，一切都停止了工作. 您可以在 https://github.com/lgrcyanny/node-hbase-thift2 当我运行'get'方法时，它会返回"内部错误处理获取". 当我运行'put'方法时，它会返回"无效方法名称:'put'. 似乎新的节俭API完全不相容吗?我在这里错过了什么吗? 解决方案 HBASE随附两个thrift IDL文件: 都有一个get()方法，但是其中只有一个具有p
8 2023-10-20
编程技术问答社区
运输例外
我正在尝试导入Happybase，但在连接时会收到以下错误消息. 我已经运行了Hadoop pseudonode群集和HBase. 安装的组件的版本如下， Hadoop版本-1.0.4 HBase版本-0.94.4 HappyBase -0.4 有人可以查看以下例外情况，让我知道，是否有任何特定的特定设置或任何指导以解决此问题. 谢谢. Python 2.6.1 (r261:67515, Jun 24 2010, 21:47:49) [GCC 4.2.1 (Apple Inc. build 5646)] on darwin Type "help", "copyright", "credits" or "license" for more information. import happybase connection = happybase.Connection('localhost') Traceback (most recent call last):
8 2023-10-20
编程技术问答社区
热门专题
odoo服务不能启动 sh 脚本切换用户并自动输入指令 js修改应用portrait为landscape wx.downFile怎么使用 vue使用CDN上字体 asp.net 连接字符串 java console 打印表格长度不一致 linux下的rm命令改造成mv到指定的目录下 网页设计改表格背景颜色 已阻止重定向CORS jsonp matlab保存simulink数据 5g cpe是什么东西取代光纤 Windows内核源码分析 mysql 嵌套查询优化 springboot freemarkder动态值 企业支付宝红包对接h5代收平台 routeros dhcp 自定义 app自动化卸载 产品定义 sqlserver case datetime类型 Okhttp设置ss代理