snappy_编程技术问答社区_程序员问答知识库

以下是关于 snappy 的编程技术问答

我像痣一样谷歌搜索，但无法找到正确的方法. 我用WKHTMLTOPDF包装纸创建PDF. 如何将使用该方法生成的PDF直接发送到浏览器? 那就是我要做的: header('Content-Type: application/pdf'); header('Content-Disposition: attachment; filename="file.pdf"'); echo $snappy->generateFromHtml($contents); 解决方案您要使用getOutput/getOutputFromHtml方法将PDF返回为字符串，generate/generateFromHtml将把PDF保存到文件中，而不要返回任何内容. header('Content-Type: application/pdf'); // Remove the next line to let the browser display the PDF header('Cont

2 2023-05-31 编程技术问答社区 php wkhtmltopdf snappy

Hive parquet snappy压缩不工作

我正在使用表属性创建一个表骨架 TBLPROPERTIES('PARQUET.COMPRESSION'='SNAPPY') (由于文件为镶木格式)并在创建表格之前设置很少的参数为: set hive.exec.dynamic.partition.mode=nonstrict; set parquet.enable.dictionary=false; set hive.plan.serialization.format=javaXML; SET hive.exec.compress.output=true; SET mapred.output.compression.type=BLOCK; set avro.output.codec=snappy; SET mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec; add jar /opt/cloudera/parcels/CDH-5.5.1

4 2023-05-20 编程技术问答社区 hadoop hive hiveql parquet snappy

我怎样才能插入到一个具有parquet文件格式和SNAPPY压缩的蜂巢表中？

Hive 2.1 我有下表定义: CREATE EXTERNAL TABLE table_snappy ( a STRING, b INT) PARTITIONED BY (c STRING) ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' STORED AS INPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat' LOCATION '/' TBLPROPERTIES ('parquet.compress'='SNAPPY'); 现在，我想将数据插入其中: INSERT INTO table_sn

4 2023-05-20 编程技术问答社区 hadoop hive compression parquet snappy

JavaScript-从AWS S3存储桶中读取镶木quet数据(带有活泼的压缩)

在 nodejs 中，我正在尝试读取一个parquet文件(compression ='snappy')，但没有成功. 我用 https://github.com/ironsource/ironsource/parquetjs 并阅读它，但是reader.cursor()抛出了尚未实现的隐秘错误'''.使用哪种压缩(平原，RLE或活泼)来创建输入文件，这会引发相同的错误. 这是我的代码: const readParquet = async (fileKey) => { const filePath = 'parquet-test-file.plain'; // 'snappy'; console.log('----- reading file : ', filePath); let reader = await parquet.ParquetReader.openFile(filePath); console.log('---- ParquetRea

0 2023-05-20 编程技术问答社区 javascript node.js amazon-s3 parquet snappy

设置parquet snappy输出文件的大小是hive？

我正在尝试拆分由Hive Insert oftrite表创建的parquet/nappy文件...在dfs.block.size边界上，当Impala发出警告时，当分区中的文件更大，然后块大小. . Impala记录以下警告: Parquet files should not be split into multiple hdfs-blocks. file=hdfs://///000000_0 (1 of 7 similar) 代码: CREATE TABLE () PARTITIONED BY ( year SMALLINT, month TINYINT ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\037' STORED AS PARQUET TBLPROPERTIES ("parquet.compressio

2 2023-05-20 编程技术问答社区 hive impala parquet snappy

为什么在Hive中查询Parquet文件的速度比文本文件慢？

我决定将parquet用作蜂巢表的存储格式，在我在群集中实际实现它之前，我决定进行一些测试.令人惊讶的是，在我的测试中，镶木木与普通文本文件更快的一般观念相对较慢. 请注意，我正在MAPR上使用Hive-0.13 ---------------------------------------------------------- | | Table A | Table B | Table C | | ---------------------------------------------------------- | Format | Text | Parquet | Parquet | | | Size[Gb] | 2.5 | 1.9 | 1.9 | | | Comrepssion | N/A | N/A | Snappy

14 2023-05-19 编程技术问答社区 hadoop hive parquet mapr snappy

如何在python中打开一个.snappy.parquet文件？

如何在python 3.5中打开一个.snappy.parquet文件?到目前为止，我使用了此代码: import numpy import pyarrow filename = "/Users/T/Desktop/data.snappy.parquet" df = pyarrow.parquet.read_table(filename).to_pandas() 但是，它给出了此错误: AttributeError: module 'pyarrow' has no attribute 'compat' P.S.我以这种方式安装了Pyarrow: pip install pyarrow 解决方案我遇到了同样的问题，并通过遵循中提出的Solutio来解决它. https://github.com/dask/fastparquet/sissues/366 解决方案. 1)使用conda安装安装python-sypappy(出于某种原因使用PIP安装，

10 2023-05-19 编程技术问答社区 python parquet snappy

熊猫DF.TO_PARQUET写入多个较小的文件

是否可以使用pandas'DataFrame.to_parquet功能将写入分为多个大致所需大小的文件? 我有一个很大的数据框(100m x 100)，并且正在使用df.to_parquet('data.snappy', engine='pyarrow', compression='snappy')写入文件，但这会导致一个约4GB的文件.相反，我喜欢将此分成许多〜100MB文件. 解决方案我最终使用dask: import dask.dataframe as da ddf = da.from_pandas(df, chunksize=5000000) save_dir = '/path/to/save/' ddf.to_parquet(save_dir) 这将保存到save_dir内部的多个Parquet文件中，其中每个子数据框的行数为chunksize.根据您的dtypes和列数，您可以将其调整以使文件达到所需的大小. 其他解决方案另一个选项是在p

18 2023-05-19 编程技术问答社区 pandas save parquet pyarrow snappy

Spark + Parquet + Snappy。在Spark洗刷数据后，整体压缩率下降

commmunity！请帮助我了解如何使用Spark获得更好的压缩比? 让我描述案例: 我有数据集，让我们称其为HDF上的 product ，它是使用SQoop ImportTool As-Parquet-File使用CODEC snappy 导入的.由于导入的结果，我有100个具有 46 GB du的文件，具有不同大小的文件(最小11MB，最大1.5GB，AVG〜500MB).记录总数略高于 80亿， 84列我也在使用 snappy 的Spark进行简单阅读/重新分配/写作，结果我得到了: 〜 100 GB 输出尺寸具有相同的文件计数，相同的编解码器，相同的计数和相同的列. 代码段: val productDF = spark.read.parquet("/ingest/product/20180202/22-43/") productDF .repartition(100) .write.mode(org.apache.spark.sq

4 2023-05-19 编程技术问答社区 apache-spark apache-spark-sql parquet snappy

Spark SQL-gzip与snappy与lzo压缩格式之间的区别

我正在尝试使用Spark SQL来写parquet file. 默认情况下，Spark SQL支持gzip，但它也支持其他压缩格式，例如snappy和lzo. . 这些压缩格式有什么区别? 解决方案只需在数据上尝试它们即可. lzo和活泼的压缩机是快速的压缩机和非常快的解压缩器，但是压缩较少，与GZIP相比，压缩器的压缩效果更好，但较慢较慢. 多年后更新: 还可以尝试 lz4 and ZSTD . 其他解决方案压缩比: GZIP压缩使用的CPU资源比Snappy或LZO更多，但提供了更高的压缩比. 一般用法: GZIP通常是冷数据的好选择，这很少访问. Snappy或LZO是 Hot 数据的更好选择，该数据经常访问. 快速的表现通常比LZO更好.值得运行的测试以查看是否检测到显着差异. 截断: 如果您需要压缩数据可分解，则可以分配BZIP2，LZO和活泼的格式，但Gzip却不是. gzip与消耗活泼数据的数据相比，阅

0 2023-05-19 编程技术问答社区 apache-spark gzip parquet snappy lzo

使用Python编写Parquet文件的方法？

我很难找到允许使用Python编写parquet文件的库.如果我可以与之结合使用活泼或类似的压缩机构，则奖励积分. 到目前为止，我发现的唯一方法是将Spark与pyspark.sql.DataFrame镶木式支持一起使用. 我有一些脚本需要编写不是Spark作业的Parquet文件.是否有任何不涉及pyspark.sql的python中的Parquet文件的方法? 解决方案更新(2017年3月):当前有 2 库，能够写作 parquet文件: fastparquet pyarrow 他们俩仍然处于沉重的发展状态，它们都有许多免责声明(不支持嵌套数据)，因此您必须检查它们是否支持您所需的一切. 旧答案: 截至2.2016，似乎没有只有Python的库写作 parquet文件. 如果您只需要读 parquet文件，则有 python-parquet . 作为解决方法，您将不得不依靠其他过程，例如pyspark.sql(使用PY4J并

0 2023-05-19 编程技术问答社区 python apache-spark apache-spark-sql parquet snappy

如何将多个镶木点文件附加到熊猫中的一个数据框

我正在使用Spark和Pandas进行解压缩的Snappy.parquet文件.我有180个文件(我的jupyter笔记本中的7GB数据).在我的理解中，我需要创建一个循环以获取所有文件 - 用Spark解压缩并附加到Pandas表中?这是代码 findspark.init() import pyspark from pyspark.sql import SparkSession spark = SparkSession.builder.getOrCreate() parquetFile = spark.read.parquet("file_name.snappy.parquet") parquetFile.createOrReplaceTempView("parquetFile") file_output = spark.sql("SELECT * FROM parquetFile") file_output.show() pandas_df = file_outpu

12 2023-05-19 编程技术问答社区 pandas apache-spark parquet snappy

Parquet vs ORC vs ORC with Snappy

我正在对带有Hive的存储格式进行一些测试，并使用Parquet和Orc作为主要选项.我将兽人曾经带有默认压缩，一次是活泼的. 我已经阅读了许多文档，这些文档与兽人相比，在时间/空间复杂性上更加复杂，但我的测试与我经历的文档相反. 遵循我的数据的一些细节. Table A- Text File Format- 2.5GB Table B - ORC - 652MB Table C - ORC with Snappy - 802MB Table D - Parquet - 1.9 GB 就我的桌子的压缩而言，镶木木是最糟糕的. 我的测试与上表产生以下结果. 行计数操作 Text Format Cumulative CPU - 123.33 sec Parquet Format Cumulative CPU - 204.92 sec ORC Format Cumulative CPU - 119.99 sec ORC with SNA

0 2023-05-19 编程技术问答社区 hadoop hive parquet snappy orc

hive ORC上的Presto查询错误，无法从ORC的DOUBLE类型流中读取SQL类型实数

我能够在Presto中运行查询，以读取Hive Orc(Snappy)表的非浮列列.但是，当我通过PRESTO CLI选择所有Float DataType列时，会给我以下错误消息.任何建议除了将归档类型更改为TARGETHIVE表中的两倍之外，还有什么替代方案 presto:示例>从emp_detail; 选择 * * Query 20200107_112537_00009_2zpay failed: Error opening Hive split hdfs://ip_address/warehouse/tablespace/managed/hive/sample.db/emp_detail/part-00079-5b0c6005-0943-4181-951f-43bcfcfe741f-c000.snappy.orc (Offset = 0，长度= 1999857):畸形的ORC文件.无法从orc流中读取SQL Type真实. .snappy.orc] 解决方案请尝

6 2023-05-16 编程技术问答社区 hive presto orc snappy

在Python中导入fastparquet时与snappy发生错误

我已经在我的EC2服务器中安装了以下模块，该模块已经安装了Python(3.6)和Anaconda: 活泼 Pyarrow S3FS fastparquet 除了fastparquet，其他所有内容都可以在导入方面工作.当我尝试导入FastParquet时，它会引发以下错误: [username@ip8 ~]$ conda -V conda 4.2.13 [username@ip-~]$ python Python 3.6.0 |Anaconda custom (64-bit)| (default, Dec 23 2016, 12:22:00) [GCC 4.4.7 20120313 (Red Hat 4.4.7-1)] on linux Type "help", "copyright", "credits" or "license" for more information. import fastparquet Tra

8 2023-03-27 编程技术问答社区 python anaconda conda snappy fastparquet

LZ4库解压数据的上界尺寸估计

我正在使用 lz4 库，以及使用进行解压缩数据时 int LZ4_decompress_safe (const char* source, char* dest, int compressedSize, int maxDecompressedSize); 我想估计最大解剖数据大小.但是我找不到的反向函数 int LZ4_compressBound(int isize); 我可以通过其中确定解压缩数据的上限数据的上限，该数据提供给最后一个参数maxDecompressedSize，解压缩函数. 其他压缩库，例如 snappy bool GetUncompressedLength(Source* source, uint32* result); 如果我没有能力保存初始数据大小(在压缩之前)，如果我不想对缓冲区的大小过度，我必须分配? ，该怎么办? 解决方案 LZ4的最大压缩率为255，因此保证的解压缩数据大小的过度估计为255倍输入大小. 这显

88 2023-03-23 编程技术问答社区 c compression snappy lz4

在Hadoop中运行jar时，什么是本地snappy库？

当我在Centos 6.4中运行MapReduce Jar时，有一个错误. Hadoop版本为64位的2.6.0. MapReduce失败了，我该如何解决? Error: java.lang.RuntimeException: native snappy library not available: this version of libhadoop was built without snappy support. at org.apache.hadoop.io.compress.SnappyCodec.checkNativeCodeLoaded(SnappyCodec.java:64) at org.apache.hadoop.io.compress.SnappyCodec.getCompressorType(SnappyCodec.java:133) at org.apache.hadoop.io.compress.CodecPool.ge

4 2023-03-18 编程技术问答社区 hadoop mapreduce snappy

hadoop mapreduce: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy()Z

我试图从地图降低作业中编写一个快速的块压缩序列文件.我在用 Hadoop 2.0.0-CDH4.5.0和Snappy-Java 1.0.4.1 这是我的代码: package jinvestor.jhouse.mr; import java.io.ByteArrayOutputStream; import java.io.IOException; import java.io.OutputStream; import java.util.Arrays; import java.util.List; import jinvestor.jhouse.core.House; import jinvestor.jhouse.core.util.HouseAvroUtil; import jinvestor.jhouse.download.HBaseHouseDAO; import org.apache.commons.io.IOUtils; import org.apache.

48 2023-03-18 编程技术问答社区 java hadoop mapreduce sequencefile snappy

在Linux x86_64上的Cassandra启动错误1.2.6

尝试从最新稳定版本中的Linux上安装Cassandra - http://cassandra.apache.org/download/ - 1.2.6 我已经修改了cassndra.yaml以指向自定义目录，而不是/var，因为我没有在/var 上写入访问权限我在启动时看到此错误.由于该版本似乎相对较新，因此无法在Google上找到任何答案.只需在这里发布它，以防我身边一个愚蠢的错误. 同一分发文件在我的MacOS X86_64机器上工作正常. INFO 19:24:35,513 Not using multi-threaded compaction java.lang.reflect.InvocationTargetException at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.in

2 2023-03-08 编程技术问答社区 java linux cassandra x86-64 snappy

cassandra 1.2无法在freebsd中启动snappy

ERROR [WRITE-/10.10.35.30] 2013-06-19 23:15:56,907 CassandraDaemon.java (line 175) Exception in thread Thread[WRITE-/10.10.35.30,5,main] java.lang.NoClassDefFoundError: Could not initialize class org.xerial.snappy.Snappy at org.xerial.snappy.SnappyOutputStream.(SnappyOutputStream.java:79) at org.xerial.snappy.SnappyOutputStream.(SnappyOutputStream.java:66) at org.apache.cassandra.net.OutboundTcpConnection.connect(OutboundT

70 2023-03-07 编程技术问答社区 cassandra snappy