time-series_编程技术问答社区_程序员问答知识库

以下是关于 time-series 的编程技术问答

我正在使用数千个气象时间序列数据(可以从此处下载示例数据) https://dl.dropboxusercontent.com/s/bxioonfzqa4np6y/timeSeries.txt 在我的Linux Mint PC上使用GGPLOT2绘制这些数据(64位，8GB RAM，双核2.6 GHz)花了很多时间.我想知道是否有一种方法可以加快速度或绘制这些数据的更好方法?非常感谢您提出任何建议！这是我现在正在使用的代码 ############################################################################## #### load required libraries library(RCurl) library(reshape2) library(dplyr) library(ggplot2) ####################################################

0 2023-05-23 编程技术问答社区 r performance ggplot2 plot time-series

是否有一个强大的数据库系统来处理时间序列数据？

在多个项目中，我们必须存储，汇总，评估简单的测量值.一排在类型上由一个时间戳，一个值和值的某些属性组成.在某些应用中，我们希望每秒存储1000个值.这些值不仅必须插入，而且还必须以相同的速率删除，因为一个值的寿命仅限于一年左右(在不同的聚合步骤中，我们整整一年都不会存储1000/s). 到目前为止，我们已经开发了不同的解决方案.一种基于火鸟，一个基于甲骨文，另一种是一种自制的存储机构.但是这些都不是非常令人满意的解决方案. 两个RDBMS解决方案无法处理所需的数据流.除此之外，交付值(例如设备驱动程序)的应用程序无法轻松地附加到数据库上，插入语句很麻烦.最后，虽然非常需要具有SQL接口到数据，但很难在SQL中制定典型的评估，并且执行缓慢.例如.在上个月的所有测量中找到每15分钟的时间戳记的最大值. 自制解决方案可以处理插入率，并且具有客户友好的API来执行此操作，但是它没有像查询语言那样的语言，其他应用程序无法通过某些标准接口(例如.用于报告. 我梦中最好的解决方

0 2023-05-23 编程技术问答社区 database performance time-series

将Python序列（时间序列/数组）分成有重叠的子序列

我需要提取给定窗口的时间序列/数组的所有子序列.例如: >>> ts = pd.Series([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) >>> window = 3 >>> subsequences(ts, window) array([[0, 1, 2], [1, 2, 3], [2, 3, 4], [3, 4, 5], [4, 5, 6], [5, 6, 7], [5, 7, 8], [6, 8, 9]]) 在序列上迭代的天真方法当然很昂贵，例如: def subsequences(ts, window): res = [] for i in range(ts.size - window + 1): subts = ts[i:i+window] subts.reset_index(drop=True,

0 2023-05-23 编程技术问答社区 python performance numpy pandas time-series

从潘达斯数据框架创建时间序列

我有一个具有各种属性的数据框，包括一个DateTime列.我想将属性列之一提取为由DateTime列索引的时间序列.这似乎很简单，我可以像所有熊猫文档所显示的那样构建具有随机值的时间序列.但是，当我从数据框架中这样做时，我的属性值都转换为NAN. 这是一个类似的例子. df = pd.DataFrame({'a': [0,1], 'date':[pd.to_datetime('2017-04-01'), pd.to_datetime('2017-04-02')]}) s = pd.Series(df.a, index=df.date) 在这种情况下，该系列将具有正确的时间序列索引，但所有值将为NAN. 我可以分两个步骤完成该系列，但我不明白为什么需要这这是需要的. s = pd.Series(df.a) s.index = df.date 我想念什么?我认为这与串联参考有关，但根

2 2023-05-22 编程技术问答社区 python pandas indexing time-series

在分组的Pandas数据框架中的If语句

我有一个包含年度列，朱利安日，小时和温度的数据集.我已经按日常和一天对数据进行了分组，如果每天包含24小时的数据，现在想对温度数据进行操作.然后，我想用年，朱利安日，最高温度和最小温度创建一个数据框架.但是，我不确定语法以确保满足这种情况.任何帮助，将不胜感激.我的代码如下: df = pd.read_table(data,skiprows=1,sep='\t',usecols=(0,3,4,6),names=['year','jday','hour','temp'],na_values=-999.9) g = df.groupby(['year','jday']) if #the grouped year and day has 24 hours worth of data maxt = g.aggregate({'temp':np.max}) mint = g.aggregate({'temp':np.min}) else: continue 和一

2 2023-05-22 编程技术问答社区 python if-statement pandas time-series

Python是否有PCA的滚动实现?

对于时间序列分析，具有滚动PCA函数以分析时间序列的动态如何随时间变化为避免往外偏见 . 我们可能想回答以下问题:"需要多少个原理组件来保持差异的90％?".解释90％方差的原理组件数量可能会随着时间序列的动态而变化. 此外，我们可能希望将给定数据集中的组件p数减少到滚动基础上的k scikit具有 numpy svd .我们可以在手册中使用这些软件包进行循环，但是对于大阵列(> 10,000行)，它会变得非常慢. 是否有快速滚动在Python中实现PCA以解决上述一些问题? 解决方案虽然我没有设法找到PCA的滚动实现，但是使用问题中提到的软件包和工具来编码手动滚动PCA功能是相对简单的事情.此外，我们还将使用 numpy.linalg.svd and 此答案中的代码的灵感来自PCA 在这里和在这里 import numpy as np from numpy.linalg import eig from numba import njit impor

0 2023-05-21 编程技术问答社区 numpy time-series pca numba rolling-computation

PCA: princomp()是如何工作的，我可以用它来提取ARIMA的变量吗？

我试图使用PCA选择良好的预测指标，以在arima模型的xreg参数中使用，以尝试在下面预测tVar变量.我只是在下面使用简化的数据集，其中只有几个变量使示例变得简单. 我试图了解princomp中的公式参数如何工作.对于下面的pc对象，是否在说"使用xVar1和xVar2解释na.omit(dfData[,c("tVar","xVar1","xVar2")])中的方差"? 我最终想做的是创建一个新变量，该变量解释了tVar中的大多数差异.这是我可以使用PCA做的事情吗?如果是这样，有人可以解释一下我是如何或指向我的例子吗? 代码: pc

0 2023-05-21 编程技术问答社区 r machine-learning time-series pca forecasting

Python中的多维/多变量动态时间扭曲（DTW）库/代码

我正在研究时间序列数据.可用的数据是多变量的.因此，在每种时间的情况下，都有三个可用的数据点. 格式: | X | y | z | 因此，将实时生成以上格式的一个时间序列数据.我试图在另一个时间序列的基本数据中找到这个实时生成的时间序列的良好匹配，该时间序列已经存储(大小要大得多，并且以不同的频率收集).如果我单独将标准DTW应用于系列(X，Y，Z)中的每个系列(X，Y，Z)，他们最终可能会在基本数据库中的不同点进行匹配，这是不利的.因此，我需要在基本数据库中找到一个点，其中所有三个组件(x，y，z)都匹配良好，并且在同一点. 我已经研究了此事，发现多维DTW是解决此类问题的完美解决方案.在R中，DTW软件包确实包括多维DTW，但我必须在Python中实现它. R-Python桥接软件包，即" rpy2"可能在这里有帮助，但我在R上没有经验.我已经浏览了Python的可用DTW软件包，如Mlpy，DTW，但无济于事.任何人都可以建议使用rpy2中的python中的包装进

12 2023-05-21 编程技术问答社区 python pattern-matching time-series dynamic-programming rpy2

Cassandra桶拆分的分区大小

我是卡桑德拉(Cassandra)的新手，我刚刚通过DataStax课程了解了它，但是我在此处或Internet上没有找到足够的信息，在我的应用程序中，我需要使用存储桶来拆分数据. 我有一些乐器可以做出很多措施，每天将这些措施(作为分区密钥)分开的措施可能有些风险，因为我们可以轻松地达到分区的100MB极限.每种措施都涉及具有ID标识的特定对象.所以我想使用一个水桶，但我不知道该怎么做. 我正在使用Cassandra 3.7 这是我的桌子的外观: CREATE TABLE measures ( instrument_id bigint, day timestamp, bucket int, measure_timestamp timestamp, measure_id uuid, measure_info float, object_id bigint, PRIMARY KEY ((instrument_id, day, bucke

0 2023-05-20 编程技术问答社区 cassandra time-series datastax partition bucket

C3.j-带时间的时间序列无法解析

我想使用C3.js使用格式2015-09-17 18:20:34和格式字符串'%Y-%m-%d %H:%M:%S'的时间序列图表，但无法解析. 我的代码: var chart = c3.generate({ bindto: '#chart', data: { x: 'times', columns: [ ['times','2015-09-17 18:20:34','2015-09-17 18:25:42','2015-09-17 18:30:48'], ['data','1539','1546','1546','1550'] ] }, axis: { x: { type: 'timeseries', tick: { format: '%Y-%m-%d %H:%M:%S'

0 2023-05-20 编程技术问答社区 javascript parsing time-series c3.js

时间区间的数据分析

我正在工作大量数据，这些数据最近收集了我的研究.我想知道一天中什么时候发生了什么时间.这是我的数据集快照的少量: 我申请了以下代码以了解时间间隔登录活动. =SUMPRODUCT(--(HOUR(I2:I185143)>=K4*24),--(HOUR(I2:I185143)

2 2023-05-19 编程技术问答社区 excel matlab datetime group-by time-series

将groupby或datetime对象转换/拆分和转置为数据框架

我有熊猫DF: Reading 2016-06-01 09:00:00+09:00 1190.958 2016-06-01 10:30:00+09:00 1189.886 2016-06-01 12:00:00+09:00 1194.089 2016-06-01 13:30:00+09:00 1193.464 2016-06-01 15:00:00+09:00 1193.050 2016-06-02 09:00:00+09:00 1190.879 2016-06-02 12:00:00+09:00 1190.025 2016-06-02 13:30:00+09:00 1187.057 2016-06-02 15:00:00+09:00 1186.600 我想这样改变它: 09:00

0 2023-05-19 编程技术问答社区 python pandas dataframe group-by time-series

每组以前的日期平均滚动

我有以下数据集: Name Loc Site Date Total Alex Italy A 12.31.2020 30 Alex Italy B 12.31.2020 40 Alex Italy B 12.30.2020 100 Alex Italy A 12.30.2020 80 Alex France A 12.28.2020 10 Alex France B 12.28.2020 20 Alex France B 12.27.2020 10 我想在每行添加每行的平均值，在每个名称，loc和日期的日期之前的总数这是我正在寻找的结果: Name Loc Site Date Total Prv_Avg Alex Italy A 12.31.2020 30 9

6 2023-05-19 编程技术问答社区 python pandas group-by time-series

如何将日历年转换为熊猫的水年

这个问题已经用R解决了，但是我还没有看到Python有用的示例.我想学习如何将数据转换为日历年(1/1/1990到2010年12月31日)将数据转换为水年数据(即10/01/1990到9/31/2010).谢谢您的帮助. 解决方案使用来自 USGS 033335500 Wabash River in 日期:2001-10-01-2017-09-31 'datetime'列必须通过用parse_dates导入数据或在导入数据后使用pd.to_datetime()来设置为a datetime dtype. 使用使用提取month和year数字. 如果月号小于10，则水年为.dt.year，否则，水年为.dt.year + 1 答案对于282757 282757行中的快13倍. import pandas as pd # Load the data df = pd.read_csv('WabashRiver_Flow.csv', parse_dates=

8 2023-05-19 编程技术问答社区 python-3.x pandas time-series pandas-groupby

Python PANDAS：用Groupby对多变量时间序列进行重采样

我有以下一般格式的数据，我想将其重新采样为30天的时间序列: 'customer_id','transaction_dt','product','price','units' 1,2004-01-02,thing1,25,47 1,2004-01-17,thing2,150,8 2,2004-01-29,thing2,150,25 3,2017-07-15,thing3,55,17 3,2016-05-12,thing3,55,47 4,2012-02-23,thing2,150,22 4,2009-10-10,thing1,25,12 4,2014-04-04,thing2,150,2 5,2008-07-09,thing2,150,43 我希望30天的窗户在2014-01-01开始，并于2018年12月31日结束.不能保证每个客户在每个窗口中都有记录.如果客户在窗口中有多次交易，则需要价格的加权平均值，总结单位并限制产品名称，以每个窗口每个客户创建一个记录. 到目前为

0 2023-05-19 编程技术问答社区 python pandas time-series resampling pandas-groupby

获取每组PANDAS数据框的平均值

我成功地设法刮擦了futbin.com，以获取FIFA 19玩家的时间序列价格数据.现在，我拥有超过200万行的玩家和价格数据.对于每个玩家，我的价格大约有17个不同的价格(带有各自的时间戳) 我现在想制作一个新的数据框，每个播放器只有一排，而且价格应该是该特定玩家的平均价格.每个玩家都有一个唯一的" futbin_id"号码. 到目前为止，我一直无法弄清楚如何做到这一点... 如果有人能帮助我，我真的很感激... 解决方案您将要通过fubin_id进行分组，然后找到每个分组的平均值: avg_price = df_ts.groupby('Futbin_ID')['price'].agg(np.mean) 如果您也想将数据框架与其他列一起使用，则可以将重复项放在原始列中，而不是第一个，然后将价格值替换为平均值: : df_ts.drop_duplicates(subset="Futbin_ID", keep="first", inplace= True)

22 2023-05-19 编程技术问答社区 python pandas time-series pandas-groupby

pandas中6个月的日期范围

所以，这是我的数据框架. PatientNumber QT Answer Answerdate DiagnosisDate 1 1 transferring No 2017-03-03 2018-05-03 2 1 preparing food No 2017-03-03 2018-05-03 3 1 medications Yes 2017-03-03 2018-05-03 4 2 transferring No 2011-05-10 2012-05-04 5 2 preparing food No 2011-05-10 2012-05-04 6

0 2023-05-19 编程技术问答社区 pandas dataframe group-by time-series data-analysis

观察以前的时间序列

我有一个数据集，如下所示.这个想法是查看所有前15分钟，而不是我们在石斑鱼功能中使用的频率.我想看看前15分钟的积极变化数量. row Timestamp Direction Positive Neg Nut 1 1/20/19 12:15 2 1/20/19 12:17 Nut 3 1/20/19 12:17 Neg 4 1/20/19 12:18 Neg 5 1/20/19 12:19 Pos 6 1/20/19 12:20 Neg 7 1/20/19 12:21 Neg 8 1/20/19 12:22 Pos 9 1/20/19 12:23 Neg 10 1/20/19 12:24 Pos 11 1/20/19 12:25 Neg 12 1/20/19 12:26

0 2023-05-19 编程技术问答社区 python python-3.x pandas time-series pandas-groupby

具有重叠间隔的时间序列的groupby

我在python pandas dataframe对象中有一个时间序列，我想根据索引创建一个组，但我希望重叠的组，即组并不明显. header_sec是索引列. 每个组都由2秒的窗口组成. 输入dataframe header_sec 1 17004 days 22:17:13 2 17004 days 22:17:13 3 17004 days 22:17:13 4 17004 days 22:17:13 5 17004 days 22:17:14 6 17004 days 22:17:14 7 17004 days 22:17:14 8 17004 days 22:17:14 9 17004 days 22:17:15 10 17004 days 22:17:15 11 17004 days 22:17:15 12 17004 days 22:17:15 13 17004 days 22:17:16 14 17004 days 22:17:16

0 2023-05-18 编程技术问答社区 python pandas dataframe group-by time-series

对时间序列进行分组和重新取样，使日期范围保持一致

我有一个数据框架，基本上是几个时间表彼此堆叠.每个时间序列都有一个唯一的标签(组)，并且它们的日期范围不同. date = pd.to_datetime(pd.Series(['2010-01-01', '2010-01-02', '2010-01-03', '2010-01-06', '2010-01-01', '2010-01-03'])) group = [1,1,1,1, 2, 2] value = [1,2,3,4,5,6] df = pd.DataFrame({'date':date, 'group':group, 'value':value}) df date group value 0 2010-01-01 1 1 1 2010-01-02 1 2 2 2010-01-03 1 3 3 2010-01-

2 2023-05-18 编程技术问答社区 python pandas dataframe time-series pandas-groupby

首页
<
1
2
3
4
5
6
7
8
>
尾页