Colab+TPU不支持TF 2.3.0 tf.keras.layer.experimental.preprocessing
我正在使用 tf 2.3.0 基于当我启动model.fit时,我得到了此错误: InvalidArgumentError: 9 root error(s) found. (0) Invalid argument: {{function_node __inference_train_function_372657}} Compilation failure: Detected unsupported operations when trying to compile graph cluster_train_function_12053586239504196919[] on XLA_TPU_JIT: ImageProjectiveTransformV2 (No registered 'ImageProjectiveTransformV2' OpKernel for XLA_TPU_JIT devices compatible with node {{node Efficient
14 2023-10-19
编程技术问答社区
可使用谷歌云ML的TPU定制芯片
使用TensorFlow时,将哪种类型的硬件用作Google Cloud ML的一部分?也只有CPU或张量处理单元(自定义卡)? cf this 解决方案 云TPU自2018-06-27起向公众提供: https://cloud.google.com/tpu/docs/release-notes 这是在Google Next '18上宣布的: 其他解决方案 云ML当前专注于CPU. GPU和TPU将来将提供. 其他解决方案 在撰写本文时(2017年12月),可以使用GPU,请参见 https://cloud.google.com/ml-engine/docs/training-overview 如果您使用gcloud命令行实用程序,则可以将作业提交给Mlengine时,添加--scale-tier BASIC_GPU选项.目前,这给出了Tesla K80上的TensorFlow代码. 也有一个CUSTOM比例层,可以允许更复杂的配置并允许对
20 2023-10-16
编程技术问答社区
谷歌合作的TPU和转录时从光盘上读取信息
我有100k图片,它不适合RAM,所以我需要在培训时从光盘中阅读它. dataset = tf.data.Dataset.from_tensor_slices(in_pics) dataset = dataset.map(extract_fn) def extract_fn(x): x = tf.read_file(x) x = tf.image.decode_jpeg(x, channels=3) x = tf.image.resize_images(x, [64, 64]) return x ,但随后我尝试训练,我得到了这个错误 File system scheme '[local]' not implemented (file: '/content/anime-faces/black_hair/danbooru_2629248_487b383a8a6e7cc0e004383300477d66.jpg') 我可以以某种方式解决吗? 还尝试
14 2023-10-16
编程技术问答社区
在谷歌Colab TPU上用大数据集-Keras训练seq2seq模型
我正在尝试使用Google Colab TPU上的Keras训练序列以进行机器翻译的序列模型. 我有一个可以加载内存中的数据集,但我必须预处理以将其馈送到模型.特别是我需要将目标单词转换为一个热量矢量,并且有了许多示例,我无法将整个转换加载到内存中,因此我需要进行批次数据. 我正在使用此功能作为批处理生成器: def generate_batch_bert(X_ids, X_masks, y, batch_size = 1024): ''' Generate a batch of data ''' while True: for j in range(0, len(X_ids), batch_size): # batch of encoder and decoder data encoder_input_data_ids = X_ids[j:j+batch_size] encoder_
20 2023-10-16
编程技术问答社区
内存减少 Tensorflow TPU v2/v3 bfloat16
我的模型太大,无法使用普通V2 TPU设备获得批量> 64.在此外,我读到我已经在使用 adafactor 试图减少我的图层,如果您有进一步的减少技巧,那也很棒.我正在使用图片矩阵和单词向量(截至目前为Float32)作为输入. 解决方案 您可以将bfloat16与TPU一起使用.有两个主要的事情要做: 在输入管道中施放输入到bfloat16 在BFLOAT16范围内包围您的网络,并将输出作为F32施放,以进行进一步的计算. 这是一个代码段,说明了必要的更改: def input_fn(): def dataset_parser(self, value): """Parse an ImageNet record from a serialized string Tensor.""" image = self.image_preprocessing_fn( image_bytes=image_bytes, i
28 2023-10-16
编程技术问答社区
tensorflow对象检测训练误差TPU
我和 google在tpu上的对象检测张贴,并在培训时撞到了墙. 查看工作日志,我可以看到ML-engine可以为各种软件包运行大量PIP安装,配置TPU,然后提交以下内容: Running command: python -m object_detection.model_tpu_main --model_dir=gs://{MY_BUCKET}/train --tpu_zone us-central1 --pipeline_config_path=gs://{MY_BUCKET}/data/pipeline.config --job-dir gs://{MY_BUCKET}/train 然后以: 错误 message: "Traceback (most recent call last): File "/usr/lib/python2.7/runpy.py", line 174, in _run_module_as_main "__main__", fna
12 2023-10-16
编程技术问答社区
在使用TPU模式时,如何从Google Colaboratory保存Tensorflow检查点文件?
当我使用saver = tf.train.Saver()和save_path = saver.save(session, "checkpointsFolder/checkpoint.ckpt") 时 我得到UnimplementedError (see above for traceback): File system scheme '[local]' not implemented错误 这是完整的错误 --------------------------------------------------------------------------- UnimplementedError Traceback (most recent call last) /usr/local/lib/python3.6/dist-packages/tensorflow/python/client/session.py in _do_call
32 2023-10-16
编程技术问答社区
在Colab TPU上保存模型时速度极慢
我的情况是,在Colab TPU环境下储蓄模型非常慢. 我在使用checkpoint回调时首先遇到了这个问题,这会导致训练卡在1个时期结束时. 然后,我尝试使用model.save_weights()进行回调,但没有改变模型.通过使用COLAB终端,我发现节省速度约为100K,持续5分钟. TensorFlow的版本= 2.3 我的模型拟合代码在这里: with tpu_strategy.scope(): # creating the model in the TPUStrategy scope means we will train the model on the TPU Baseline = create_model() checkpoint = keras.callbacks.ModelCheckpoint('baseline_{epoch:03d}.h5', sa
24 2023-10-16
编程技术问答社区
为什么谷歌Colab TPU和我的电脑一样慢?
由于我的PC中有一个大数据集,而且电源不大,因此我认为在Google Colab上使用TPU是个好主意. 所以,这是我的TPU配置: try: tpu = tf.distribute.cluster_resolver.TPUClusterResolver() print('Running on TPU ', tpu.master()) except ValueError: tpu = None if tpu: tf.config.experimental_connect_to_cluster(tpu) tf.tpu.experimental.initialize_tpu_system(tpu) strategy = tf.distribute.experimental.TPUStrategy(tpu) else: strategy = tf.distribute.get_strategy() print("R
60 2023-10-16
编程技术问答社区
TPU本地文件系统不存在?
我写了一个NN模型,该模型在最后分析图像并提取8个浮数.该模型在我的计算机上工作正常(但缓慢),因此我在TPU云上尝试了一下,那里的BAM!我有一个错误: i1008 12:58:47.077905 140221679261440 tf_logging.py.py.py.py:11]从triefal_loop录制的错误:文件系统方案'[local]未实现(文件:'/home/home/home/home/home gcloud_iba/gcloud_iba/gcloud_iba/cgtr/cgtr/cgtr/cgtr/cgtr/cgtr/cgtr/cgtr/ga__subset/models. CKPT-0_TEMP_E840841D93124A67B54074B1C0FD7AE4') [[{{node save/SaveV2}} = SaveV2[dtypes=[DT_FLOAT, DT_FLOAT, DT_FLOAT, DT_FLOAT, DT_FLOAT, ..., DT_F
24 2023-10-16
编程技术问答社区
tf.data。数据集:不能为给定的输入类型指定“batch\u size”参数
我正在使用 talos 和Google Colab tpu 来运行 keras 模型的超参数调谐.请注意,我正在使用TensorFlow 1.15.0和Keras 2.2.4-Tf. import os import tensorflow as tf import talos as ta from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense from tensorflow.keras.optimizers import Adam from sklearn.model_selection import train_test_split def iris_model(x_train, y_train, x_val, y_val, params): # Specify a distributed strategy to use TPU resol
174 2023-10-16
编程技术问答社区
文件系统方案'[local]'未在谷歌Colab TPU中实现
我在Google Colab中使用了TPU运行时,但是在读取文件中遇到问题(不确定).我使用: 初始化tpu import tensorflow as tf import os import tensorflow_datasets as tfds resolver = tf.distribute.cluster_resolver.TPUClusterResolver(tpu='grpc://' + os.environ['COLAB_TPU_ADDR']) tf.config.experimental_connect_to_cluster(resolver) # This is the TPU initialization code that has to be at the beginning. tf.tpu.experimental.initialize_tpu_system(resolver) print("All devices: ", tf.config.list_log
22 2023-10-16
编程技术问答社区
Colab TPU上的RNN运行速度与本地CPU版本相同
我实现了RNN的本地版本和RNN的COLAB TPU版本(Code-Below).当我执行COLAB TPU版本(代码 - 贝尔)时,训练速度非常慢,就像我的笔记本电脑CPU上运行的本地版本一样慢. COLAB TPU是否支持RNN网络? 我在这里错过了什么吗? import tensorflow as tf import os from tensorflow.keras import Sequential from tensorflow.keras.layers import Dense, SimpleRNN resolver = tf.distribute.cluster_resolver.TPUClusterResolver(tpu='grpc://' + os.environ['COLAB_TPU_ADDR']) tf.config.experimental_connect_to_cluster(resolver) tf.tpu.experimental.in
TF1.14][TPU]无法使用TPU在Colab上使用自定义TFrecord数据集
我创建了一个构成元素及其相应标签的Tfrecord数据集文件.我想使用免费的TPU将其用于COLAB上的培训模型.我可以加载tfrecord文件,甚至可以运行迭代器,只是为了查看内容,在时代开始之前,它会在错误之后投掷 - UnimplementedError: From /job:worker/replica:0/task:0: File system scheme '[local]' not implemented (file: '/content/gdrive/My Drive/data/encodeddata_inGZIP.tfrecord') [[{{node MultiDeviceIteratorGetNextFromShard}}]] [[RemoteCall]] [[IteratorGetNextAsOptional_1]] 在我的理解中,它希望在TPU存储桶上使用Tfrecord文件,我不知道该如何在COLAB上做到这一点.如何直
110 2023-04-27
编程技术问答社区
使用TensorFlow 2.1的Cloud TPU v3 Pod的TPUClusterResolver的错误
我正在尝试在Google云计算引擎VM上使用TensorFlow 2.1使用我的(可取消的)Cloud TPU V3-256,但它似乎无法正常工作,因为TPUClusterResolver the TPUClusterResolver抛出>错误. 只要我使用grpc://地址而不是TPU名称,使用单个(不可撤销)TPU的工作正常.但是,使用TPU名称时,单个TPU和我的TPU POD都没有工作,并丢弃此错误. 有人可以帮我解决这个问题吗? 代码: resolver = tf.distribute.cluster_resolver.TPUClusterResolver(tpu='my-tpu-name', zone='europe-west4-a', project='my-project') # The zone, project and TPU Name are correct 输出: ValueError: Could not lookup TPU
Google Colab: 为什么CPU比TPU快?
我正在使用Google Colab tpu 来训练简单的 keras 模型.删除分布式策略并在 cpu 上运行相同的程序要比 tpu 快得多.怎么可能? import timeit import os import tensorflow as tf from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense from tensorflow.keras.optimizers import Adam # Load Iris dataset x = load_iris().data y = load_iris().target # Split data to train and vali
28 2023-02-23
编程技术问答社区
Keras TPU。编译失败:检测到不支持的操作
我尝试使用Google Colab TPU来运行我的Keras UNET模型,并在UpSampling2D上遇到了这个问题.有任何解决方案或解决方法吗? 要运行的代码: import os import numpy as np import tensorflow as tf from tensorflow.keras.models import Sequential from tensorflow.keras.layers import UpSampling2D model = Sequential() model.add(UpSampling2D((2, 2), input_shape=(16, 16, 1))) model.compile(optimizer=tf.train.RMSPropOptimizer(learning_rate=0.01), loss='binary_crossentropy', metrics=['acc'])
30 2023-02-22
编程技术问答社区
用于TPU的Mask R-CNN在Google Colab上的应用
我们正在尝试使用Google Colab TPU构建图像分割深度学习模型.我们的模型是蒙版R-CNN. TPU_WORKER = 'grpc://' + os.environ['COLAB_TPU_ADDR'] import tensorflow as tf tpu_model = tf.contrib.tpu.keras_to_tpu_model( model.keras_model, strategy=tf.contrib.tpu.TPUDistributionStrategy( tf.contrib.cluster_resolver.TPUClusterResolver(TPU_WORKER))) 但是,我正在遇到问题,同时将我们的蒙版R-CNN模型转换为粘贴的TPU模型. ValueError: Layer has a variable s
42 2022-10-20
编程技术问答社区
值错误:操作u';TPU140462710602256/VarIsInitializedOp#39;已标记为不可获取
代码在 GPU 和 CPU 上运行良好.但是当我使用 keras_to_tpu_model 函数使模型能够在 TPU 上运行时,出现了错误. 这是 colab 的完整输出:https:///colab.research.google.com/gist/WangHexie/2252beb26f16354cb6e9ba2639970e5b/tpu-error.ipynb 将runtype更改为TPU,我认为这可以重现. github上的代码:https://github.com/WangHexie/DHNE/blob/master/src/hypergraph_embedding.py#L60 您可以通过切换到 gpu 分支在 GPU 上测试代码. 追溯 Traceback (most recent call last): File "src/hypergraph_embedding.py", line 158, in h.t
842 2022-07-19
编程技术问答社区
如何在google colab中使用TPU
Google colab 在运行时加速器中引入了 TPU.我找到了一个例子,How to use TPU in Official Tensorflow github.但该示例不适用于 google-colaboratory.它停留在以下行: tf.contrib.tpu.keras_to_tpu_model(model, strategy=strategy) 当我在 colab 上 打印可用设备 时,它会返回[] 用于 TPU 加速器.有谁知道如何在 colab 上使用 TPU? 解决方案 这是一个 Colab 特定的 TPU 示例:https://colab.research.google.com/github/tensorflow/tpu/blob/master/tools/colab/shakespeare_with_tpu_and_keras.ipynb 关键线路是连接到 TPU 本身的线路: # This address identifies the TP
1888 2022-07-17
编程技术问答社区