python3怎么使用hdf5文件？

HDF5文件是一種特殊的用來(lái)存儲(chǔ)和組織大量數(shù)據(jù)的一組文件格式，在大量科學(xué)數(shù)據(jù)的存儲(chǔ)和操作中具有極其優(yōu)異的特性。python作為一門(mén)科學(xué)運(yùn)算和大數(shù)據(jù)操作的首選語(yǔ)言，它也可以使用和操作hdf5文件，那么python怎么使用hdf5文件呢？接下來(lái)這篇文章告訴你。

什么是HDF5文件呢？

先引用一波維基百科的介紹，『層級(jí)數(shù)據(jù)格式（Hierarchical Data Format：HDF）是設(shè)計(jì)用來(lái)存儲(chǔ)和組織大量數(shù)據(jù)的一組文件格式（HDF4，HDF5）。

它最初開(kāi)發(fā)于美國(guó)國(guó)家超級(jí)計(jì)算應(yīng)用中心，現(xiàn)在由非營(yíng)利社團(tuán)HDF Group支持，其任務(wù)是確保HDF5技術(shù)的持續(xù)開(kāi)發(fā)和存儲(chǔ)在HDF中數(shù)據(jù)的持續(xù)可訪問(wèn)性?！?。

HDF5 擁有一系列的優(yōu)異特性，使其特別適合進(jìn)行大量科學(xué)數(shù)據(jù)的存儲(chǔ)和操作，如它支持非常多的數(shù)據(jù)類型，靈活，通用，跨平臺(tái)，可擴(kuò)展，高效的 I/O 性能，支持幾乎無(wú)限量（高達(dá) EB）的單文件存儲(chǔ)等

如何在Linux中查看hdf5文件呢？

h5ls info.h5
# key1    Dataset {10000}
# key2    Dataset {10000,5}
# key3    Dataset {20000,30}

h5py模塊

我們可以使用Python非常方便的讀寫(xiě)hdf5文件，最常用的模塊就是h5py。下面說(shuō)明一下它的安裝及使用方法：

安裝模塊

pip install h5py
pip install numpy
# numpy 通常是作為配合使用

對(duì)h5py的總結(jié)：

『一個(gè) HDF5 文件是存儲(chǔ)兩類對(duì)象的容器，這兩類對(duì)象分別為：

dataset：類似數(shù)組的數(shù)據(jù)集合； gropp；類似目錄的容器，其中可以包含一個(gè)或多個(gè) dataset 及其它的 group。

一個(gè) HDF5 文件從一個(gè)命名為 "/" 的 group 開(kāi)始，所有的 dataset 和其它 group 都包含在此 group 下，當(dāng)操作 HDF5 文件時(shí)，如果沒(méi)有顯式指定 group 的 dataset 都是默認(rèn)指 "/" 下的 dataset，另外類似相對(duì)文件路徑的 group 名字都是相對(duì)于 "/" 的。

HDF5 文件的 dataset 和 group 都可以擁有描述性的元數(shù)據(jù)，稱作 attribute。

用 h5py 操作 HDF5 文件，我們可以像使用目錄一樣使用 group，像使用 numpy 數(shù)組一樣使用 dataset，像使用字典一樣使用屬性，非常方便和易用?！?/p>

寫(xiě)入hdf5文件

import h5py
import numpy as np
# 如果你要在根group下創(chuàng)建dataset
f = h5py.File('info.h5', 'w')
values1 = np.arange(12).reshape(4, 3)
values2 = np.arange(20).reshape(4, 5)
f.create_dataset(name='key1', data=np.array(values1, dtype='int64'))
f.create_dataset(name='key2', data=np.array(values2, dtype='int64'))
# 如果你要?jiǎng)?chuàng)建一個(gè)group（目錄）
# 然后指定dataset放置的group
f.create_group('/dir1')
f.create_group('/dir1/dir2')
data = np.arange(6).reshape(3, 2)
f.create_dataset('/dir1/dir2', data=data)
# 最后別忘了關(guān)閉文件
f.close()

讀取hdf5文件

import h5py
with h5py.File(info.h5, 'r') as f:
    values1 = f['key1'].value
    values2 = f['key2'].value

遍歷hdf5文件

import h5py
import numpy as np
f = h5py.File('train/e1_1.hdf5')
key = ""
for k in f.keys():
    key = k
d = f[key]
print(d)
a = np.ones(d.shape)
d.read_direct(a)
print(a)
f.close()

以上就是python怎么使用hdf5文件的個(gè)人經(jīng)驗(yàn)了，希望能給大家一個(gè)參考，也希望大家多多支持W3Cschool。