Membaca file biner dengan python

Saya merasa sangat sulit membaca file biner dengan Python. Bisakah Anda membantu saya? Saya perlu membaca file ini, yang di Fortran 90 mudah dibaca

int*4 n_particles, n_groups
real*4 group_id(n_particles)
read (*) n_particles, n_groups
read (*) (group_id(j),j=1,n_particles)

Secara detail, format file tersebut adalah:

Bytes 1-4 -- The integer 8.
Bytes 5-8 -- The number of particles, N.
Bytes 9-12 -- The number of groups.
Bytes 13-16 -- The integer 8.
Bytes 17-20 -- The integer 4*N.
Next many bytes -- The group ID numbers for all the particles.
Last 4 bytes -- The integer 4*N. 

Bagaimana saya bisa membaca ini dengan Python? Saya mencoba segalanya tetapi tidak pernah berhasil. Apakah ada kemungkinan saya menggunakan program f90 dengan python, membaca file biner ini dan kemudian menyimpan data yang perlu saya gunakan?

Baca konten file biner seperti ini:

with open(fileName, mode='rb') as file: # b is important -> binary
    fileContent = file.read()

lalu " keluarkan " data biner menggunakan struct.unpack :

Byte awal: struct.unpack("iiiii", fileContent[:20])

Body: abaikan byte heading dan byte trailing (= 24); Bagian yang tersisa membentuk body, untuk mengetahui jumlah byte pada body lakukan pembagian integer sebanyak 4; Hasil bagi yang diperoleh dikalikan dengan string 'i'untuk membuat format yang benar untuk metode unpack:

struct.unpack("i" * ((len(fileContent) -24) // 4), fileContent[20:-4])

Byte akhir: struct.unpack("i", fileContent[-4:])

Secara umum, saya akan merekomendasikan Anda untuk menggunakan modul struct Python untuk ini. Ini standar dengan Python, dan seharusnya mudah untuk menerjemahkan spesifikasi pertanyaan Anda ke dalam string pemformatan yang sesuai struct.unpack().

Perhatikan bahwa jika ada padding "tak terlihat" di antara / sekitar bidang, Anda perlu mencari tahu dan memasukkannya ke dalam unpack()panggilan, atau Anda akan membaca bit yang salah.

Membaca konten file untuk mendapatkan sesuatu untuk dibongkar cukup sepele:

import struct

data = open("from_fortran.bin", "rb").read()

(eight, N) = struct.unpack("@II", data)

Ini membongkar dua bidang pertama, dengan asumsi mereka mulai di awal file (tidak ada padding atau data asing), dan juga mengasumsikan urutan byte asli ( @simbol). Huruf Is dalam string pemformatan berarti "unsigned integer, 32 bits".

Anda dapat menggunakan numpy.fromfile, yang dapat membaca data dari teks dan file biner. Pertama-tama Anda akan membuat tipe data, yang mewakili format file Anda, menggunakan numpy.dtype, lalu membaca tipe ini dari file menggunakan numpy.fromfile.

Untuk membaca file biner menjadi bytesobjek:

from pathlib import Path
data = Path('/path/to/file').read_bytes()  # Python 3.5+

Untuk membuat intdari byte 0-3 data:

i = int.from_bytes(data[:4], byteorder='little', signed=False)

Untuk mengekstrak beberapa intdari data:

import struct
ints = struct.unpack('iiii', data[:16])

• pathlib
• int.from_bytes()
• struct

Saya juga menemukan Python kurang dalam hal membaca dan menulis file biner, jadi saya menulis modul kecil (untuk Python 3.6+).

Dengan binaryfile Anda akan melakukan sesuatu seperti ini (saya menduga, karena saya tidak tahu Fortran):

import binaryfile

def particle_file(f):
    f.array('group_ids')  # Declare group_ids to be an array (so we can use it in a loop)
    f.skip(4)  # Bytes 1-4
    num_particles = f.count('num_particles', 'group_ids', 4)  # Bytes 5-8
    f.int('num_groups', 4)  # Bytes 9-12
    f.skip(8)  # Bytes 13-20
    for i in range(num_particles):
        f.struct('group_ids', '>f')  # 4 bytes x num_particles
    f.skip(4)

with open('myfile.bin', 'rb') as fh:
    result = binaryfile.read(fh, particle_file)
print(result)

Yang menghasilkan keluaran seperti ini:

{
    'group_ids': [(1.0,), (0.0,), (2.0,), (0.0,), (1.0,)],
    '__skipped': [b'\x00\x00\x00\x08', b'\x00\x00\x00\x08\x00\x00\x00\x14', b'\x00\x00\x00\x14'],
    'num_particles': 5,
    'num_groups': 3
}

Saya menggunakan skip () untuk melewati data tambahan yang ditambahkan Fortran, tetapi Anda mungkin ingin menambahkan utilitas untuk menangani catatan Fortran dengan benar. Jika Anda melakukannya, permintaan tarik akan diterima.

import pickle
f=open("filename.dat","rb")
try:
    while True:
        x=pickle.load(f)
        print x
except EOFError:
    pass
f.close()