Ubah string menjadi nama file yang valid?

Saya memiliki string yang ingin saya gunakan sebagai nama file, jadi saya ingin menghapus semua karakter yang tidak diizinkan dalam nama file, menggunakan Python.

Saya lebih suka bersikap tegas daripada yang lain, jadi katakanlah saya hanya ingin mempertahankan huruf, angka, dan satu set karakter kecil seperti "_-.() ". Apa solusi paling elegan?

Nama file harus valid pada beberapa sistem operasi (Windows, Linux dan Mac OS) - ini adalah file MP3 di perpustakaan saya dengan judul lagu sebagai nama file, dan dibagikan dan dicadangkan di antara 3 mesin.

Anda dapat melihat kerangka kerja Django untuk bagaimana mereka membuat "siput" dari teks arbitrer. Siput adalah URL- dan ramah nama file.

Util teks Django mendefinisikan fungsi slugify(),, itu mungkin standar emas untuk hal semacam ini. Pada dasarnya, kode mereka adalah sebagai berikut.

def slugify(value):
    """
    Normalizes string, converts to lowercase, removes non-alpha characters,
    and converts spaces to hyphens.
    """
    import unicodedata
    value = unicodedata.normalize('NFKD', value).encode('ascii', 'ignore')
    value = unicode(re.sub('[^\w\s-]', '', value).strip().lower())
    value = unicode(re.sub('[-\s]+', '-', value))
    # ...
    return value

Masih ada lagi, tetapi saya meninggalkannya, karena tidak membahas slugifikasi, tetapi melarikan diri.

Pendekatan daftar putih ini (yaitu, hanya mengizinkan karakter yang ada di valid_chars) akan berfungsi jika tidak ada batasan pada pemformatan file atau kombinasi karakter yang valid yang ilegal (seperti ".."), misalnya, apa yang Anda katakan akan memungkinkan nama file bernama ". txt" yang menurut saya tidak valid pada Windows. Karena ini adalah pendekatan yang paling sederhana, saya akan mencoba untuk menghapus spasi dari valid_chars dan menambahkan string valid yang diketahui jika terjadi kesalahan, setiap pendekatan lain harus tahu tentang apa yang diizinkan di mana untuk mengatasi keterbatasan penamaan file Windows dan dengan demikian menjadi jauh lebih kompleks.

>>> import string
>>> valid_chars = "-_.() %s%s" % (string.ascii_letters, string.digits)
>>> valid_chars
'-_.() abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789'
>>> filename = "This Is a (valid) - filename%$&$ .txt"
>>> ''.join(c for c in filename if c in valid_chars)
'This Is a (valid) - filename .txt'

Anda dapat menggunakan pemahaman daftar bersama-sama dengan metode string.

>>> s
'foo-bar#baz?qux@127/\\9]'
>>> "".join(x for x in s if x.isalnum())
'foobarbazqux1279'

Apa alasan untuk menggunakan string sebagai nama file? Jika keterbacaan manusia bukan faktor saya akan pergi dengan modul base64 yang dapat menghasilkan string sistem file yang aman. Ini tidak dapat dibaca tetapi Anda tidak harus berurusan dengan tabrakan dan itu dapat dibalik.

import base64
file_name_string = base64.urlsafe_b64encode(your_string)

Pembaruan : Diubah berdasarkan komentar Matius.

Hanya untuk memperumit masalah, Anda tidak dijamin mendapatkan nama file yang valid hanya dengan menghapus karakter yang tidak valid. Karena karakter yang dibolehkan berbeda pada nama file yang berbeda, pendekatan konservatif akhirnya dapat mengubah nama yang valid menjadi yang tidak valid. Anda mungkin ingin menambahkan penanganan khusus untuk kasus-kasus di mana:

• String adalah semua karakter yang tidak valid (meninggalkan Anda dengan string kosong)

• Anda berakhir dengan string dengan makna khusus, misalnya "." atau ".."

• Di windows, nama perangkat tertentu dicadangkan. Misalnya, Anda tidak dapat membuat file bernama "nul", "nul.txt" (atau nul.anything sebenarnya) Nama yang dipesan adalah:

  CON, PRN, AUX, NUL, COM1, COM2, COM3, COM4, ​​COM5, COM7, COM8, COM9, LPT1, LPT2, LPT3, LPT3, LPT4, LPT5, LPT6, LPT7, LPT8, dan LPT9

Anda mungkin dapat mengatasi masalah ini dengan menambahkan beberapa string ke nama file yang tidak pernah dapat menghasilkan salah satu dari kasus ini, dan menghapus karakter yang tidak valid.

Ada proyek bagus di Github yang disebut python-slugify :

Install:

pip install python-slugify

Kemudian gunakan:

>>> from slugify import slugify
>>> txt = "This\ is/ a%#$ test ---"
>>> slugify(txt)
'this-is-a-test'

Sama seperti S.Lott menjawab, Anda dapat melihat Django Framework untuk bagaimana mereka mengonversi string ke nama file yang valid.

Versi terbaru dan terbaru ditemukan di utils / text.py, dan mendefinisikan "get_valid_filename", yaitu sebagai berikut:

def get_valid_filename(s):
    s = str(s).strip().replace(' ', '_')
    return re.sub(r'(?u)[^-\w.]', '', s)

(Lihat https://github.com/django/django/blob/master/django/utils/text.py )

Ini adalah solusi yang akhirnya saya gunakan:

import unicodedata

validFilenameChars = "-_.() %s%s" % (string.ascii_letters, string.digits)

def removeDisallowedFilenameChars(filename):
    cleanedFilename = unicodedata.normalize('NFKD', filename).encode('ASCII', 'ignore')
    return ''.join(c for c in cleanedFilename if c in validFilenameChars)

Panggilan unicodedata.normalisasi menggantikan karakter beraksen dengan padanan yang tidak beraksen, yang lebih baik daripada hanya menghapusnya. Setelah itu semua karakter yang dilarang dihapus.

Solusi saya tidak menambahkan string yang dikenal untuk menghindari kemungkinan nama file yang tidak diizinkan, karena saya tahu mereka tidak dapat muncul mengingat format nama file saya yang khusus. Solusi yang lebih umum perlu dilakukan.

Perlu diingat, sebenarnya tidak ada batasan nama file pada sistem Unix selain

• Mungkin tidak mengandung \ 0
• Itu mungkin tidak mengandung /

Yang lainnya adalah permainan yang adil.

$ sentuh "
> bahkan multiline
> haha
> ^ [[31m merah ^ [[0m
> jahat "
$ ls -la 
-rw-r - r-- 0 Nov 17 23:39? bahkan multiline? haha ​​?? [31m merah? [0m? jahat
$ ls -lab
-rw-r - r-- 0 Nov 17 23:39 \ neven \ multiline \ nhaha \ n \ 033 [31m \ red \ \ 033 [0m \ nevil
$ perl -e 'untuk $ i saya (glob (q {./* even *})) {print $ i; } '
./
bahkan multiline
ha ha
 merah 
jahat

Ya, saya baru saja menyimpan Kode Warna ANSI dalam nama file dan menerapkannya.

Untuk hiburan, letakkan karakter BEL dalam nama direktori dan tonton kesenangan yang terjadi saat Anda memasukkan CD ke dalamnya;)

Dalam satu baris:

valid_file_name = re.sub('[^\w_.)( -]', '', any_string)

Anda juga dapat menempatkan karakter '_' untuk membuatnya lebih mudah dibaca (dalam kasus mengganti garis miring, misalnya)

Anda bisa menggunakan metode re.sub () untuk mengganti apa pun yang bukan "filelike". Tetapi pada dasarnya, setiap karakter bisa valid; jadi tidak ada fungsi prebuilt (saya percaya), untuk menyelesaikannya.

import re

str = "File!name?.txt"
f = open(os.path.join("/tmp", re.sub('[^-a-zA-Z0-9_.() ]+', '', str))

Akan menghasilkan filehandle ke /tmp/filename.txt.

>>> import string
>>> safechars = bytearray(('_-.()' + string.digits + string.ascii_letters).encode())
>>> allchars = bytearray(range(0x100))
>>> deletechars = bytearray(set(allchars) - set(safechars))
>>> filename = u'#ab\xa0c.$%.txt'
>>> safe_filename = filename.encode('ascii', 'ignore').translate(None, deletechars).decode()
>>> safe_filename
'abc..txt'

Itu tidak menangani string kosong, nama file khusus ('nul', 'con', dll).

Padahal kamu harus hati-hati. Tidak jelas dikatakan dalam intro Anda, jika Anda hanya melihat bahasa latine. Beberapa kata dapat menjadi tidak berarti atau berarti lain jika Anda membersihkannya hanya dengan karakter ascii.

bayangkan Anda memiliki "forêt poésie" (puisi hutan), sanitasi Anda mungkin memberi "fort-posie" (kuat + sesuatu yang tidak berarti)

Lebih buruk jika Anda harus berurusan dengan karakter Cina.

"下 北 沢" sistem Anda mungkin berakhir melakukan "---" yang pasti akan gagal setelah beberapa saat dan tidak terlalu membantu. Jadi, jika Anda hanya berurusan dengan file, saya akan mendorong untuk menyebutnya sebagai rantai generik yang Anda kontrol atau untuk mempertahankan karakter apa adanya. Untuk URI, hampir sama.

Mengapa tidak hanya membungkus "osopen" dengan coba / kecuali dan biarkan OS yang mendasarinya memilah apakah file tersebut valid?

Ini sepertinya kurang berfungsi dan valid apa pun OS yang Anda gunakan.

Masalah lain yang belum ditangani oleh komentar lain adalah string kosong, yang jelas bukan nama file yang valid. Anda juga dapat berakhir dengan string kosong dari pengupasan terlalu banyak karakter.

Apa dengan nama file Windows yang dicadangkan dan masalah dengan titik-titik, jawaban teraman untuk pertanyaan "bagaimana cara menormalkan nama file yang valid dari input pengguna yang sewenang-wenang?" adalah "jangan repot-repot mencoba": jika Anda dapat menemukan cara lain untuk menghindarinya (mis. menggunakan integer primary key dari database sebagai nama file), lakukan itu.

Jika Anda harus, dan Anda benar-benar perlu memberi ruang dan '.' untuk ekstensi file sebagai bagian dari nama, coba sesuatu seperti:

import re
badchars= re.compile(r'[^A-Za-z0-9_. ]+|^\.|\.$|^ | $|^$')
badnames= re.compile(r'(aux|com[1-9]|con|lpt[1-9]|prn)(\.|$)')

def makeName(s):
    name= badchars.sub('_', s)
    if badnames.match(name):
        name= '_'+name
    return name

Bahkan ini tidak dapat dijamin benar terutama pada OS yang tidak terduga - misalnya RISC OS membenci spasi dan menggunakan '.' sebagai pemisah direktori.

Saya menyukai pendekatan python-slugify di sini, tetapi juga menghilangkan titik-titik yang tidak diinginkan. Jadi saya mengoptimalkannya untuk mengunggah nama file bersih ke s3 dengan cara ini:

pip install python-slugify

Kode contoh:

s = 'Very / Unsafe / file\nname hähä \n\r .txt'
clean_basename = slugify(os.path.splitext(s)[0])
clean_extension = slugify(os.path.splitext(s)[1][1:])
if clean_extension:
    clean_filename = '{}.{}'.format(clean_basename, clean_extension)
elif clean_basename:
    clean_filename = clean_basename
else:
    clean_filename = 'none' # only unclean characters

Keluaran:

>>> clean_filename
'very-unsafe-file-name-haha.txt'

Ini sangat failafe, ia bekerja dengan nama file tanpa ekstensi dan bahkan berfungsi hanya untuk nama file karakter yang tidak aman (hasilnya ada di nonesini).

Jawaban dimodifikasi untuk python 3.6

import string
import unicodedata

validFilenameChars = "-_.() %s%s" % (string.ascii_letters, string.digits)
def removeDisallowedFilenameChars(filename):
    cleanedFilename = unicodedata.normalize('NFKD', filename).encode('ASCII', 'ignore')
    return ''.join(chr(c) for c in cleanedFilename if chr(c) in validFilenameChars)

Saya menyadari ada banyak jawaban tetapi sebagian besar mengandalkan ekspresi reguler atau modul eksternal, jadi saya ingin memberikan jawaban saya sendiri. Fungsi python murni, tidak ada modul eksternal yang diperlukan, tidak ada ekspresi reguler yang digunakan. Pendekatan saya bukan untuk membersihkan karakter yang tidak valid, tetapi hanya mengizinkan yang valid.

def normalizefilename(fn):
    validchars = "-_.() "
    out = ""
    for c in fn:
      if str.isalpha(c) or str.isdigit(c) or (c in validchars):
        out += c
      else:
        out += "_"
    return out    

jika suka, Anda dapat menambahkan karakter valid Anda sendiri ke validchars variabel di awal, seperti huruf nasional Anda yang tidak ada dalam alfabet bahasa Inggris. Ini adalah sesuatu yang Anda mungkin atau mungkin tidak ingin: beberapa sistem file yang tidak berjalan pada UTF-8 mungkin masih memiliki masalah dengan karakter non-ASCII.

Fungsi ini untuk menguji validitas nama file tunggal, sehingga akan mengganti pemisah path dengan _ menganggap mereka karakter yang tidak valid. Jika Anda ingin menambahkan itu, itu sepele untuk memodifikasi ifuntuk memasukkan pemisah jalur os.

Sebagian besar solusi ini tidak berfungsi.

'/ halo / dunia' -> 'helloworld'

'/ helloworld' / -> 'helloworld'

Ini bukan yang Anda inginkan secara umum, katakanlah Anda menyimpan html untuk setiap tautan, Anda akan menimpa html untuk halaman web yang berbeda.

Saya acar dict seperti:

{'helloworld': 
    (
    {'/hello/world': 'helloworld', '/helloworld/': 'helloworld1'},
    2)
    }

2 mewakili angka yang harus ditambahkan ke nama file berikutnya.

Saya mencari nama file setiap kali dari dikt. Jika tidak ada di sana, saya membuat yang baru, menambahkan nomor maks jika diperlukan.

Bukan apa yang diminta OP tetapi ini yang saya gunakan karena saya perlu konversi yang unik dan dapat dibalik:

# p3 code
def safePath (url):
    return ''.join(map(lambda ch: chr(ch) if ch in safePath.chars else '%%%02x' % ch, url.encode('utf-8')))
safePath.chars = set(map(lambda x: ord(x), '0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz+-_ .'))

Hasilnya "agak" dapat dibaca, setidaknya dari sudut pandang sysadmin.

Jika Anda tidak keberatan menginstal paket, ini akan berguna: https://pypi.org/project/pathvalidate/

Dari https://pypi.org/project/pathvalidate/#sanitize-a-filename :

from pathvalidate import sanitize_filename

fname = "fi:l*e/p\"a?t>h|.t<xt"
print(f"{fname} -> {sanitize_filename(fname)}\n")
fname = "\0_a*b:c<d>e%f/(g)h+i_0.txt"
print(f"{fname} -> {sanitize_filename(fname)}\n")

Keluaran

fi:l*e/p"a?t>h|.t<xt -> filepath.txt
_a*b:c<d>e%f/(g)h+i_0.txt -> _abcde%f(g)h+i_0.txt

Saya yakin ini bukan jawaban yang bagus, karena ia memodifikasi string yang berulang, tetapi tampaknya berfungsi dengan baik:

import string
for chr in your_string:
 if chr == ' ':
   your_string = your_string.replace(' ', '_')
 elif chr not in string.ascii_letters or chr not in string.digits:
    your_string = your_string.replace(chr, '')

MEMPERBARUI

Semua tautan rusak tidak dapat diperbaiki dalam jawaban berusia 6 tahun ini.

Juga, saya juga tidak akan melakukannya dengan cara ini lagi, cukup base64menyandikan atau menjatuhkan karakter yang tidak aman. Contoh Python 3:

import re
t = re.compile("[a-zA-Z0-9.,_-]")
unsafe = "abc∂éåß®∆˚˙©¬ñ√ƒµ©∆∫ø"
safe = [ch for ch in unsafe if t.match(ch)]
# => 'abc'

Dengan base64Anda dapat menyandikan dan mendekode, sehingga Anda dapat mengambil nama file asli lagi.

Tetapi tergantung pada kasus penggunaan Anda mungkin lebih baik menghasilkan nama file acak dan menyimpan metadata dalam file atau DB yang terpisah.

from random import choice
from string import ascii_lowercase, ascii_uppercase, digits
allowed_chr = ascii_lowercase + ascii_uppercase + digits

safe = ''.join([choice(allowed_chr) for _ in range(16)])
# => 'CYQ4JDKE9JfcRzAZ'

JAWABAN LINKROTTEN ASLI :

The bobcatproyek berisi modul python yang tidak hanya ini.

Itu tidak sepenuhnya kuat, lihat posting ini dan balasan ini .

Jadi, seperti yang disebutkan: base64penyandian mungkin merupakan ide yang lebih baik jika keterbacaan tidak masalah.

• Documents https://svn.origo.ethz.ch/bobcat/src-doc/safefilename-module.html
• Sumber https://svn.origo.ethz.ch/bobcat/trunk/src/bobcatlib/safefilename.py