Hapus file sensitif dan komitmennya dari riwayat Git

Saya ingin menempatkan proyek Git di GitHub tetapi berisi file-file tertentu dengan data sensitif (nama pengguna dan kata sandi, seperti /config/deploy.rb untuk capistrano).

Saya tahu saya bisa menambahkan nama file ini ke .gitignore , tetapi ini tidak akan menghapus riwayatnya di dalam Git.

Saya juga tidak ingin memulai lagi dengan menghapus direktori /.git.

Apakah ada cara untuk menghapus semua jejak file tertentu di riwayat Git Anda?

Untuk semua tujuan praktis, hal pertama yang harus Anda khawatirkan adalah MENGUBAH PASSWORDS ANDA! Tidak jelas dari pertanyaan Anda apakah repositori git Anda sepenuhnya lokal atau apakah Anda memiliki repositori jarak jauh di tempat lain; jika remote dan tidak diamankan dari orang lain, Anda memiliki masalah. Jika ada orang yang mengkloning repositori itu sebelum Anda memperbaikinya, mereka akan memiliki salinan kata sandi Anda di mesin lokal mereka, dan tidak mungkin Anda bisa memaksa mereka untuk memperbarui ke versi "tetap" Anda dengan itu hilang dari sejarah. Satu-satunya hal aman yang dapat Anda lakukan adalah mengubah kata sandi Anda menjadi sesuatu yang lain di mana pun Anda menggunakannya.

Dengan cara itu, inilah cara untuk memperbaikinya. GitHub menjawab pertanyaan itu sebagai FAQ :

Catatan untuk pengguna Windows : gunakan tanda kutip ganda (") sebagai ganti tunggal dalam perintah ini

git filter-branch --index-filter \
'git update-index --remove PATH-TO-YOUR-FILE-WITH-SENSITIVE-DATA' <introduction-revision-sha1>..HEAD
git push --force --verbose --dry-run
git push --force

Pembaruan 2019:

Ini adalah kode saat ini dari FAQ:

  git filter-branch --force --index-filter \
  "git rm --cached --ignore-unmatch PATH-TO-YOUR-FILE-WITH-SENSITIVE-DATA" \
  --prune-empty --tag-name-filter cat -- --all
  git push --force --verbose --dry-run
  git push --force

Ingatlah bahwa setelah Anda mendorong kode ini ke repositori jarak jauh seperti GitHub dan yang lainnya telah mengkloning repositori jarak jauh itu, Anda sekarang berada dalam situasi di mana Anda menulis ulang sejarah. Ketika orang lain mencoba menarik perubahan terbaru Anda setelah ini, mereka akan mendapatkan pesan yang menunjukkan bahwa perubahan tidak dapat diterapkan karena itu bukan fast-forward.

Untuk memperbaikinya, mereka harus menghapus repositori yang sudah ada dan mengkloning kembali, atau mengikuti instruksi di bawah "MEMULIHKAN DARI REBASE UPSTREAM" di halaman manual git-rebase .

Kiat : Jalankangit rebase --interactive

Di masa depan, jika Anda secara tidak sengaja melakukan beberapa perubahan dengan informasi sensitif tetapi Anda perhatikan sebelum mendorong ke repositori jarak jauh, ada beberapa perbaikan yang lebih mudah. Jika komit terakhir adalah yang menambahkan informasi sensitif, Anda dapat menghapus informasi sensitif, kemudian jalankan:

git commit -a --amend

Itu akan mengubah komit sebelumnya dengan setiap perubahan baru yang Anda buat, termasuk seluruh penghapusan file yang dilakukan dengan a git rm. Jika perubahan lebih lanjut dalam sejarah tetapi masih tidak didorong ke repositori jarak jauh, Anda dapat melakukan rebase interaktif:

git rebase -i origin/master

Itu membuka editor dengan komit yang Anda buat sejak nenek moyang terakhir bersama dengan repositori jarak jauh. Ubah "pilih" menjadi "edit" pada baris apa pun yang mewakili komit dengan informasi sensitif, dan simpan dan keluar. Git akan berjalan melalui perubahan, dan meninggalkan Anda di tempat di mana Anda dapat:

$EDITOR file-to-fix
git commit -a --amend
git rebase --continue

Untuk setiap perubahan dengan informasi sensitif. Akhirnya, Anda akan kembali ke cabang Anda, dan Anda dapat dengan aman mendorong perubahan baru.

Mengubah kata sandi Anda adalah ide yang bagus, tetapi untuk proses menghapus kata sandi dari riwayat repo Anda, saya merekomendasikan BFG Repo-Cleaner , sebuah alternatif yang lebih cepat dan lebih sederhana untuk git-filter-branchsecara eksplisit dirancang untuk menghapus data pribadi dari repositori Git.

Membuat private.txt file yang mencantumkan kata sandi, dll, yang ingin Anda hapus (satu entri per baris) dan kemudian jalankan perintah ini:

$ java -jar bfg.jar  --replace-text private.txt  my-repo.git

Semua file di bawah ukuran ambang (1MB secara default) dalam riwayat repo Anda akan dipindai, dan setiap string yang cocok (yang tidak ada dalam komit terbaru Anda ) akan diganti dengan string "*** DIHAPUS ***". Anda kemudian dapat menggunakan git gcuntuk membersihkan data yang mati:

$ git gc --prune=now --aggressive

BFG biasanya 10-50x lebih cepat daripada berjalan git-filter-branchdan opsinya disederhanakan dan disesuaikan dengan dua use case berikut:

• Menghapus File Besar Gila
• Menghapus Kata Sandi, Kredensial & Data pribadi lainnya

Pengungkapan penuh: Saya penulis Repo-Cleaner BFG.

Jika Anda mendorong ke GitHub, memaksakan dorongan tidak cukup, hapus repositori atau hubungi dukungan

Bahkan jika Anda memaksa mendorong satu detik setelah itu, itu tidak cukup seperti yang dijelaskan di bawah ini.

Satu-satunya tindakan yang valid adalah:

• Apakah yang dibocorkan adalah kredensial yang dapat diubah seperti kata sandi?

  • ya: segera ubah kata sandi Anda, dan pertimbangkan untuk menggunakan lebih banyak kunci OAuth dan API!

  • tidak ada (foto telanjang):

    • apakah Anda peduli jika semua masalah di repositori dihilangkan?

      • tidak: hapus repositori

      • Iya:

        • hubungi dukungan
        • jika kebocoran sangat penting bagi Anda, sampai Anda bersedia untuk mendapatkan beberapa downtime repositori untuk membuatnya lebih kecil kemungkinannya bocor, jadikan itu pribadi sementara Anda menunggu dukungan GitHub untuk membalas Anda

Memaksa satu detik kemudian tidak cukup karena:

• GitHub terus menggantung komitmen untuk waktu yang lama.

  Staf GitHub memang memiliki kekuatan untuk menghapus komitmen menjuntai seperti itu jika Anda menghubungi mereka.

  Saya mengalami tangan pertama ini ketika saya mengunggah semua GitHub melakukan surel ke repo yang mereka minta saya ambil, jadi saya lakukan, dan mereka melakukan a gc. Namun, permintaan tarik yang berisi data harus dihapus : bahwa data repo tetap dapat diakses hingga satu tahun setelah penghapusan awal karena hal ini.

  Komitmen yang menggantung dapat dilihat melalui:

  • UI web komit: https://github.com/cirosantilli/test-dangling/commit/53df36c09f092bbb59f2faa34eba15cd89ef8e83 ( Mesin Wayback )
  • API: https://api.github.com/repos/cirosantilli/test-dangling/commits/53df36c09f092bbb59f2faa34eba15cd89ef8e83 ( mesin Wayback )

  Salah satu cara mudah untuk mendapatkan sumber pada komit itu adalah dengan menggunakan metode zip unduhan, yang dapat menerima referensi apa pun, misalnya: https://github.com/cirosantilli/myrepo/archive/SHA.zip

• Dimungkinkan untuk mengambil SHA yang hilang baik dengan:

  • daftar acara API dengan type": "PushEvent". Misalnya milik saya: https://api.github.com/users/cirosantilli/events/public ( mesin Wayback )
  • kadang-kadang lebih nyaman, dengan melihat SHA dari permintaan tarik yang berusaha untuk menghapus konten

• Ada scrappers seperti http://ghtorrent.org/ dan https://www.githubarchive.org/ yang secara teratur menyatukan data GitHub dan menyimpannya di tempat lain.

  Saya tidak dapat menemukan apakah mereka mengikis perbedaan komit aktual, dan itu tidak mungkin karena akan ada terlalu banyak data, tetapi secara teknis memungkinkan, dan NSA dan teman-teman kemungkinan memiliki filter untuk mengarsipkan hanya barang-barang yang terkait dengan orang atau komitmen yang menarik.

Jika Anda menghapus repositori alih-alih hanya memaksakan dorongan, komit segera menghilang bahkan dari API dan memberikan 404, misalnya https://api.github.com/repos/cirosantilli/test-dangling-delete/commits/8c08448b5fbf0f891696819f3b2b2d653f7a24 ini karya bahkan jika Anda membuat ulang repositori lain dengan nama yang sama.

Untuk menguji ini, saya telah membuat repo: https://github.com/cirosantilli/test-dangling dan lakukan:

git init
git remote add origin git@github.com:cirosantilli/test-dangling.git

touch a
git add .
git commit -m 0
git push

touch b
git add .
git commit -m 1
git push

touch c
git rm b
git add .
git commit --amend --no-edit
git push -f

Lihat juga: Bagaimana cara menghapus komit menggantung dari GitHub?

Saya merekomendasikan naskah ini oleh David Underhill, bekerja seperti pesona bagi saya.

Ia menambahkan perintah-perintah ini sebagai tambahan cabang-filter natacado untuk membersihkan kekacauan yang ditinggalkannya:

rm -rf .git/refs/original/
git reflog expire --all
git gc --aggressive --prune

Skrip lengkap (semua kredit ke David Underhill)

#!/bin/bash
set -o errexit

# Author: David Underhill
# Script to permanently delete files/folders from your git repository.  To use 
# it, cd to your repository's root and then run the script with a list of paths
# you want to delete, e.g., git-delete-history path1 path2

if [ $# -eq 0 ]; then
    exit 0
fi

# make sure we're at the root of git repo
if [ ! -d .git ]; then
    echo "Error: must run this script from the root of a git repository"
    exit 1
fi

# remove all paths passed as arguments from the history of the repo
files=$@
git filter-branch --index-filter \
"git rm -rf --cached --ignore-unmatch $files" HEAD

# remove the temporary history git-filter-branch
# otherwise leaves behind for a long time
rm -rf .git/refs/original/ && \
git reflog expire --all && \
git gc --aggressive --prune

Dua perintah terakhir mungkin berfungsi lebih baik jika diubah menjadi berikut:

git reflog expire --expire=now --all && \
git gc --aggressive --prune=now

Agar jelas: Jawaban yang diterima benar. Coba dulu. Namun, itu mungkin tidak perlu rumit untuk beberapa kasus penggunaan, terutama jika Anda menemukan kesalahan yang menjengkelkan seperti 'fatal: revisi buruk --prune-kosong', atau benar-benar tidak peduli tentang sejarah repo Anda.

Alternatifnya adalah:

1. cd ke cabang dasar proyek
2. Hapus kode / file sensitif
3. rm -rf .git / # Hapus semua info git dari kode Anda
4. Pergi ke github dan hapus repositori Anda
5. Ikuti panduan ini untuk mendorong kode Anda ke repositori baru seperti biasanya - https://help.github.com/articles/adding-an-existing-project-to-github-using-the-command-line/

Ini tentu saja akan menghapus semua cabang histori komit, dan masalah dari repo github Anda, dan repo git lokal Anda. Jika ini tidak dapat diterima, Anda harus menggunakan pendekatan alternatif.

Sebut ini opsi nuklir.

Kamu bisa menggunakan git forget-blob .

Penggunaannya cukup sederhana git forget-blob file-to-forget . Anda bisa mendapatkan info lebih lanjut di sini

https://ownyourbits.com/2017/01/18/completely-remove-a-file-from-a-git-repository-with-git-forget-blob/

Ini akan hilang dari semua komit dalam riwayat Anda, reflog, tag, dan sebagainya

Saya mengalami masalah yang sama setiap sekarang dan kemudian, dan setiap kali saya harus kembali ke posting ini dan yang lainnya, itu sebabnya saya mengotomatiskan prosesnya.

Kredit untuk kontributor dari Stack Overflow yang memungkinkan saya untuk menyatukan ini

Ini solusi saya di windows

git filter-branch --tree-filter "KEPALA -f 'diarsipkan / nama file'" KEPALA

git push --force

pastikan jalurnya benar jika tidak maka tidak akan berhasil

Saya harap ini membantu

Gunakan cabang-filter :

git filter-branch --force --index-filter 'git rm --cached --ignore-unmatch *file_path_relative_to_git_repo*' --prune-empty --tag-name-filter cat -- --all

git push origin *branch_name* -f

Saya harus melakukan ini beberapa kali to-date. Perhatikan bahwa ini hanya berfungsi pada 1 file pada satu waktu.

1. Dapatkan daftar semua komit yang mengubah file. Yang di bawah akan melakukan komit pertama:

   git log --pretty=oneline --branches -- pathToFile

2. Untuk menghapus file dari histori gunakan komit pertama sha1 dan path ke file dari perintah sebelumnya, dan isi mereka ke dalam perintah ini:

   git filter-branch --index-filter 'git rm --cached --ignore-unmatch <path-to-file>' -- <sha1-where-the-file-was-first-added>..

Jadi, ini terlihat seperti ini:

git rm --cached /config/deploy.rb
echo /config/deploy.rb >> .gitignore

Hapus cache untuk file yang dilacak dari git dan tambahkan file itu ke .gitignoredaftar

Dalam proyek android saya, saya memiliki admob_keys.xml sebagai file xml yang terpisah di folder app / src / main / res / values ​​/ . Untuk menghapus file sensitif ini saya menggunakan skrip di bawah ini dan bekerja dengan sempurna.

git filter-branch --force --index-filter \
'git rm --cached --ignore-unmatch  app/src/main/res/values/admob_keys.xml' \
--prune-empty --tag-name-filter cat -- --all