Menyimpan variabel lingkungan dengan aman di GAE dengan app.yaml

Saya perlu menyimpan kunci API dan informasi sensitif lainnya app.yamlsebagai variabel lingkungan untuk penerapan di GAE. Masalah dengan ini adalah jika saya mendorong app.yamlke GitHub, informasi ini menjadi publik (tidak baik). Saya tidak ingin menyimpan info di datastore karena tidak sesuai dengan proyek. Sebaliknya, saya ingin menukar nilai dari file yang terdaftar di .gitignoresetiap penerapan aplikasi.

Ini adalah file app.yaml saya:

application: myapp
version: 3 
runtime: python27
api_version: 1
threadsafe: true

libraries:
- name: webapp2
  version: latest
- name: jinja2
  version: latest

handlers:
- url: /static
  static_dir: static

- url: /.*
  script: main.application  
  login: required
  secure: always
# auth_fail_action: unauthorized

env_variables:
  CLIENT_ID: ${CLIENT_ID}
  CLIENT_SECRET: ${CLIENT_SECRET}
  ORG: ${ORG}
  ACCESS_TOKEN: ${ACCESS_TOKEN}
  SESSION_SECRET: ${SESSION_SECRET}

Ada ide?

Jika ini adalah data sensitif, Anda tidak boleh menyimpannya dalam kode sumber karena akan diperiksa ke kontrol sumber. Orang yang salah (di dalam atau di luar organisasi Anda) mungkin menemukannya di sana. Selain itu, lingkungan pengembangan Anda mungkin menggunakan nilai konfigurasi yang berbeda dari lingkungan produksi Anda. Jika nilai-nilai ini disimpan dalam kode, Anda harus menjalankan kode yang berbeda dalam pengembangan dan produksi, yang merupakan praktik yang berantakan dan buruk.

Dalam proyek saya, saya meletakkan data konfigurasi di datastore menggunakan kelas ini:

from google.appengine.ext import ndb

class Settings(ndb.Model):
  name = ndb.StringProperty()
  value = ndb.StringProperty()

  @staticmethod
  def get(name):
    NOT_SET_VALUE = "NOT SET"
    retval = Settings.query(Settings.name == name).get()
    if not retval:
      retval = Settings()
      retval.name = name
      retval.value = NOT_SET_VALUE
      retval.put()
    if retval.value == NOT_SET_VALUE:
      raise Exception(('Setting %s not found in the database. A placeholder ' +
        'record has been created. Go to the Developers Console for your app ' +
        'in App Engine, look up the Settings record with name=%s and enter ' +
        'its value in that record\'s value field.') % (name, name))
    return retval.value

Aplikasi Anda akan melakukan ini untuk mendapatkan nilai:

API_KEY = Settings.get('API_KEY')

Jika ada nilai untuk kunci itu di datastore, Anda akan mendapatkannya. Jika tidak ada, rekaman placeholder akan dibuat dan pengecualian akan diberikan. Pengecualian akan mengingatkan Anda untuk pergi ke Developers Console dan memperbarui catatan placeholder.

Saya menemukan ini menghilangkan tebakan dari pengaturan nilai konfigurasi. Jika Anda tidak yakin nilai konfigurasi apa yang harus disetel, jalankan saja kode dan itu akan memberi tahu Anda!

Kode di atas menggunakan pustaka ndb yang menggunakan memcache dan datastore di bawah tenda, jadi cepat.

Memperbarui:

jelder menanyakan cara menemukan nilai Datastore di konsol App Engine dan menyetelnya. Begini caranya:

1. Buka https://console.cloud.google.com/datastore/

2. Pilih proyek Anda di bagian atas halaman jika belum dipilih.

3. Di kotak tarik-turun Jenis , pilih Pengaturan .

4. Jika Anda menjalankan kode di atas, kunci Anda akan muncul. Mereka semua akan memiliki nilai NOT SET . Klik masing-masing dan tetapkan nilainya.

Semoga ini membantu!

Solusi ini sederhana tetapi mungkin tidak cocok untuk semua tim yang berbeda.

Pertama, letakkan variabel lingkungan di env_variables.yaml , misalnya,

env_variables:
  SECRET: 'my_secret'

Kemudian, masukkan ini ke env_variables.yamldalamapp.yaml

includes:
  - env_variables.yaml

Terakhir, tambahkan env_variables.yamlke .gitignore, sehingga variabel rahasia tidak akan ada di repositori.

Dalam hal ini, env_variables.yamlkebutuhan dibagikan di antara manajer penerapan.

Pendekatan saya adalah menyimpan rahasia klien hanya dalam aplikasi App Engine itu sendiri. Rahasia klien tidak ada di kontrol sumber maupun di komputer lokal mana pun. Keuntungannya adalah setiap kolaborator App Engine dapat menerapkan perubahan kode tanpa harus mengkhawatirkan rahasia klien.

Saya menyimpan rahasia klien langsung di Datastore dan menggunakan Memcache untuk meningkatkan latensi dalam mengakses rahasia. Entitas Datastore hanya perlu dibuat sekali dan akan tetap ada di penerapan di masa mendatang. tentu saja konsol App Engine dapat digunakan untuk memperbarui entitas ini kapan saja.

Ada dua opsi untuk melakukan pembuatan entitas satu kali:

• Gunakan shell interaktif App Engine Remote API untuk membuat entitas.
• Buat penangan Admin saja yang akan menginisialisasi entitas dengan nilai dummy. Panggil penangan admin ini secara manual, lalu gunakan konsol App Engine untuk memperbarui entitas dengan rahasia klien produksi.

Ini tidak ada saat Anda memposting, tetapi untuk siapa pun yang tersandung di sini, Google sekarang menawarkan layanan yang disebut Manajer Rahasia .

Ini adalah layanan REST sederhana (dengan SDK yang membungkusnya, tentu saja) untuk menyimpan rahasia Anda di lokasi yang aman di platform cloud google. Ini adalah pendekatan yang lebih baik daripada Penyimpanan Data, yang membutuhkan langkah-langkah ekstra untuk melihat rahasia yang disimpan dan memiliki model izin yang lebih terperinci - Anda dapat mengamankan rahasia individu secara berbeda untuk berbagai aspek proyek Anda, jika perlu.

Ini menawarkan pembuatan versi, sehingga Anda dapat menangani perubahan kata sandi dengan relatif mudah, serta kueri yang kuat dan lapisan manajemen yang memungkinkan Anda menemukan dan membuat rahasia pada waktu proses, jika perlu.

Python SDK

Contoh penggunaan:

from google.cloud import secretmanager_v1beta1 as secretmanager

secret_id = 'my_secret_key'
project_id = 'my_project'
version = 1    # use the management tools to determine version at runtime

client = secretmanager.SecretManagerServiceClient()

secret_path = client.secret_verion_path(project_id, secret_id, version)
response = client.access_secret_version(secret_path)
password_string = response.payload.data.decode('UTF-8')

# use password_string -- set up database connection, call third party service, whatever

Cara terbaik untuk melakukannya, adalah menyimpan kunci dalam file client_secrets.json, dan mengecualikannya agar tidak diunggah ke git dengan mencantumkannya di file .gitignore Anda. Jika Anda memiliki kunci yang berbeda untuk lingkungan yang berbeda, Anda dapat menggunakan app_identity api untuk menentukan apa id aplikasi, dan memuat dengan tepat.

Ada contoh yang cukup komprehensif di sini -> https://developers.google.com/api-client-library/python/guide/aaa_client_secrets .

Berikut beberapa contoh kode:

# declare your app ids as globals ...
APPID_LIVE = 'awesomeapp'
APPID_DEV = 'awesomeapp-dev'
APPID_PILOT = 'awesomeapp-pilot'

# create a dictionary mapping the app_ids to the filepaths ...
client_secrets_map = {APPID_LIVE:'client_secrets_live.json',
                      APPID_DEV:'client_secrets_dev.json',
                      APPID_PILOT:'client_secrets_pilot.json'}

# get the filename based on the current app_id ...
client_secrets_filename = client_secrets_map.get(
    app_identity.get_application_id(),
    APPID_DEV # fall back to dev
    )

# use the filename to construct the flow ...
flow = flow_from_clientsecrets(filename=client_secrets_filename,
                               scope=scope,
                               redirect_uri=redirect_uri)

# or, you could load up the json file manually if you need more control ...
f = open(client_secrets_filename, 'r')
client_secrets = json.loads(f.read())
f.close()

Solusi ini bergantung pada appcfg.py yang tidak digunakan lagi

Anda dapat menggunakan opsi baris perintah -E dari appcfg.py untuk menyiapkan variabel lingkungan saat Anda menerapkan aplikasi Anda ke GAE (appcfg.py update)

$ appcfg.py
...
-E NAME:VALUE, --env_variable=NAME:VALUE
                    Set an environment variable, potentially overriding an
                    env_variable value from app.yaml file (flag may be
                    repeated to set multiple variables).
...

Sebagian besar jawaban sudah usang. Menggunakan datastore google cloud sebenarnya sedikit berbeda sekarang. https://cloud.google.com/python/getting-started/using-cloud-datastore

Berikut contohnya:

from google.cloud import datastore
client = datastore.Client()
datastore_entity = client.get(client.key('settings', 'TWITTER_APP_KEY'))
connection_string_prod = datastore_entity.get('value')

Ini mengasumsikan nama entitas adalah 'TWITTER_APP_KEY', jenisnya adalah 'pengaturan', dan 'nilai' adalah properti dari entitas TWITTER_APP_KEY.

Sepertinya Anda bisa melakukan beberapa pendekatan. Kami memiliki masalah serupa dan melakukan hal berikut (disesuaikan dengan kasus penggunaan Anda):

• Buat file yang menyimpan nilai app.yaml dinamis apa pun dan letakkan di server aman di lingkungan build Anda. Jika Anda benar-benar paranoid, Anda dapat mengenkripsi nilai secara asimetris. Anda bahkan dapat menyimpan ini dalam repo pribadi jika Anda memerlukan kontrol versi / penarikan dinamis, atau cukup gunakan skrip shell untuk menyalin / menariknya dari tempat yang sesuai.
• Tarik dari git selama skrip penerapan
• Setelah git pull, ubah app.yaml dengan membaca dan menulisnya dalam python murni menggunakan pustaka yaml

Cara termudah untuk melakukannya adalah dengan menggunakan server integrasi berkelanjutan seperti Hudson , Bamboo , atau Jenkins . Cukup tambahkan beberapa plugin, langkah skrip, atau alur kerja yang melakukan semua item di atas yang saya sebutkan. Anda bisa memasukkan variabel lingkungan yang dikonfigurasi di Bamboo itu sendiri misalnya.

Singkatnya, cukup masukkan nilai selama proses build Anda di lingkungan yang hanya dapat Anda akses. Jika Anda belum mengotomatiskan build Anda, Anda harus melakukannya.

Opsi opsi lainnya adalah apa yang Anda katakan, taruh di database. Jika alasan Anda tidak melakukannya adalah karena semuanya terlalu lambat, cukup dorong nilainya ke dalam memcache sebagai cache lapisan kedua, dan sematkan nilai ke instance sebagai cache lapisan pertama. Jika nilai dapat berubah dan Anda perlu memperbarui instans tanpa me-rebootnya, cukup simpan hash yang dapat Anda periksa untuk mengetahui kapan mereka berubah atau memicunya entah bagaimana ketika sesuatu yang Anda lakukan mengubah nilainya. Seharusnya begitu.

Anda harus mengenkripsi variabel dengan google kms dan menyematkannya di kode sumber Anda. ( https://cloud.google.com/kms/ )

echo -n the-twitter-app-key | gcloud kms encrypt \
> --project my-project \
> --location us-central1 \
> --keyring THEKEYRING \
> --key THECRYPTOKEY \
> --plaintext-file - \
> --ciphertext-file - \
> | base64

masukkan nilai yang diacak (dienkripsi dan dienkode base64) ke dalam variabel lingkungan Anda (dalam file yaml).

Beberapa kode pythonish untuk membantu Anda mulai mendekripsi.

kms_client = kms_v1.KeyManagementServiceClient()
name = kms_client.crypto_key_path_path("project", "global", "THEKEYRING", "THECRYPTOKEY")

twitter_app_key = kms_client.decrypt(name, base64.b64decode(os.environ.get("TWITTER_APP_KEY"))).plaintext

Jawaban @Jason F berdasarkan penggunaan Google Datastore sudah dekat, tetapi kodenya agak ketinggalan jaman berdasarkan penggunaan sampel di dokumen perpustakaan . Berikut cuplikan yang berhasil untuk saya:

from google.cloud import datastore

client = datastore.Client('<your project id>')
key = client.key('<kind e.g settings>', '<entity name>') # note: entity name not property
# get by key for this entity
result = client.get(key)
print(result) # prints all the properties ( a dict). index a specific value like result['MY_SECRET_KEY'])

Sebagian terinspirasi oleh postingan Medium ini

Hanya ingin mencatat bagaimana saya memecahkan masalah ini di javascript / nodejs. Untuk pengembangan lokal saya menggunakan paket 'dotenv' npm yang memuat variabel lingkungan dari file .env ke dalam proses.env. Ketika saya mulai menggunakan GAE, saya mengetahui bahwa variabel lingkungan perlu disetel dalam file 'app.yaml'. Ya, saya tidak ingin menggunakan 'dotenv' untuk pengembangan lokal dan 'app.yaml' untuk GAE (dan menduplikasi variabel lingkungan saya di antara dua file), jadi saya menulis skrip kecil yang memuat variabel lingkungan app.yaml ke dalam proses .env, untuk pengembangan lokal. Semoga ini bisa membantu seseorang:

yaml_env.js:

(function () {
    const yaml = require('js-yaml');
    const fs = require('fs');
    const isObject = require('lodash.isobject')

    var doc = yaml.safeLoad(
        fs.readFileSync('app.yaml', 'utf8'), 
        { json: true }
    );

    // The .env file will take precedence over the settings the app.yaml file
    // which allows me to override stuff in app.yaml (the database connection string (DATABASE_URL), for example)
    // This is optional of course. If you don't use dotenv then remove this line:
    require('dotenv/config');

    if(isObject(doc) && isObject(doc.env_variables)) {
        Object.keys(doc.env_variables).forEach(function (key) {
            // Dont set environment with the yaml file value if it's already set
            process.env[key] = process.env[key] || doc.env_variables[key]
        })
    }
})()

Sekarang sertakan file ini sedini mungkin dalam kode Anda, dan Anda selesai:

require('../yaml_env')

Memperluas jawaban Martin

from google.appengine.ext import ndb

class Settings(ndb.Model):
    """
    Get sensitive data setting from DataStore.

    key:String -> value:String
    key:String -> Exception

    Thanks to: Martin Omander @ Stackoverflow
    https://stackoverflow.com/a/35261091/1463812
    """
    name = ndb.StringProperty()
    value = ndb.StringProperty()

    @staticmethod
    def get(name):
        retval = Settings.query(Settings.name == name).get()
        if not retval:
            raise Exception(('Setting %s not found in the database. A placeholder ' +
                             'record has been created. Go to the Developers Console for your app ' +
                             'in App Engine, look up the Settings record with name=%s and enter ' +
                             'its value in that record\'s value field.') % (name, name))
        return retval.value

    @staticmethod
    def set(name, value):
        exists = Settings.query(Settings.name == name).get()
        if not exists:
            s = Settings(name=name, value=value)
            s.put()
        else:
            exists.value = value
            exists.put()

        return True

Ada paket pypi bernama gae_env yang memungkinkan Anda menyimpan variabel lingkungan appengine di Cloud Datastore. Di bawah tenda, ia juga menggunakan Memcache sehingga cepat

Pemakaian:

import gae_env

API_KEY = gae_env.get('API_KEY')

Jika ada nilai untuk kunci itu di datastore, itu akan dikembalikan. Jika tidak ada, rekaman placeholder __NOT_SET__akan dibuat dan ValueNotSetErrorakan dilempar. Pengecualian akan mengingatkan Anda untuk pergi ke Developers Console dan memperbarui catatan placeholder.

Mirip dengan jawaban Martin, berikut adalah cara memperbarui nilai untuk kunci di Datastore:

1. Buka Bagian Datastore di konsol pengembang

2. Pilih proyek Anda di bagian atas halaman jika belum dipilih.

3. Di kotak dropdown Kind , pilih GaeEnvSettings.

4. Kunci yang pengecualiannya dimunculkan akan memiliki nilai __NOT_SET__.

Buka halaman GitHub paket untuk info lebih lanjut tentang penggunaan / konfigurasi