Postgres: INSERT jika belum ada

Saya menggunakan Python untuk menulis ke database postgres:

sql_string = "INSERT INTO hundred (name,name_slug,status) VALUES ("
sql_string += hundred + ", '" + hundred_slug + "', " + status + ");"
cursor.execute(sql_string)

Tetapi karena beberapa baris saya identik, saya mendapatkan kesalahan berikut:

psycopg2.IntegrityError: duplicate key value  
  violates unique constraint "hundred_pkey"

Bagaimana saya bisa menulis pernyataan SQL 'INSERT kecuali baris ini sudah ada'?

Saya telah melihat pernyataan kompleks seperti ini direkomendasikan:

IF EXISTS (SELECT * FROM invoices WHERE invoiceid = '12345')
UPDATE invoices SET billed = 'TRUE' WHERE invoiceid = '12345'
ELSE
INSERT INTO invoices (invoiceid, billed) VALUES ('12345', 'TRUE')
END IF

Tetapi pertama-tama, apakah ini berlebihan untuk apa yang saya butuhkan, dan kedua, bagaimana saya bisa mengeksekusi salah satu dari mereka sebagai string sederhana?

Postgres 9.5 (dirilis sejak 2016-01-07) menawarkan perintah "upsert" , juga dikenal sebagai klausa ON CONFLICT ke INSERT :

INSERT ... ON CONFLICT DO NOTHING/UPDATE

Ini memecahkan banyak masalah halus yang bisa Anda hadapi ketika menggunakan operasi bersamaan, yang diajukan beberapa jawaban lainnya.

Bagaimana saya bisa menulis pernyataan SQL 'INSERT kecuali baris ini sudah ada'?

Ada cara yang baik untuk melakukan INSERT bersyarat di PostgreSQL:

INSERT INTO example_table
    (id, name)
SELECT 1, 'John'
WHERE
    NOT EXISTS (
        SELECT id FROM example_table WHERE id = 1
    );

CAVEAT Pendekatan ini tidak 100% andal untuk operasi penulisan bersamaan . Ada kondisi ras yang sangat kecil antara SELECTdi dalam NOT EXISTSanti-semi-join dan INSERTitu sendiri. Ini bisa gagal dalam kondisi seperti itu.

Salah satu pendekatan akan membuat tabel non-kendala (tidak ada indeks unik) untuk memasukkan semua data Anda ke dalam dan melakukan pilih berbeda dari itu untuk melakukan memasukkan Anda ke dalam seratus tabel Anda.

Jadi level tinggi akan. Saya berasumsi ketiga kolom berbeda dalam contoh saya jadi untuk langkah 3 ubah BUKAN EXIT bergabung dengan hanya bergabung pada kolom unik dalam tabel seratus.

1. Buat tabel sementara. Lihat dokumen di sini .

   CREATE TEMPORARY TABLE temp_data(name, name_slug, status);

2. Masukkan data ke tabel temp.

   INSERT INTO temp_data(name, name_slug, status); 

3. Tambahkan indeks ke tabel temp.

4. Apakah memasukkan tabel utama.

   INSERT INTO hundred(name, name_slug, status) 
       SELECT DISTINCT name, name_slug, status
       FROM hundred
       WHERE NOT EXISTS (
           SELECT 'X' 
           FROM temp_data
           WHERE 
               temp_data.name          = hundred.name
               AND temp_data.name_slug = hundred.name_slug
               AND temp_data.status    = status
       );

Sayangnya, PostgreSQLtidak mendukung MERGEjuga ON DUPLICATE KEY UPDATE, jadi Anda harus melakukannya dalam dua pernyataan:

UPDATE  invoices
SET     billed = 'TRUE'
WHERE   invoices = '12345'

INSERT
INTO    invoices (invoiceid, billed)
SELECT  '12345', 'TRUE'
WHERE   '12345' NOT IN
        (
        SELECT  invoiceid
        FROM    invoices
        )

Anda dapat membungkusnya menjadi fungsi:

CREATE OR REPLACE FUNCTION fn_upd_invoices(id VARCHAR(32), billed VARCHAR(32))
RETURNS VOID
AS
$$
        UPDATE  invoices
        SET     billed = $2
        WHERE   invoices = $1;

        INSERT
        INTO    invoices (invoiceid, billed)
        SELECT  $1, $2
        WHERE   $1 NOT IN
                (
                SELECT  invoiceid
                FROM    invoices
                );
$$
LANGUAGE 'sql';

dan sebut saja:

SELECT  fn_upd_invoices('12345', 'TRUE')

Anda dapat menggunakan VALUES - tersedia di Postgres:

INSERT INTO person (name)
    SELECT name FROM person
    UNION 
    VALUES ('Bob')
    EXCEPT
    SELECT name FROM person;

Saya tahu pertanyaan ini dari beberapa waktu yang lalu, tetapi berpikir ini mungkin membantu seseorang. Saya pikir cara termudah untuk melakukan ini adalah melalui pemicu. Misalnya:

Create Function ignore_dups() Returns Trigger
As $$
Begin
    If Exists (
        Select
            *
        From
            hundred h
        Where
            -- Assuming all three fields are primary key
            h.name = NEW.name
            And h.hundred_slug = NEW.hundred_slug
            And h.status = NEW.status
    ) Then
        Return NULL;
    End If;
    Return NEW;
End;
$$ Language plpgsql;

Create Trigger ignore_dups
    Before Insert On hundred
    For Each Row
    Execute Procedure ignore_dups();

Jalankan kode ini dari prompt psql (atau bagaimanapun Anda ingin mengeksekusi query langsung pada database). Kemudian Anda dapat memasukkan seperti biasa dari Python. Misalnya:

sql = "Insert Into hundreds (name, name_slug, status) Values (%s, %s, %s)"
cursor.execute(sql, (hundred, hundred_slug, status))

Perhatikan bahwa seperti yang sudah disebutkan oleh @Thomas_Wouters, kode di atas memanfaatkan parameter daripada menyatukan string.

Ada cara yang baik untuk melakukan INSERT bersyarat di PostgreSQL menggunakan DENGAN query: Seperti:

WITH a as(
select 
 id 
from 
 schema.table_name 
where 
 column_name = your_identical_column_value
)
INSERT into 
 schema.table_name
(col_name1, col_name2)
SELECT
    (col_name1, col_name2)
WHERE NOT EXISTS (
     SELECT
         id
     FROM
         a
        )
  RETURNING id 

Ini persis masalah yang saya hadapi dan versi saya 9.5

Dan saya menyelesaikannya dengan query SQL di bawah ini.

INSERT INTO example_table (id, name)
SELECT 1 AS id, 'John' AS name FROM example_table
WHERE NOT EXISTS(
            SELECT id FROM example_table WHERE id = 1
    )
LIMIT 1;

Semoga itu akan membantu seseorang yang memiliki masalah yang sama dengan versi> = 9.5.

Terima kasih sudah membaca.

MASUK .. TIDAK ADA pendekatan yang bagus. Dan kondisi lomba dapat dihindari dengan "amplop" transaksi:

BEGIN;
LOCK TABLE hundred IN SHARE ROW EXCLUSIVE MODE;
INSERT ... ;
COMMIT;

Mudah dengan aturan:

CREATE RULE file_insert_defer AS ON INSERT TO file
WHERE (EXISTS ( SELECT * FROM file WHERE file.id = new.id)) DO INSTEAD NOTHING

Tetapi gagal dengan bersamaan menulis ...

Pendekatan dengan sebagian besar upvotes (dari John Doe) entah bagaimana bekerja untuk saya tetapi dalam kasus saya dari yang diharapkan 422 baris saya hanya mendapatkan 180. Saya tidak dapat menemukan sesuatu yang salah dan tidak ada kesalahan sama sekali, jadi saya mencari yang berbeda pendekatan sederhana.

Menggunakan IF NOT FOUND THENsetelah SELECThanya berfungsi dengan baik untuk saya.

(dijelaskan dalam Dokumentasi PostgreSQL )

Contoh dari dokumentasi:

SELECT * INTO myrec FROM emp WHERE empname = myname;
IF NOT FOUND THEN
  RAISE EXCEPTION 'employee % not found', myname;
END IF;

kelas kursor psycopgs memiliki atribut rowcount .

Atribut read-only ini menentukan jumlah baris yang dieksekusi * () terakhir diproduksi (untuk pernyataan DQL seperti SELECT) atau terpengaruh (untuk pernyataan DML seperti UPDATE atau INSERT).

Jadi, Anda dapat mencoba PEMBARUAN terlebih dahulu dan MASUKKAN hanya jika rowcount adalah 0.

Tetapi tergantung pada tingkat aktivitas dalam basis data Anda, Anda dapat mencapai kondisi balapan antara UPDATE dan INSERT tempat proses lain dapat membuat catatan itu untuk sementara.

Kolom Anda "ratus" tampaknya didefinisikan sebagai kunci utama dan oleh karena itu harus unik yang tidak demikian. Masalahnya bukan dengan, itu dengan data Anda.

Saya sarankan Anda memasukkan id sebagai tipe serial untuk menangani kunci utama

Jika Anda mengatakan bahwa banyak baris Anda identik, Anda akan berakhir memeriksa berulang kali. Anda dapat mengirimnya dan database akan menentukan apakah memasukkannya atau tidak dengan klausa ON CONFLICT sebagai berikut

  INSERT INTO Hundred (name,name_slug,status) VALUES ("sql_string += hundred  
  +",'" + hundred_slug + "', " + status + ") ON CONFLICT ON CONSTRAINT
  hundred_pkey DO NOTHING;" cursor.execute(sql_string);

Saya sedang mencari solusi yang serupa, berusaha menemukan SQL yang berfungsi di PostgreSQL dan juga HSQLDB. (HSQLDB adalah apa yang membuat ini sulit.) Menggunakan contoh Anda sebagai dasar, ini adalah format yang saya temukan di tempat lain.

sql = "INSERT INTO hundred (name,name_slug,status)"
sql += " ( SELECT " + hundred + ", '" + hundred_slug + "', " + status
sql += " FROM hundred"
sql += " WHERE name = " + hundred + " AND name_slug = '" + hundred_slug + "' AND status = " + status
sql += " HAVING COUNT(*) = 0 );"

Berikut adalah fungsi python generik yang memberikan nama tab, kolom, dan nilai, menghasilkan ekuivalen upsert untuk postgresql.

impor json

def upsert(table_name, id_column, other_columns, values_hash):

    template = """
    WITH new_values ($$ALL_COLUMNS$$) as (
      values
         ($$VALUES_LIST$$)
    ),
    upsert as
    (
        update $$TABLE_NAME$$ m
            set
                $$SET_MAPPINGS$$
        FROM new_values nv
        WHERE m.$$ID_COLUMN$$ = nv.$$ID_COLUMN$$
        RETURNING m.*
    )
    INSERT INTO $$TABLE_NAME$$ ($$ALL_COLUMNS$$)
    SELECT $$ALL_COLUMNS$$
    FROM new_values
    WHERE NOT EXISTS (SELECT 1
                      FROM upsert up
                      WHERE up.$$ID_COLUMN$$ = new_values.$$ID_COLUMN$$)
    """

    all_columns = [id_column] + other_columns
    all_columns_csv = ",".join(all_columns)
    all_values_csv = ','.join([query_value(values_hash[column_name]) for column_name in all_columns])
    set_mappings = ",".join([ c+ " = nv." +c for c in other_columns])

    q = template
    q = q.replace("$$TABLE_NAME$$", table_name)
    q = q.replace("$$ID_COLUMN$$", id_column)
    q = q.replace("$$ALL_COLUMNS$$", all_columns_csv)
    q = q.replace("$$VALUES_LIST$$", all_values_csv)
    q = q.replace("$$SET_MAPPINGS$$", set_mappings)

    return q


def query_value(value):
    if value is None:
        return "NULL"
    if type(value) in [str, unicode]:
        return "'%s'" % value.replace("'", "''")
    if type(value) == dict:
        return "'%s'" % json.dumps(value).replace("'", "''")
    if type(value) == bool:
        return "%s" % value
    if type(value) == int:
        return "%s" % value
    return value


if __name__ == "__main__":

    my_table_name = 'mytable'
    my_id_column = 'id'
    my_other_columns = ['field1', 'field2']
    my_values_hash = {
        'id': 123,
        'field1': "john",
        'field2': "doe"
    }
    print upsert(my_table_name, my_id_column, my_other_columns, my_values_hash)

Solusinya sederhana, tetapi tidak dengan segera.
Jika Anda ingin menggunakan instruksi ini, Anda harus melakukan satu perubahan pada db:

ALTER USER user SET search_path to 'name_of_schema';

setelah perubahan ini "INSERT" akan berfungsi dengan benar.