Hapus catatan duplikat di SQL Server?

94

Pertimbangkan EmployeeNametabel bernama kolom Employee. Tujuannya adalah untuk menghapus record berulang-ulang, berdasarkanEmployeeName lapangan.

EmployeeName
------------
Anand
Anand
Anil
Dipak
Anil
Dipak
Dipak
Anil

Menggunakan satu kueri, saya ingin menghapus catatan yang berulang.

Bagaimana ini bisa dilakukan dengan TSQL di SQL Server?

sql  tsql  duplicates  delete-row 
— usr021986
sumber
Maksud Anda menghapus catatan duplikat, bukan?
— Sarfraz
Anda dapat memilih nilai yang berbeda dan ID terkait dan menghapus catatan yang ID-nya tidak ada dalam daftar yang sudah dipilih?
— DaeMoohn
1
apakah Anda memiliki kolom ID unik?
— Andrew Bullock
1
bagaimana Anda menerima jawaban yang diberikan oleh John Gibb, jika tabel tidak memiliki id unik? Di empIdmanakah kolom dalam contoh Anda yang digunakan oleh John?
— armen
2
Jika Anda tidak memiliki kolom ID unik, atau apa pun yang berarti untuk melakukan pemesanan, Anda BISA juga memesan berdasarkan kolom nama karyawan ... jadi rn Anda akan row_number() over (partition by EmployeeName order by EmployeeName)... ini akan memilih satu rekaman acak untuk setiap nama .
— John Gibb

Jawaban:

227

Anda dapat melakukan ini dengan fungsi jendela. Ini akan memerintahkan dupes dengan empId, dan menghapus semua kecuali yang pertama.

delete x from (
  select *, rn=row_number() over (partition by EmployeeName order by empId)
  from Employee 
) x
where rn > 1;

Jalankan sebagai pilihan untuk melihat apa yang akan dihapus:

select *
from (
  select *, rn=row_number() over (partition by EmployeeName order by empId)
  from Employee 
) x
where rn > 1;
— John Gibb
sumber
2
Jika Anda tidak memiliki kunci utama, Anda dapat menggunakan ORDER BY (SELECT NULL) stackoverflow.com/a/4812038
— Arithmomaniac
35

Dengan asumsi bahwa tabel Karyawan Anda juga memiliki kolom unik ( IDdalam contoh di bawah), berikut ini akan berfungsi:

delete from Employee 
where ID not in
(
    select min(ID)
    from Employee 
    group by EmployeeName 
);

Ini akan meninggalkan versi dengan ID terendah di tabel.

Edit
komentar Re McGyver - pada SQL 2012

MIN dapat digunakan dengan kolom numerik, char, varchar, uniqueidentifier, atau datetime, tetapi tidak dengan kolom bit

Untuk 2008 R2 dan sebelumnya,

MIN dapat digunakan dengan kolom numerik, char, varchar, atau datetime, tetapi tidak dengan kolom bit (dan juga tidak berfungsi dengan GUID)

Untuk 2008R2 Anda harus mentransmisikan GUIDke tipe yang didukung oleh MIN, misalnya

delete from GuidEmployees
where CAST(ID AS binary(16)) not in
(
    select min(CAST(ID AS binary(16)))
    from GuidEmployees
    group by EmployeeName 
);

SqlFiddle untuk berbagai tipe di Sql 2008

SqlFiddle untuk berbagai tipe di Sql 2012

— StuartLC
sumber
Selain itu, di Oracle, Anda dapat menggunakan "rowid" jika tidak ada kolom id unik lainnya.
— Brandon Horsley
+1 Meskipun tidak ada kolom ID, dapat ditambahkan sebagai kolom identitas.
— Kyle B.23
Jawaban yang sangat bagus. Tajam dan efektif. Meskipun tabel tidak memiliki ID; lebih baik menyertakan satu untuk menjalankan metode ini.
— MiBol
8

Anda dapat mencoba sesuatu seperti berikut ini:

delete T1
from MyTable T1, MyTable T2
where T1.dupField = T2.dupField
and T1.uniqueField > T2.uniqueField

(ini mengasumsikan bahwa Anda memiliki bidang unik berbasis bilangan bulat)

Secara pribadi saya akan mengatakan Anda lebih baik mencoba untuk memperbaiki fakta bahwa entri duplikat ditambahkan ke database sebelum terjadi daripada sebagai operasi perbaikan pasca.

— Ben Cawley
sumber
Saya tidak memiliki bidang unik (ID) di Tabel saya. Bagaimana saya bisa melakukan operasi itu.
— usr021986
3 
DELETE
FROM MyTable
WHERE ID NOT IN (
     SELECT MAX(ID)
     FROM MyTable
     GROUP BY DuplicateColumn1, DuplicateColumn2, DuplicateColumn3)
WITH TempUsers (FirstName, LastName, duplicateRecordCount)
AS
(
    SELECT FirstName, LastName,
    ROW_NUMBER() OVER (PARTITIONBY FirstName, LastName ORDERBY FirstName) AS duplicateRecordCount
    FROM dbo.Users
)
DELETE
FROM TempUsers
WHERE duplicateRecordCount > 1
— Kumar Manish
sumber
3 
WITH CTE AS
(
   SELECT EmployeeName, 
          ROW_NUMBER() OVER(PARTITION BY EmployeeName ORDER BY EmployeeName) AS R
   FROM employee_table
)
DELETE CTE WHERE R > 1;

Keajaiban ekspresi tabel umum.

— Mostafa Elmoghazi
sumber
SubPortal / a_horse_with_no_name - bukankah seharusnya ini dipilih dari tabel yang sebenarnya? Selain itu, ROW_NUMBER haruslah ROW_NUMBER () karena itu fungsi, benar?
— MacGyver
1

Mencoba

DELETE
FROM employee
WHERE rowid NOT IN (SELECT MAX(rowid) FROM employee
GROUP BY EmployeeName);
— Anurag Garg
sumber
1

Jika Anda sedang mencari cara untuk menghapus duplikat, namun Anda memiliki kunci asing yang menunjuk ke tabel dengan duplikat, Anda dapat mengambil pendekatan berikut menggunakan kursor yang lambat namun efektif.

Ini akan merelokasi kunci duplikat pada tabel kunci asing.

create table #properOlvChangeCodes(
    id int not null,
    name nvarchar(max) not null
)

DECLARE @name VARCHAR(MAX);
DECLARE @id INT;
DECLARE @newid INT;
DECLARE @oldid INT;

DECLARE OLVTRCCursor CURSOR FOR SELECT id, name FROM Sales_OrderLineVersionChangeReasonCode; 
OPEN OLVTRCCursor;
FETCH NEXT FROM OLVTRCCursor INTO @id, @name;
WHILE @@FETCH_STATUS = 0  
BEGIN  
        -- determine if it should be replaced (is already in temptable with name)
        if(exists(select * from #properOlvChangeCodes where Name=@name)) begin
            -- if it is, finds its id
            Select  top 1 @newid = id
            from    Sales_OrderLineVersionChangeReasonCode
            where   Name = @name

            -- replace terminationreasoncodeid in olv for the new terminationreasoncodeid
            update Sales_OrderLineVersion set ChangeReasonCodeId = @newid where ChangeReasonCodeId = @id

            -- delete the record from the terminationreasoncode
            delete from Sales_OrderLineVersionChangeReasonCode where Id = @id
        end else begin
            -- insert into temp table if new
            insert into #properOlvChangeCodes(Id, name)
            values(@id, @name)
        end

        FETCH NEXT FROM OLVTRCCursor INTO @id, @name;
END;
CLOSE OLVTRCCursor;
DEALLOCATE OLVTRCCursor;

drop table #properOlvChangeCodes
— Peter
sumber
0 
delete from person 
where ID not in
(
        select t.id from 
        (select min(ID) as id from person 
         group by email 
        ) as t
);
— ohsoifelse
sumber
-1

Silakan lihat cara penghapusan di bawah ini juga.

Declare @Employee table (EmployeeName varchar(10))

Insert into @Employee values 
('Anand'),('Anand'),('Anil'),('Dipak'),
('Anil'),('Dipak'),('Dipak'),('Anil')

Select * from @Employee

masukkan deskripsi gambar di sini

Membuat tabel sampel bernama @Employeedan memuatnya dengan data yang diberikan.

Delete  aliasName from (
Select  *,
        ROW_NUMBER() over (Partition by EmployeeName order by EmployeeName) as rowNumber
From    @Employee) aliasName 
Where   rowNumber > 1

Select * from @Employee

Hasil:

masukkan deskripsi gambar di sini

Saya tahu, ini ditanyakan enam tahun lalu, posting hanya jika bermanfaat bagi siapa saja.

— Jithin Shaji
sumber
-1

Berikut adalah cara yang bagus untuk mendeduplikasi rekaman dalam tabel yang memiliki kolom identitas berdasarkan kunci utama yang diinginkan yang dapat Anda tentukan saat runtime. Sebelum saya mulai, saya akan mengisi kumpulan data sampel untuk digunakan menggunakan kode berikut:

if exists (select 1 from sys.all_objects where type='u' and name='_original')
drop table _original

declare @startyear int = 2017
declare @endyear int = 2018
declare @iterator int = 1
declare @income money = cast((SELECT round(RAND()*(5000-4990)+4990 , 2)) as money)
declare @salesrepid int = cast(floor(rand()*(9100-9000)+9000) as varchar(4))
create table #original (rowid int identity, monthyear varchar(max), salesrepid int, sale money)
while @iterator<=50000 begin
insert #original 
select (Select cast(floor(rand()*(@endyear-@startyear)+@startyear) as varchar(4))+'-'+ cast(floor(rand()*(13-1)+1) as varchar(2)) ),  @salesrepid , @income
set  @salesrepid  = cast(floor(rand()*(9100-9000)+9000) as varchar(4))
set @income = cast((SELECT round(RAND()*(5000-4990)+4990 , 2)) as money)
set @iterator=@iterator+1
end  
update #original
set monthyear=replace(monthyear, '-', '-0') where  len(monthyear)=6

select * into _original from #original

Selanjutnya saya akan membuat Type yang disebut ColumnNames:

create type ColumnNames AS table   
(Columnnames varchar(max))

Akhirnya saya akan membuat proc yang disimpan dengan 3 peringatan berikut: 1. Proc akan mengambil parameter yang diperlukan @tablename yang menentukan nama tabel yang Anda hapus dari database Anda. 2. Proc memiliki parameter opsional @columns yang dapat Anda gunakan untuk menentukan bidang yang membentuk kunci utama yang diinginkan yang ingin Anda hapus. Jika kolom ini dibiarkan kosong, diasumsikan bahwa semua kolom selain kolom identitas merupakan kunci utama yang diinginkan. 3. Ketika catatan duplikat dihapus, catatan dengan nilai terendah di kolom identitasnya akan dipertahankan.

Ini adalah proc yang disimpan delete_dupes:

 create proc delete_dupes (@tablename varchar(max), @columns columnnames readonly) 
 as
 begin

declare @table table (iterator int, name varchar(max), is_identity int)
declare @tablepartition table (idx int identity, type varchar(max), value varchar(max))
declare @partitionby varchar(max)  
declare @iterator int= 1 


if exists (select 1 from @columns)  begin
declare @columns1 table (iterator int, columnnames varchar(max))
insert @columns1
select 1, columnnames from @columns
set @partitionby = (select distinct 
                substring((Select ', '+t1.columnnames 
                From @columns1 t1
                Where T1.iterator = T2.iterator
                ORDER BY T1.iterator
                For XML PATH ('')),2, 1000)  partition
From @columns1 T2 )

end

insert @table 
select 1, a.name, is_identity from sys.all_columns a join sys.all_objects b on a.object_id=b.object_id
where b.name = @tablename  

declare @identity varchar(max)= (select name from @table where is_identity=1)

while @iterator>=0 begin 
insert @tablepartition
Select          distinct case when @iterator=1 then 'order by' else 'over (partition by' end , 
                substring((Select ', '+t1.name 
                From @table t1
                Where T1.iterator = T2.iterator and is_identity=@iterator
                ORDER BY T1.iterator
                For XML PATH ('')),2, 5000)  partition
From @table T2
set @iterator=@iterator-1
end 

declare @originalpartition varchar(max)

if @partitionby is null begin
select @originalpartition  = replace(b.value+','+a.type+a.value ,'over (partition by','')  from @tablepartition a cross join @tablepartition b where a.idx=2 and b.idx=1
select @partitionby = a.type+a.value+' '+b.type+a.value+','+b.value+') rownum' from @tablepartition a cross join @tablepartition b where a.idx=2 and b.idx=1
 end
 else
 begin
 select @originalpartition=b.value +','+ @partitionby from @tablepartition a cross join @tablepartition b where a.idx=2 and b.idx=1
 set @partitionby = (select 'OVER (partition by'+ @partitionby  + ' ORDER BY'+ @partitionby + ','+b.value +') rownum'
 from @tablepartition a cross join @tablepartition b where a.idx=2 and b.idx=1)
 end


exec('select row_number() ' + @partitionby +', '+@originalpartition+' into ##temp from '+ @tablename+'')


exec(
'delete a from _original a 
left join ##temp b on a.'+@identity+'=b.'+@identity+' and rownum=1  
where b.rownum is null')

drop table ##temp

end

Setelah ini dipenuhi, Anda dapat menghapus semua rekaman duplikat Anda dengan menjalankan proc. Untuk menghapus dupes tanpa menentukan kunci utama yang diinginkan, gunakan panggilan ini:

exec delete_dupes '_original'

Untuk menghapus dupes berdasarkan kunci utama yang diinginkan, gunakan panggilan ini:

declare @table1 as columnnames
insert @table1
values ('salesrepid'),('sale')
exec delete_dupes '_original' , @table1
— Daniel Marcus
sumber
Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.