Bagaimana cara mendapatkan nilai yang tidak diketahui diberi daftar

19

Adakah yang bisa membantu saya dengan masalah berikut?

Saya ingin menemukan beberapa nilai $a_i,b_j$ (mod $N$ ) di mana $i=1,2,…,K, j=1,2,…,K$ (misalnya $K=6$ ), diberi daftar nilai $K^2$ yang sesuai dengan perbedaan $a_i-b_j\pmod N$ (misalnya $N=251$ ), tanpa mengetahui hubungan konkret yang sesuai. Karena nilai-nilai $a_i,b_j\pmod N$ tidak unik didefinisikan mengingat perbedaan $a_i-b_j\pmod N$ , kita mencari setiap tugas yang valid dari nilai-nilai.

Jelas, mencoba setiap permutasi dari angka $K^2$ dalam daftar (benar-benar $K^2!$ Kasus yang mungkin) dan kemudian memecahkan persamaan modular dengan $a_i,b_j$ karena variabel tidak layak.

Bahkan, masalah ini muncul dalam sebuah makalah tentang cryptanalysis ke versi awal skema tanda tangan NTRU ( http://eprint.iacr.org/2001/005 ). Namun, penulis hanya menulis satu kalimat "Algoritma backtrack sederhana menemukan satu solusi ..." (dalam Bagian 3.3) dan siapa pun dapat memberikan lebih banyak penjelasan? Terlebih lagi, penulis juga menyebutkan bahwa “setiap shift melingkar $\{((a_i+M)\mod N,(b_i+M)\mod N\}_{i=1}^K$ atau swap $(\{(N-1-b_i,N-1-a_i)\}_{i=1}^K)$ menghasilkan pola yang sama dari $a_i-b_j\mod N$ ”dan apakah pernyataan ini bermanfaat?

— seorang tamu
sumber

7

Perhatikan bahwa tidak mungkin untuk memulihkan

a_{i}, b_{j}

$a_i,b_j$ , karena jika Anda menambahkan beberapa konstanta

C

$C$ ke semua angka, maka perbedaannya tetap sama.

— Yuval Filmus

1

@Yuval: Ini sudah termasuk dalam kalimat terakhir dari deskripsi. Saya pikir hanya satu solusi yang diperlukan, karena beberapa mungkin ada.

— domotorp

2

@Yuval Maaf karena tidak menunjukkan bahwa

a_{i}, b_{j}

$a_i,b_j$ ‘s juga harus diambil modular

N

$N$ . Jadi tidak ada solusi yang tak terbatas.

— seorang tamu

@domotorp Ya, menemukan salah satu solusinya tidak apa-apa.

— seorang tamu

1

Mungkin OP dapat mengklarifikasi bahwa

a_{i}

$a_i$ ,

b_{j}

$b_j$ diambil modulo

N

$N$ sebelumnya dalam posting: mungkin dalam judul atau dalam paragraf pertama. Masalah dengan konstanta

C

$C$ juga layak disebutkan. Kedua hal itu membingungkan saya ketika saya mulai membaca.

— Juan Bermejo Vega

4

Berikut ini adalah saran, untuk dan . Kami diberi daftar . Mulailah dengan mengambil salah satunya, tanpa kehilangan umum . Tanpa kehilangan umum , dan kami memperoleh nilai . Sekarang ambil yang lain, dan harap itu dalam bentuk (ini terjadi dengan probabilitas ), dan simpulkan . $K = 6$ $N = 251$ $a_i - b_j \pmod{N}$ $a_1-b_1$ $b_1=0$ $a_1$ $a_2-b_1$ $5/35 = 1/7$ $a_2$

Pada tahap ini, kita tahu . Tujuan kami berikutnya adalah mencari untuk . Untuk setiap kandidat , jika maka juga harus ada dalam daftar. Jika , maka probabilitas bahwa juga ada dalam daftar adalah sekitar . Jadi jika kita menemukan beberapa kandidat yang juga ada dalam daftar, maka mungkin . Dengan cara ini, kita dapat memulihkan dengan pasti. $a_1,a_2,b_1$ $a_1-b_j$ $j \neq 1$ $a_i-b_j$ $i=1$ $(a_i-b_j)+(a_2-a_1)=a_2-b_j$ $i \neq 1$ $(a_i-b_j)+(a_2-a_1)$ $33/251$ $a_i-b_j$ $(a_i-b_j)+(a_2-a_1)$ $i=1$ $b_2$

Pada tahap ini, kita tahu . Dengan cara yang sama seperti kami memulihkan , kami dapat memulihkan dengan kepastian yang masuk akal. Kami kemudian dapat memulihkan dengan mencari kandidat yang dan keduanya ada dalam daftar. Karena kita memiliki lebih banyak s, probabilitas kegagalan kita turun secara berarti. Kami melanjutkan dan menemukan . $a_1,a_2,b_1,b_2$ $b_2$ $a_3$ $b_3$ $a_i-b_j$ $(a_i-b_j)+(a_2-a_1)$ $(a_i-b_j)+(a_3-a_1)$ $a$ $b_3,a_4,b_4,a_5,b_6,a_6,b_6$

Pada titik mana pun dalam algoritme ini, kami mungkin telah menebak sesuatu yang salah, dan ini pada akhirnya akan menghasilkan kontradiksi (katakan pada titik tertentu, tidak ada kandidat yang baik ). Kami kemudian mundur dan mencoba kemungkinan lain; jika kita menghabiskan semua kemungkinan, kita mundur lagi, dan mencoba kemungkinan lain (untuk tahap algoritma yang berbeda); dan seterusnya. $a_i-b_j$

Ini adalah latihan yang baik untuk benar-benar memprogram algoritma ini - itu mungkin satu-satunya cara untuk memahami bagaimana menerapkan pengulangan dengan benar. Itu juga satu-satunya cara untuk mengetahui apakah algoritma ini berfungsi dalam praktik.

— Yuval Filmus
sumber

Terima kasih dan saya juga akan mengkode mundur ini untuk membuatnya lebih dipahami. Mungkin penulis makalah asli itu menggunakan metode yang sama karena ia juga menyebut "mundur".

— seorang tamu

Maaf karena lupa memposting komentar saya untuk jawaban Anda! Saya juga menerapkan metode yang Anda sarankan (dalam C ++). Kesimpulannya adalah bahwa algoritme Anda bekerja dengan sangat baik dan salah satu solusi dapat ditemukan dengan sangat cepat (dalam waktu kurang dari sedetik pada PC saya). Dan kali ini, saya bisa memahami prosedur backtrack dengan lebih baik. Terima kasih banyak!

— seorang tamu

Mengapa saya tidak bisa "@Yuval" di komentar terakhir saya ?! Maaf, tapi saya sudah mencoba beberapa kali.

— tamu

Mungkin Anda bisa membagikan kode secara online, sehingga orang lain yang membaca koran akan memiliki akses ke kode itu.

— Yuval Filmus

5

Pembaruan : Deskripsi di bawah ini untuk masalah yang berbeda (di mana Anda memiliki semua jarak berpasangan dalam satu set daripada jarak berpasangan antara dua set yang berbeda). Saya akan meninggalkannya karena itu terkait erat.

Masalah ini disebut masalah beltway, dan merupakan kasus khusus dari masalah embedding -torus umum . Hal ini juga berkaitan erat dengan masalah turnpike, di mana perbedaan jarak bersifat absolut (bukan modulo beberapa angka). $d$

Tidak diketahui apakah masalah beltway menerima algoritma poli-waktu. Ada berbagai algoritma pseudo-poli-waktu untuk pertanyaan terkait. Referensi terbaik (sayangnya yang lama) adalah karya Lemke, Skiena dan Smith .

— Suresh Venkat
sumber

1

Saya pikir masalah ini berbeda. Dalam masalah beltway kita tahu semua jarak berpasangan, di sini kita hanya tahu antara dua titik yang berada dalam kelompok yang berbeda. Walaupun ini kelihatannya kurang informasi, sebenarnya bisa membantu menyelesaikan masalah.

— domotorp

Ah iya. ini adalah grafik bipartit. poin yang bagus.

— Suresh Venkat

Grafik bipartit? Sesuatu seperti. Mungkin saya harus mencoba masalah ini dengan cara ini, tetapi saya tidak memiliki pemikiran yang konkret sekarang.

— seorang tamu

3

Berikut adalah pengamatan yang saya pikir memberi Anda pijakan, mungkin cukup satu untuk menyelesaikan masalah.

Misalkan kita memiliki empat perbedaan , , , yang muncul sebagai perbedaan berpasangan antara dua dan dua . Sebut ini kuartet perbedaan. Perhatikan bahwa kami memiliki hubungan non-sepele: $a_1-b_1$ $a_1-b_2$ $a_2-b_1$ $a_2-b_2$ $a$ $b$

(a_{1} - b_{1}) - (a_{1} - b_{2}) = (a_{2} - b_{1}) - (a_{2} - b_{2}) (\mod N) .

$(a_1-b_1)-(a_1-b_2) = (a_2-b_1)-(a_2-b_2) \pmod N.$

Anda dapat mencoba menggunakan hubungan ini untuk mengidentifikasi kuartet potensial dari daftar . Misalnya, pilih empat perbedaan dari daftar; jika mereka tidak memuaskan hubungan di atas, maka mereka pasti tidak muncul dari struktur kuartet; jika mereka memuaskan hubungan itu, mereka mungkin muncul dari kuartet. $K^2$

Ada banyak cara yang bisa Anda ambil dari sini, tapi saya kira ini sudah cukup.

Saya terutama menduga bahwa, untuk pengaturan parameter contoh Anda, masalahnya akan sangat mudah, karena tes di atas untuk mengenali kuartet mungkin tidak akan memiliki terlalu banyak false positive. Cara kami semua memilih 4 perbedaan dari daftar, akan ada kuartet (yang semuanya akan memuaskan hubungan) dan sisanya adalah non-kuartet (yang memenuhi hubungan dengan probabilitas , heuristik). Oleh karena itu kami berharap untuk melihat tentang positif palsu, yaitu, 4-tuple yang lulus tes meskipun mereka bukan kuartet. Untuk parameter Anda, ini berarti kami memiliki 225 kuartet dan ${K^2 \choose 4}$ ${K \choose 2}^2$ $1/N$ $({K^2 \choose 4}-{K \choose 2}^2)/N$ $(58905-225)/251 \approx 234$ positif palsu lainnya; jadi sekitar setengah dari 4-tupel yang lulus tes sebenarnya adalah kuartet. Ini berarti bahwa tes di atas adalah cara yang cukup baik untuk mengenali kuartet. Setelah Anda dapat mengenali kuartet, Anda dapat benar-benar pergi ke kota untuk memulihkan struktur daftar perbedaan.

— DW
sumber

@ WD: Terima kasih, tapi saya sekarang bertanya-tanya langkah selanjutnya setelah semua kuartet yang mungkin (benar-benar 225 + 234 = 459) ditemukan. Haruskah mencari 3 kuartet yang tidak tumpang tindih dan menguji apakah mereka dapat menjadi solusi yang mungkin? Bagaimana cara mencapai ini secara efisien? Mungkin tidak begitu sulit karena tidak akan ada banyak tumpang tindih.

— seorang tamu

@pertanyaan terbaik, pertanyaan bagus! Saya tidak ingat apa yang saya pikirkan saat itu. Saya pikir saya ingat berpikir satu pendekatan bisa dimulai dengan satu kuartet, kemudian mencari semua yang lain yang tumpang tindih dalam 2 perbedaan (misalnya, timbul dari mana ), tapi saya tidak tahu ke mana harus pergi dari sana (cara memfilter positif palsu).

a_{1}, a_{j}, b_{1}, b_{2}

$a_1,a_j,b_1,b_2$

j \neq 2

$j\ne 2$

— DW

3

Berikut adalah pendekatan yang berbeda, berdasarkan pada iteratif menemukan angka yang tidak dapat muncul di antara . Sebut satu set over-perkiraan dari 's jika kita tahu bahwa . Demikian pula, adalah overapproximation dari 's jika kita tahu bahwa . Jelas, lebih kecil , semakin berguna ini lebih-pendekatan adalah, dan yang sama berlaku untuk . Pendekatan saya didasarkan pada iteratif memperbaiki perkiraan berlebihan ini, yaitu, secara iteratif mengurangi ukuran set ini (karena kami mengesampingkan semakin banyak nilai yang tidak mungkin). $\{a_1,\dots,a_6\}$ $A$ $a$ $\{a_1,\dots,a_6\} \subseteq A$ $B$ $b$ $\{b_1,\dots,b_6\} \subseteq B$ $A$ $B$

Inti dari pendekatan ini adalah metode untuk penyempurnaan : diberikan over-aproksimasi untuk 's dan over-aproksimasi untuk 's, temukan over-aproksimasi baru untuk sehingga . Secara khusus, biasanya akan lebih kecil dari , jadi ini memungkinkan kita untuk memperbaiki perkiraan-lebih untuk . $A$ $a$ $B$ $b$ $A^*$ $a$ $A^* \subsetneq A$ $A^*$ $A$ $a$

Dengan simetri, pada dasarnya trik yang sama akan memungkinkan kita memperbaiki perkiraan-over kita untuk 's: diberi over-aproksimasi untuk 's dan over-aproksimasi untuk 's, ia akan menghasilkan over baru -approximation untuk 's. $b$ $A$ $a$ $B$ $b$ $B^*$ $b$

Jadi, izinkan saya memberi tahu Anda cara melakukan penyempurnaan, maka saya akan menggabungkan semuanya untuk mendapatkan algoritme lengkap untuk masalah ini. Dalam apa yang berikut, biarkan menunjukkan multi-set perbedaan, yaitu, ; kita akan fokus pada menemukan disempurnakan selama-pendekatan , diberikan . $D$ $D=\{a_i-b_j:1 \le i,j \le 6\}$ $A^*$ $A,B$

Cara menghitung penyempurnaan. Pertimbangkan satu perbedaan . Pertimbangkan set . Berdasarkan pengetahuan kami bahwa adalah perkiraan yang berlebihan dari , kami tahu bahwa setidaknya satu elemen harus merupakan elemen dari . Oleh karena itu, kita dapat memperlakukan setiap elemen di sebagai "saran" untuk nomor untuk mungkin termasuk di . Jadi, mari kita sapu semua perbedaan dan, untuk masing-masing, identifikasi nomor mana yang "disarankan" oleh . $d \in D$ $d+B=\{d+y : y \in B\}$ $B$ $b$ $d+B$ $\{a_1,\dots,a_6\}$ $d+B$ $A$ $d \in D$ $d$

Sekarang saya akan mengamati bahwa angka pasti akan disarankan setidaknya 6 kali selama proses ini. Mengapa? Karena perbedaan dalam , dan ketika kami memprosesnya, akan menjadi salah satu angka yang disarankan (karena kami dijamin bahwa , pasti akan menyertakan ). Demikian pula, perbedaan muncul di suatu tempat di , dan itu akan menyebabkan disarankan lagi. Dengan cara ini, kita melihat bahwa nilai akan disarankan setidaknya 6 kali. Hal yang sama berlaku untuk , dan $a_1$ $a_1-b_1$ $D$ $a_1$ $b_1 \in B$ $(a_1-b_1)+B$ $a_1$ $a_1-b_2$ $D$ $a_1$ $a_1$ $a_2$ $a_3$ , dan seterusnya.

Jadi, mari menjadi himpunan angka yang telah disarankan setidaknya 6 kali. Ini pastinya merupakan perkiraan yang berlebihan dari , oleh komentar di atas. $A^*$ $a^*$ $a$

Sebagai optimasi, kita bisa menyaring semua saran yang tidak hadir dalam segera: dengan kata lain, kita bisa memperlakukan perbedaan sebagai menyarankan semua nilai-nilai . Memastikan bahwa kita akan memiliki . Kami berharap lebih kecil dari ; tidak ada jaminan, tetapi jika semuanya berjalan dengan baik, mungkin itu akan terjadi. $A$ $d$ $(d+B)\cap A$ $A^* \subseteq A$ $A^*$ $A$

Menyatukan ini, algoritma untuk memperbaiki untuk menghasilkan adalah sebagai berikut: $A,B$ $A^*$

Biarkan . Ini adalah serangkaian saran. $S = \cup_{d \in D} (d+B)\cap A$
Menghitung berapa kali setiap nilai muncul dalam . Mari menjadi seperangkat nilai-nilai yang muncul setidaknya 6 kali di . (Ini dapat diimplementasikan secara efisien dengan membangun sebuah array dari 251 awalnya, awalnya semua nol, dan setiap kali jumlah disarankan, Anda selisih ; pada akhirnya Anda menyapu melalui mencari elemen yang nilainya 6 atau lebih besar) $S$ $A^*$ $S$ $a$ $s$ $a[s]$ $a$

Metode serupa dapat dibangun untuk memperbaiki untuk mendapatkan . Anda hal-hal pada dasarnya terbalik di atas dan flip beberapa tanda-tanda: misalnya, bukannya , Anda melihat . $A,B$ $B^*$ $d+B$ $-d+A$

Cara menghitung perkiraan awal yang berlebihan. Untuk mendapatkan perkiraan awal berlebihan kami, satu ide adalah mengasumsikan (wlog) bahwa . Oleh karena itu, setiap nilai harus muncul di suatu tempat di antara , sehingga daftar perbedaan dapat digunakan sebagai perkiraan awal awal kami untuk . Sayangnya, ini tidak memberi kami perkiraan yang terlalu berguna untuk 's. $b_1=0$ $a_i$ $D$ $D$ $a$ $b$

Pendekatan yang lebih baik adalah dengan menebak nilai salah satu nilai . Dengan kata lain, kami menganggap (wlog) bahwa , dan menggunakan sebagai perkiraan awal kami atas . Lalu, kami menebak mana dari 36 nilai ini yang memang salah satu dari nilai , katakan . Itu kemudian memberi kita perkiraan yang berlebihan untuk 's. Kami menggunakan perkiraan awal A yang berlebihan ini , kemudian secara iteratif memperbaikinya sampai konvergensi, dan menguji apakah hasilnya benar. Kami mengulangi hingga 36 kali, dengan 36 tebakan berbeda pada (rata-rata 6 tebakan seharusnya cukup) sampai kami menemukan satu yang berfungsi. $a$ $b_1=0$ $A=D$ $a$ $a$ $a_1$ $B=a_1-D$ $b$ $A,B$ $a_1$

Algoritma penuh. Sekarang kita dapat memiliki algoritma lengkap untuk menghitung . Pada dasarnya, kami menurunkan perkiraan awal untuk dan , lalu memperbaiki secara iteratif. $a_1,\dots,a_6,b_1,\dots,b_6$ $A$ $B$

Buat tebakan: Untuk setiap , tebak . Lakukan hal berikut: $z \in D$ $a_1=z$
1. Perkiraan awal yang berlebihan: Tentukan dan . $A=D$ $B=z-D$
2. Perbaikan berulang : Terapkan berulang-ulang berikut ini sampai konvergensi:
  - Perbaiki untuk mendapatkan over-pendekatan baru dari 's. $A,B$ $B^*$ $b$
  - Perbaiki untuk mendapatkan over-pendekatan baru dari 's. $A,B^*$ $A^*$ $a$
  - Biarkan dan . $A:= A^*$ $B:= B^*$
3. Periksa keberhasilan: Jika set yang dihasilkan masing-masing memiliki ukuran 6, uji apakah solusi tersebut valid untuk masalah tersebut. Jika ya, berhenti. Jika tidak, lanjutkan dengan perulangan nilai kandidat . $A,B$ $z$

Analisis. Akankah ini berhasil? Apakah pada akhirnya konvergen pada dan , atau akankah ia macet tanpa menyelesaikan masalah sepenuhnya? Cara terbaik untuk mengetahuinya mungkin dengan mengujinya. Namun, untuk parameter Anda, ya, saya berharap ini akan efektif. $A=\{a_1,\dots,a_6\}$ $B=\{b_1,\dots,b_6\}$

Jika kita menggunakan metode # 1, selamatidak terlalu besar, heuristik saya berharap ukuran set menyusut secara monoton. Pertimbangkan berasal dari . Setiap perbedaan menyarankannilai-nilai; salah satunya benar, dan yang lain dapat diperlakukan (secara heuristik) sebagai angka acak. Jika adalah angka yang tidak muncul di antara , berapakah probabilitas bahwa angka tersebut bertahan dari pemfilteran dan ditambahkan ke ? Nah, kami berharap akan menyarankan tentang $|A|,|B|$ $A^*$ $A,B$ $d$ $|B|$ $|B|-1$ $x$ $a$ $A^*$ $a$ $(|B|-1) \times 36/251$ kali total (rata-rata, dengan standar deviasi tentang akar kuadrat itu). Jika , probabilitas bahwa salah bertahan dari penyaringan harus sekitar atau lebih (menggunakan perkiraan normal untuk binomial, dengan koreksi kontinuitas). (Peluangnya lebih kecil jika lebih kecil; misalnya, untuk , saya perkirakan .) Saya berharap ukuran sekitar , yang akan benar-benar meningkatkan pendekatan yang berlebihan karena ini benar-benar lebih kecil dari. Misalnya, jika , maka berdasarkan heuristik ini saya harapkan $|B|\le 36$ $x$ $p=0.4$ $|B|$ $|B|=30$ $p\approx 0.25$ $A^*$ $p (|A|-6) + 6$ $|A|$ $|A|=|B|=36$ $|A^*|\approx 18$ , yang merupakan peningkatan besar atas. $|A|$

Oleh karena itu, saya memperkirakan bahwa waktu berjalan akan sangat cepat. Saya berharap sekitar 3-5 iterasi perbaikan sudah cukup untuk konvergensi, biasanya, dan sekitar 6 tebakan pada mungkin sudah cukup. Setiap operasi penyempurnaan melibatkan mungkin beberapa ribu memori membaca / menulis, dan kami melakukannya mungkin 20-30 kali. Jadi, saya berharap ini sangat cepat, untuk parameter yang Anda tentukan. Namun, satu-satunya cara untuk mengetahui dengan pasti adalah mencobanya dan melihat apakah itu berfungsi dengan baik atau tidak. $z$

— DW
sumber

@DW: Terima kasih banyak atas jawaban panjang Anda dan usaha yang Anda lakukan untuk mengetik begitu banyak kata !!! Menurut uraian Anda, algoritme Anda di sini cukup benar. Dan saya akan mengkodekannya untuk menguji efisiensi sekarang.

— seorang tamu

@ WD: Hai, saya sudah mengimplementasikan deskripsi Anda di C ++. Algoritma berjalan cepat dan langkah perbaikan tidak mengurangi ukuran dari set asli dan . Namun, konvergensi tampaknya tidak begitu sempurna. Bahkan, untuk setiap tebakan , ukuran akhir dan masih lebih dari 10 menurut catatan keluaran saya oleh program. Jumlah elemen yang paling sering ada ketika (dan ) tidak dapat ditingkatkan dengan pengulangan penyempurnaan lebih lanjut adalah 11, tetapi saya tidak dapat melihat angka di bawah 10. Namun, ini telah membuat masalah dapat dipecahkan dengan mencoba masing-masing 6-elemen yang dipilih dari

A

$A$

B

$B$

z \in D

$z\in D$

A^{*}

$A^*$

B^{*}

$B^*$

A^{*}

$A^*$

B^{*}

$B^*$

— tamu

@ WD: (Dihapuskan) final dan untuk setiap tebakan (meskipun saya tidak mengimplementasikan langkah terakhir pada PC saya). Perhitungan jumlah total akan menjadi sekitar , saya perkirakan. Terima kasih banyak!

A^{*}

$A^*$

B^{*}

$B^*$

z

$z$

2^{20}

$2^{20}$

— seorang tamu

Maaf, tapi komentar terakhir saya terlalu panjang, dan saya harus membaginya menjadi dua.

— seorang tamu