Seberapa besar string agen pengguna dapat?

193

Jika Anda akan menyimpan agen pengguna dalam database, seberapa besar Anda akan mengabari?

Saya menemukan artikel technet ini yang merekomendasikan menjaga UA di bawah 200. Tidak terlihat seperti ini didefinisikan dalam spesifikasi HTTP setidaknya tidak yang saya temukan. UA saya sudah 149 karakter, dan sepertinya setiap versi .NET akan menambahkannya.

Saya tahu saya dapat mengurai string dan memecahnya tetapi saya lebih suka tidak.

EDIT
Berdasarkan Blog ini IE9 akan berubah untuk mengirim string UA pendek. Ini adalah perubahan yang bagus.

— JoshBerke
sumber

Saya memposting pertanyaan ini: stackoverflow.com/questions/17731699/…

— Erx_VB.NExT.Coder

Apa string UA Anda? Saya hanya menemukan beberapa string dengan 137 karakter di database saya (yang tidak terlalu besar).

— Martin Thoma

Ketika saya menanyakan pertanyaan ini sekitar lima tahun yang lalu. String UA semakin lama mereka memasukkan banyak barang tambahan ...

— JoshBerke

2

Saya harus bertanya, apakah jawaban pada utas ini masih relevan? Sebagian besar jawaban ini berusia 8 tahun.

— Peschke

114

Spesifikasi HTTP tidak membatasi panjang header sama sekali. Namun server web membatasi ukuran tajuk yang mereka terima, melempar 413 Entity Too Largejika melebihi.

Tergantung pada web-server dan pengaturannya batas ini bervariasi dari 4KB hingga 64KB (total untuk semua header).

— vartec
sumber

11

Apache membatasi panjang bidang maksimum hingga 8k ( httpd.apache.org/docs/2.2/mod/core.html#limitrequestfieldsize ).

— Gumbo

Saya kurang peduli dengan batas Server karena saya di IIS, aku tahu itu tidak akan pernah menjadi lebih besar maka batas mereka yang masih preety besar jika memori melayani ....

— JoshBerke

6

@Josh - memori membantu Anda dengan baik, pada IIS 16K secara default. ;-)

— vartec

70

Pandangan saya tentang ini:

Gunakan tabel khusus untuk menyimpan hanya UserAgents (menormalkannya)
Di tabel terkait Anda, simpan nilai kunci asing untuk menunjuk kembali ke bidang kunci utama kenaikan otomatis UserAgent
Simpan string UserAgent yang sebenarnya dalam bidang TEXT dan jangan pedulikan panjangnya
Memiliki yang lain UNIQUE BINARY(32) (atau 64, atau 128 tergantung pada panjang hash Anda) dan hash UserAgent

Beberapa string UA bisa menjadi sangat panjang. Ini akan membuat Anda khawatir. Juga menegakkan panjang maksimum di INSERTer Anda untuk menjaga string UA di bawah 4KB. Kecuali seseorang mengirim email kepada Anda di agen-pengguna, itu tidak boleh melebihi itu.

— CodeAngry
sumber

1

Bidang TEKS tidak boleh digunakan lagi sebagaimana dinyatakan dalam MSDN: msdn.microsoft.com/en-us/library/ms187993(v=sql.90).aspx Sebagai gantinya, gunakan NVARCHAR (MAX). Sumber: stackoverflow.com/questions/564755/…

— Matt Roy

3

Basis data saya memiliki 10.235 string agen pengguna yang berbeda. Saya ingin menemukan algoritma hash tercepat yang tidak menghasilkan tabrakan. Untuk lingkungan PHP saya, saya menemukan MD5 dilakukan dengan cepat pada 2,3 detik tanpa tabrakan. Menariknya saya mencoba crc32 dan crc32b dan mereka juga tampil di 2,3 detik tanpa tabrakan. Tetapi, karena md5 memiliki lebih banyak kombinasi daripada crc32 dan crc32b, md5 kemungkinan memiliki lebih sedikit kemungkinan tabrakan. Bagaimanapun, md5 adalah pilihan saya dan saya berharap ini akan berfungsi dengan baik.

— noctufaber

2

Mengapa hash Agen Pengguna? Apakah ini untuk pencarian cepat atau sesuatu?

— Boom

2

Pencarian @Boom dan keunikan sebagai kunci unik DB hanya bisa begitu lama.

— CodeAngry

2

@noctufaber crc32 bukan hash, tidak mencoba untuk tahan benturan.

29

Melihat sesuatu seperti ini di log apache kami. Kelihatannya tidak normal bagi saya tetapi saya secara teratur melihat hal-hal seperti itu dalam log kebanyakan dari sistem Windows.

97690420803; 79980706603; 9867086703; 996602846703; 87690803; 6989010903; 977809603; 666601903; 876905337803; 89670603; 89970200903; 786903603; 696901911703; 788905703; 896709803; 96890703; 998601903; 88980703; 666604769703; 978806603; 7988020803; 996608803; 788903297903; 98770043603; 899708803; 66960371603; 9669088903; 69990703; 99660519903; 97780603; 888801803; 9867071703; 79780803; 9779087603; 899708603; 66960456803; 898706824603; 78890299903; 99660703; 9768079803; 977901591603; 89670605603; 787903608603; 998607934903; 799808573903; 878909603; 979808146703; 9996088603; 797803154903; 69790603; 99660565603; 7869028603; 896707703; 97980965603; 976907191703; 88680703; 888809803; 69690903; 889805523703; 899707703; 997605035603; 89970029803; 9699094903; 877906803; 899707002703; 786905857603; 69890803; 97980051903; 997603978803; 9897097903; 66960141703; 7968077603; 977804603; 88980603; 989700803; 999607887803; 78690772803; 96990560903; 98970961603; 9996032903; 9699098703; 69890655603; 978903803; 698905066803; 977806903; 9789061703; 967903747703; 976900550903; 88980934703; 8878075803; 8977028703; 97980903; 9769006603; 786900803; 98770682703; 78790903; 878906967903; 87690399603; 99860976703; 796805703; 87990603; 968906803; 967904724603; 999606603; 988705903; 989702842603; 96790603; 99760703; 88980166703; 9799038903; 98670903; 697905248603; 7968043603; 66860703; 66860127903; 9779048903; 89670123903; 78890397703; 97890603; 87890803; 8789030603; 69990603; 88880763703; 9769000603; 96990203903; 978900405903; 7869022803; 699905422903; 97890703; 87990903; 878908703; 7998093903; 898702507603; 97780637603; 966907903; 896702603; 9769004803; 7869007903; 99660158803; 7899099603; 8977055803; 99660603; 7889080903; 66660981603; 997604603; 6969089803; 899701903; 9769072703; 666603903; 99860803; 997608803; 69790903; 88680756703; 979805677903; 9986047703; 89970803; 66660603; 96690903; 8997051603; 789901209803; 8977098903; 968900326803; 87790703; 98770024803; 697901794603; 69990803; 887805925803; 968908903; 97880603; 897709148703; 877909476903; 66760197703; 977908603; 698902703; 988706504803; 977802026603; 88680964703; 8878068703; 987705107903; 978902878703; 8898069803; 9768031703; 79680803; 79980803; 669609328703; 89870238703; 99960593903; 969904218703; 78890603; 9788000703; 69690630903; 889800982903; 988709748803; 7968052803; 99960007803; 969900800803; 668604817603; 66960903; 78790734603; 8868007703; 79780034903; 8878085903; 976907603; 89670830803; 877900903; 969904889703; 7978033903; 8987043903; 99860703; 979805903; 667603803; 976805348603; 999604127603; 97790701603; 78990342903; 98770672903; 87990253903; 9877027703; 97790803; 877901895603; 8789076903; 896708595603; 997601903; 799806903; 97690603; 87790371703; 667605603; 99760303703; 97680283803; 788902750803; 787909803; 79780603; 79880866903; 9986050903; 87890543903; 979800803; 97690179703; 876901603; 699909903; 96990192603; 878904903; 877904734903; 796801446903; 977904803; 9887044803; 797805565603; 98870789703; 7869093903; 87790727703; 797801232803; 666604803; 9778071903; 9799086703; 6969000903; 89670903; 8799075903; 897708903; 88680903; 97980362603; 97980503903; 889803256703; 88980388703; 789909376803; 69690703; 6969025903; 89970309903; 96690703; 877901847803; 968901903; 96690603; 88680607603; 7889001703; 789904761803; 976807703; 976902903; 878907889703; 9897014903; 896707046603; 696909903; 666603998903; 969902703; 79680421803; 9769075603; 798800192703; 97990903; 9689024903; 668604803; 969908671903; 9996094703; 69990642703; 97890895903; 977805619903; 79980859903; 88980443803; 98970649603; 997602703; 888802169903; 699907803; 667602028803; 786903283903; 997607703; 969909803; 798809925903; 9976045603; 97790903; 9789001903; 966903603; 9789069603; 968906603; 6989091803; 896701603; 6979059803; 978803903; 997606362603; 88980803; 98970803; 88880921703; 8997065703; 899700703; 698908703; 797801027903; 7889050903; 87890603; 78690703; 99660069703; 97980309903; 976800603; 666606803; 898707703; 79880019803; 66960250803; 7978049803; 88780602603; 79680903; 88880792703; 96990903; 667608603; 87790730903; 98970903; 9699032903; 8987004803; 88880703; 89770046603; 978800803; 969908903; 9798022603; 696901903; 799803703; 989703703; 668605903; 79780903; 998601371703; 796803339703; 87890922603; 898708903; 9966061903; 66960891903; 96790903; 8779050803; 98870858803; 976909298603; 9887029903; 669608703; 979806903; 878903803; 99960703; 9789086703; 979801803; 66960008703; 979806830803; 99760212703; 786906603; 797807603; 789907297703; 96990703; 786901603; 796807766603; 896702651603; 789902585603; 66660925903; 9986085703; 66960302703; 69890703; 789900703; 89970903; 9679060703; 9789002903; 979908821603; 986708140803; 976809828703; 7988082803; 79680997903; 99960803; 9788081903; 979805703; 787908603; 66960602803; 9887098703; 978803237703; 888806804603; 999604703; 977904703; 966904635703; 97680291703; 977809345603; 8878046703; 988709803; 976900773603; 989703903; 88780198603; 87790603; 986708703; 78890604703; 87790544803; 976809850903; 887806703; 987707527603; 79880803; 9897059603; 897709820603; 97880804803; 66960026703; 9789062803; 9867090803; 669600603; 8967087703; 78890903; 89770903; 97980703; 976802687603; 66860400803; 979901288603; 96990160903; 99860228903; 966900703; 66760603; 9689035703; 9779064703; 7968023603; 87890791903; 98770870603; 9798005803; 6969087903; 9779097903; 6979065703; 699903252603; 79780989703; 87690901803; 978905763903; 977809703; 97790369703; 899703269603; 8878012703; 78790803; 87690395603; 8888042803; 667607689903; 8977041803; 6666085603; 6999080703; 69990797803; 88680721603; 99660519803; 889807603; 87890146703; 699906325903; 89770603; 669608615903; 9779028803; 88880603; 97790703; 79780703; 97680355603; 6696024803; 78790784703; 97880329903; 9699077703; 89870803; 79680227903; 976905852703; 8997098903; 896704796703; 66860598803; 9897036703; 66960703; 9699094703; 9699008703; 97780485903; 999603179903; 89770834803; 96790445603; 79680460903; 9867009603; 89870328703; 799801035803; 989702903; 66960758903; 66860150803; 6686088603; 9877092803; 96990603; 99860603; 987703663603; 98870903; 699903325603; 87790803; 97680703; 8868030703; 9799030803; 89870703; 97680803; 9669054803; 6979097603; 987708046603; 999608603; 878904803; 998607408903; 968903903; 696900703; 977907491703; 6686033803; 669601803; 99960290603; 887809169903; 979803703; 69890903; 699901447903; 8987064903; 799800603; 98770903; 8997068703; 967903603; 66760146803; 978805087903; 697908138603; 799801603; 88780964903; 989708339903; 8967048603; 88880981603; 789909703; 796806603; 977905977603; 989700603; 97780703; 9669062603; 88980714603; 897709545903; 988701916703; 667604694903; 786905664603; 877900803; 886805490903; 89970559903; 99960531803; 7998033903; 98770803; 78890418703; 669600872803; 996605216603; 78690962703; 667604903; 996600903; 999608903; 9699083803; 787901803; 97780707603; 787905312703; 977805803; 8977033703; 97890708703; 989705521903; 978800703; 698905703; 78890376903; 878907703; 999602903; 986705903; 668602719603; 979901803; 997606903; 66760393903; 987703603; 78790338903; 96890803; 97680596803; 666601603; 977902178803; 877902803; 78790038603; 8868075703; 99960060603) 787905312703; 977805803; 8977033703; 97890708703; 989705521903; 978800703; 698905703; 78890376903; 878907703; 999602903; 986705903; 668602719603; 979901803; 997606903; 66760393903; 987703603; 78790338903; 96890803; 97680596803; 666601603; 977902178803; 877902803; 78790038603; 8868075703; 99960060603) 787905312703; 977805803; 8977033703; 97890708703; 989705521903; 978800703; 698905703; 78890376903; 878907703; 999602903; 986705903; 668602719603; 979901803; 997606903; 66760393903; 987703603; 78790338903; 96890803; 97680596803; 666601603; 977902178803; 877902803; 78790038603; 8868075703; 99960060603)

— Harry
sumber

36

Adakah orang yang ingin mengomentari apa yang sedang terjadi dengan agen pengguna ini? lol Saya harus menambahkan, saya ingin tahu bagaimana makhluk seperti itu dapat terbentuk.

— Erx_VB.NExT.Coder

22

Jika ada yang penasaran; ini jam di 8010 karakter . Bagaimana mungkin orang di tim browser berpikir bahwa ini adalah ide yang bagus? Ini sama gilanya dengan sekantong kucing!

— Dokter Jones

15

Apakah memotong string agen pengguna ini pada 256 atau 512 menyingkirkan semua data yang berguna sama sekali?

— JackAce

12

Saya sudah melakukan beberapa pengamatan, tetapi belum berhasil. Ada 642angka. Empat angka pertama selalu 6, 7, 8, atau 9. Angka kelima selalu 0. Tiga terakhir selalu 603, 703, 803, atau 903. Mungkin seseorang mungkin mengenali pola itu? (Paruh 3 dikonfirmasi?)

— Aduh

Menarik. Saya sekarang telah menambahkan kode untuk memotong string UA ke 255 karakter untuk log db saya.

— Deepak Thomas

28

Karena ini untuk keperluan basis data dan tidak ada batasan praktis saya akan pergi untuk Tabel UserAgents dengan UserAgentId sebagai Int dan UserAgentString sebagai NVarChar (MAX) dan menggunakan kunci asing pada tabel asli.

— Diadistis
sumber

19

Anda mungkin akan berakhir dengan agen pengguna pada hubungan 1-ke-segenggam dengan pengguna Anda. Sebagian besar agen pengguna mengalami perubahan besar karena item yang telah dipasang pengguna, dan dalam urutan tertentu, sehingga hampir dapat diidentifikasi secara pribadi (satu jawaban lain memiliki contoh yang bagus tentang hal ini terjadi). Bahkan, EFF melakukan penelitian (pdf) tentang hal itu.

— patridge

1

@patridge +1 untuk tautan, studi yang sangat bagus. Ini agak off topic karena mereka melihat beberapa sidik jari dan bukan hanya string agen pengguna. Dalam skenario dunia nyata, untuk situs yang mendapat beberapa juta tampilan halaman per bulan, Anda akan berakhir dengan beberapa ribu string agen pengguna, jadi normalisasi masuk akal IMHO. Dengan itu, saya tidak terlalu positif dalam menyimpan string agen pengguna dalam database: P

— Diadistis

@ Patridge Tautan ke studi ini sekarang rusak: tautan yang diperbarui

— Boris Dalstein

1

@ Patridge Saya setuju bahwa ide Anda terdengar masuk akal, tetapi data saya tidak setuju dengan kami berdua. Saya bekerja dengan sistem semacam ini sekarang, dan saya memiliki sekitar 70 ribu UA unik untuk pengguna 1,2 juta. Alasan saya berada di halaman ini adalah karena saya memilih 256 sebagai batasan pada bidang basis data saya dan menemukan bahwa 50k dari 70k terpotong sehingga saya kehilangan beberapa informasi. Saya akan meningkatkannya menjadi 4k sekarang. Akan menarik untuk mengetahui berapa banyak yang akan menjadi unik jika mereka tidak terpotong

— Darren H

10

Bagaimana ini untuk besar ?:

SearchSystem9616306563; SearchSystem6017393645; SearchSystem5219240075; SearchSystem2768350104; SearchSystem6919669052; SearchSystem1986739074; SearchSystem1555480186; SearchSystem3376893470; SearchSystem9530642569; SearchSystem4877790286; SearchSystem8104932799; SearchSystem2313134663; SearchSystem1545325372; SearchSystem7742471461; SearchSystem9092363703; SearchSystem6992236221; SearchSystem3507700306; SearchSystem1129983453; SearchSystem1077927937; SearchSystem2297142691; SearchSystem7813572891; SearchSystem5668754497; SearchSystem6220295595; SearchSystem4157940963; SearchSystem7656671655; SearchSystem2865656762; SearchSystem6520604676; SearchSystem4960161466; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729) SearchSystem6919669052; SearchSystem1986739074; SearchSystem1555480186; SearchSystem3376893470; SearchSystem9530642569; SearchSystem4877790286; SearchSystem8104932799; SearchSystem2313134663; SearchSystem1545325372; SearchSystem7742471461; SearchSystem9092363703; SearchSystem6992236221; SearchSystem3507700306; SearchSystem1129983453; SearchSystem1077927937; SearchSystem2297142691; SearchSystem7813572891; SearchSystem5668754497; SearchSystem6220295595; SearchSystem4157940963; SearchSystem7656671655; SearchSystem2865656762; SearchSystem6520604676; SearchSystem4960161466; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729) SearchSystem6919669052; SearchSystem1986739074; SearchSystem1555480186; SearchSystem3376893470; SearchSystem9530642569; SearchSystem4877790286; SearchSystem8104932799; SearchSystem2313134663; SearchSystem1545325372; SearchSystem7742471461; SearchSystem9092363703; SearchSystem6992236221; SearchSystem3507700306; SearchSystem1129983453; SearchSystem1077927937; SearchSystem2297142691; SearchSystem7813572891; SearchSystem5668754497; SearchSystem6220295595; SearchSystem4157940963; SearchSystem7656671655; SearchSystem2865656762; SearchSystem6520604676; SearchSystem4960161466; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729) SearchSystem7742471461; SearchSystem9092363703; SearchSystem6992236221; SearchSystem3507700306; SearchSystem1129983453; SearchSystem1077927937; SearchSystem2297142691; SearchSystem7813572891; SearchSystem5668754497; SearchSystem6220295595; SearchSystem4157940963; SearchSystem7656671655; SearchSystem2865656762; SearchSystem6520604676; SearchSystem4960161466; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729) SearchSystem7742471461; SearchSystem9092363703; SearchSystem6992236221; SearchSystem3507700306; SearchSystem1129983453; SearchSystem1077927937; SearchSystem2297142691; SearchSystem7813572891; SearchSystem5668754497; SearchSystem6220295595; SearchSystem4157940963; SearchSystem7656671655; SearchSystem2865656762; SearchSystem6520604676; SearchSystem4960161466; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)

— CD.
sumber

15

Bagi mereka yang mempertahankan skor, itu 1.546 karakter, termasuk kutipan terkemuka dan tertinggal.

— Doug Harris

6

Tidak ada batasan yang dinyatakan, hanya batas sebagian besar server HTTP. Dengan mengingat hal itu, saya akan mengimplementasikan kolom dengan panjang tetap yang masuk akal (gunakan Google untuk menemukan daftar agen pengguna yang dikenal, temukan yang terbesar dan tambahkan 50%), dan potong saja agen pengguna yang terlalu panjang - kecuali agen pengguna yang panjang mungkin cukup unik bahkan ketika dipotong, atau merupakan hasil dari beberapa jenis bug atau upaya "retas".

— David
sumber

Sepertinya panjang standar adalah 120-150, berdasarkan pada networkinghowtos.com/howto/common-user-agent-list . Karena itu saya akan memotong Panjang Max pada 200.

— gen b.

4

Saya mendapatkan agen pengguna ini hari ini, memenuhi bidang penyimpanan vendor kami:

Mozilla / 4.0 (kompatibel; MSIE 8.0; Windows NT 5.1; Trident / 4.0; GTB6; .NET CLR 1.1.4322; .NET CLR 2.0.50727;. NET CLR 3.0.04506.30; MDDR; OfficeLiveConnector.1.3; OfficeLivePatch.0.0; .NET CLR 3.0.4506.2152;. NET CLR 3.5.30729)

Konyol! 229 karakter?

Jadi, ambil ukuran itu, gandakan, gandakan lagi, dan Anda harus mengaturnya sampai kesalahan Microsoft berikutnya (mungkin kali ini tahun depan).

Lebih besar dari 1000!

— kebiruan
sumber

Saya ingin tahu apa hubungannya .Net CLR dan Trident harus dilakukan dengan Mozilla

— Gherman

3

Saya akan memberi Anda jawaban standar:

Ambil nilai terbesar yang bisa Anda bayangkan, gandakan, dan itulah jawaban Anda.

— Ed Marty
sumber

heh jadi seberapa besar menurutmu itu?

— JoshBerke

1

Dua kali apa pun yang saya pikirkan, tentu saja. Meskipun 256 sepertinya angka bulat yang bagus untuk digandakan.

— Ed Marty

4

Saya merasa lucu setiap kali kita tidak tahu berapa panjang yang baik kita selalu berakhir dengan 256 atau kelipatan 2. 2.

— JoshBerke

2

Yah 512 kedengarannya bagus yang memberi saya setidaknya 10 tahun rilis .net dan sampah lainnya untuk diakumulasikan dan pada saat itu saya berharap untuk pensiun. Terima kasih lagi

— JoshBerke

1

@Josh: "pada saat itu saya berharap untuk pensiun" ... di mana saya mendengar itu sebelumnya ?! ;-)

— Cerebrus

3

Anggap string agen pengguna tidak memiliki batasan panjangnya dan bersiaplah untuk menyimpan nilai seperti itu. Seperti yang Anda lihat, panjang tidak dapat diprediksi.

Di Postgres, ada jenis teks yang menerima string dengan panjang tak terbatas. Gunakan itu.

Kemungkinan besar, Anda harus mulai memotong pada beberapa titik. Sebut itu bagus dengan peningkatan yang cukup berguna (200, 1k, 4k) dan buang sisanya.

— Brad Koch
sumber

2

Inilah salah satu yang 257

Mozilla / 4.0 (kompatibel; MSIE 8.0; Windows NT 5.1; Trident / 4.0; GTB6; .NET CLR 1.1.4322;. NET CLR 2.0.50727;. NET CLR 3.0.04506.30; InfoPath.2; .NET CLR 3.0.04506.648 ; OfficeLiveConnector.1.3; OfficeLivePatch.0.0; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)

— kebiruan
sumber

Saya telah melihat hingga 255 karakter sejauh ini di situs dengan lalu lintas sangat rendah. Jadi tidak mengherankan. .Net 4.0 kemungkinan akan menambahkan 20 karakter lagi.

— JoshBerke

1

Bukan indikasi seberapa besar agen pengguna bisa, karena ada banyak jawaban yang menunjukkan kasus tepi yang mereka temui, tetapi yang terpanjang yang bisa ditemukan di http://www.useragentstring.com/pages/useragentstring.php? name = Semua adalah 250 byte.

Mozilla / 4.0 (kompatibel; MSIE 8.0; Windows NT 6.1; Trident / 4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729;. Media Center PC 6.0; Media Center PC 5.0; SLCC1; OfficeLiveConnector.1.5; OfficeLivePatch.1.3; .NET4.0C; Lunascape 6.3.

— Travis
sumber