Sesuatu terbakar di ruang server; bagaimana saya bisa dengan cepat mengidentifikasi apa itu?

Suatu hari, kami melihat bau terbakar yang mengerikan keluar dari ruang server. Singkatnya, akhirnya menjadi salah satu modul baterai yang terbakar di unit UPS, tetapi butuh beberapa jam sebelum kita bisa mengetahuinya. Alasan utama kami dapat mengetahuinya adalah karena tampilan UPS akhirnya menunjukkan bahwa modul perlu diganti.

Inilah masalahnya: seluruh ruangan dipenuhi dengan bau. Melakukan tes mengendus sangat sulit karena baunya telah menyusup ke segala sesuatu (belum lagi itu membuat kami pusing). Kami hampir keliru menurunkan server basis data produksi kami karena di situlah aromanya paling kuat. Tanda vital tampaknya ok (suhu CPU menunjukkan 60 derajat C, dan kecepatan kipas oke), tapi kami tidak yakin. Kebetulan modul baterai yang terbakar kira-kira sama tingginya dengan server di rak dan hanya 3 kaki jauhnya. Jika ini benar-benar darurat, kita akan gagal total.

Secara realistis, kemungkinan perangkat keras server aktual terbakar adalah kejadian yang cukup langka dan sebagian besar waktu kita akan melihat pada UPS pelakunya. Tetapi dengan beberapa rak dengan beberapa peralatan, itu bisa dengan cepat menjadi permainan menebak. Bagaimana seseorang menentukan dengan cepat dan akurat peralatan apa yang terbakar? Saya menyadari pertanyaan ini sangat tergantung pada variabel lingkungan seperti ukuran ruangan, ventilasi, lokasi, dll, tetapi input apa pun akan dihargai.

Tampaknya konsensus umum adalah bahwa jawaban untuk pertanyaan Anda datang dalam dua bagian:

Bagaimana kita menemukan sumber bau terbakar yang lucu?

Anda telah mendapatkan "How" dengan cukup baik:

• "Tes Mengendus"
• Cari asap / kabut yang terlihat
• Jelajahi ruangan dengan kamera termal (IR) untuk menemukan hot spot
• Periksa panel pemantauan dan perangkat untuk peringatan

Anda dapat meningkatkan peluang Anda menemukan masalah dengan cepat dalam beberapa cara - pemantauan yang lebih baik seringkali paling mudah. Beberapa pertanyaan untuk diajukan:

• Apakah Anda mendapatkan peringatan suhu dan kesehatan lainnya dari peralatan Anda?
• Apakah sistem UPS Anda melaporkan kesalahan pada sistem pemantauan Anda?
• Apakah Anda mendapatkan alarm penarikan arus dari peralatan distribusi daya Anda?
• Apakah detektor asap ruangan melapor ke sistem pemantauan? (dan bisakah mereka? )

Kapan sebaiknya kita memecahkan masalah versus menekan Sakelar Merah Besar?

Ini pertanyaan yang lebih menarik.
Menekan tombol merah besar dapat membuat perusahaan Anda sangat tergesa-gesa dalam waktu singkat: Pembebasan agen bersih dapat mencapai puluhan ribu dolar, dan biaya pemadaman / pemulihan setelah pematian darurat (EPO, "menjatuhkan kamar" ) dapat menghancurkan.
Anda tidak ingin menjatuhkan pusat data karena kapasitor dalam catu daya muncul dan membuat ruangan berbau.

Sebaliknya, kebakaran di ruang server dapat membebani data / peralatan perusahaan Anda, dan yang lebih penting adalah nyawa staf Anda.
Pemecahan masalah "bau pembakaran yang lucu" tidak boleh diutamakan daripada keamanan , jadi penting untuk memiliki beberapa aturan yang jelas tentang mengatasi masalah kondisi "pra-kebakaran".

Pedoman yang mengikuti adalah keterbatasan pribadi saya yang saya terapkan dengan tidak adanya (atau sebagai tambahan) prosedur / aturan lain yang jelas - mereka telah melayani saya dengan baik dan mereka dapat membantu Anda, tetapi mereka dapat dengan mudah membuat saya terbunuh atau dipecat besok, jadi terapkan itu dengan risiko Anda sendiri.

1. Jika Anda melihat asap atau api, jatuhkan ruangan.
   Ini harus pergi tanpa berkata tetapi katakan saja: Jika ada kebakaran aktif (atau asap menunjukkan bahwa akan segera ada), Anda mengevakuasi ruangan, memotong daya, dan melepaskan api. sistem penindasan.
   Pengecualian mungkin ada (gunakan akal sehat), tetapi ini hampir selalu merupakan tindakan yang benar.

2. Jika Anda melanjutkan untuk memecahkan masalah, selalu melibatkan setidaknya satu orang lain.
   Ini karena dua alasan. Pertama, Anda tidak ingin berkeliaran di pusat data dan tiba-tiba ada rak naik di baris Anda berjalan dan tidak ada yang tahu Anda ada di sana. Kedua, orang lain adalah pemeriksaan kewarasan Anda tentang pemecahan masalah versus menjatuhkan ruangan, dan jika Anda membuat panggilan untuk menekan Big Red Switch Anda memiliki manfaat memiliki orang kedua yang setuju dengan keputusan (membantu untuk menghindari aspek yang membatasi karir keputusan seperti itu jika seseorang mempertanyakannya nanti).

3. Melaksanakan langkah-langkah keamanan yang bijaksana saat pemecahan masalah
   Pastikan Anda selalu memiliki jalur keluar (ujung terbuka dari baris dan jalur yang jelas untuk keluar).
   Biarkan seseorang tetap berada di rilis EPO / pencegah kebakaran.
   Bawa pemadam api bersama Anda (Halon atau agen kebersihan lainnya, silakan).
   Ingat aturan # 1 di atas.
   Jika ragu, tinggalkan ruangan . Jaga pernapasan Anda: gunakan respirator atau masker oksigen. Ini mungkin menyelamatkan kesehatan Anda jika terjadi kebakaran kimia.

4. Tetapkan batas dan patuhi
   lebih tepatnya, tetapkan dua batas:

   • Kondisi ("Seberapa parah saya akan membiarkan ini?"), Dan
   • Waktu ("Berapa lama saya akan terus berusaha menemukan masalah sebelum terlalu berisiko?").

   Batas yang Anda tetapkan juga dapat digunakan untuk membiarkan tim Anda memulai pematian tertib area yang terkena, jadi ketika Anda DO menarik daya, Anda tidak menabrak banyak mesin yang aktif, dan waktu pemulihan Anda akan jauh lebih pendek, tetapi ingat bahwa jika pematian tertib terlalu lama, Anda mungkin harus membiarkan beberapa sistem mengalami gangguan atas nama keselamatan.

5. Percayai nyali
   Anda. Jika Anda khawatir tentang keselamatan kapan saja, matikan pemecahan masalah dan hapus ruang.
   Anda mungkin atau mungkin tidak menjatuhkan ruangan berdasarkan firasat, tetapi pengelompokan ulang di luar ruangan dalam (relatif) keselamatan adalah bijaksana.

Jika tidak ada bahaya yang akan terjadi, Anda dapat memilih membawa pemadam kebakaran setempat sebelum mengambil tindakan drastis seperti pelepasan EPO atau agen kebersihan. (Mereka mungkin menyuruh Anda melakukannya: Mandat mereka adalah untuk melindungi orang, lalu properti, tetapi mereka jelas ahli dalam menangani kebakaran sehingga Anda harus melakukan apa yang mereka katakan!)

Kami telah membahas hal ini dalam komentar, tetapi mungkin juga dirangkum dalam jawaban juga - @DeerHunter, @Chris, @Sirex, dan banyak lainnya berkontribusi pada diskusi

Kamera Thermal Imaging dapat melakukan pekerjaannya, dan memungkinkan Anda mengidentifikasi di mana overheating berada. Perangkat seperti ini memungkinkan Anda mengidentifikasi asal api atau membakar ruangan yang dipenuhi asap.

Anda tidak melakukan hal-hal ini yang telah dikatakan. Anda meninggalkan lingkungan yang berbahaya karena apa pun yang dipompa melalui seluruh ruangan berbahaya bagi kesehatan Anda dan mungkin benar-benar mengacaukan paru-paru Anda. Jika ada bau tajam dari sesuatu yang terbakar di ruangan yang tidak dapat Anda temukan, hubungi (911 | 112 | 999 | apa pun nomor darurat yang sesuai dengan yurisdiksi Anda) dan biarkan api (perusahaan | departemen | brigade) mengatasinya sementara mereka Sedang mengudara.

Komponen komputer mengandung semua jenis bahan kimia yang menarik termasuk merkuri , kadmium , timah , dan banyak plastik dalam selubung. Perhatikan bahwa semua tautan yang saya buat menjelaskan bagaimana eksposur tingkat rendah dapat menyebabkan kerusakan abadi atau bahkan kematian cepat. Ini adalah lingkungan yang dapat langsung berbahaya bagi kehidupan dan kesehatan .

... jadi sungguh, jika ada sesuatu yang terbakar, jangan menghabiskan berjam-jam menghirup asapnya. Jika Anda tidak dapat mengidentifikasi dan segera bertindak untuk menampungnya, keluarlah.

Jika Anda memiliki pemantauan yang tepat pada UPS (biasanya melalui SNMP), unit itu sendiri harus membunyikan bel pada sistem pemantauan Anda. Jika tidak, bicarakan dengan vendor Anda tentang itu. Entah tidak berfungsi atau sistem pemantauan Anda tidak dikonfigurasi dengan benar.

Jika sesuatu yang aktif benar-benar terbakar, ia harus mengeluhkannya dengan cara tertentu, atau hanya mematikan jaringan, yang juga harus menyebabkan alarm.

Jika itu seperti rel listrik yang sebenarnya terbakar melalui isolasi, dan itu bukan pada PDU cerdas, maka kita kembali ke pertanyaan awal Anda, yaitu "bagaimana cara menemukan benda yang terbakar?" Dan saya pikir jawaban yang tepat adalah "Pukul EPO dan cari tahu. Server produksi Anda mungkin tidak cukup penting untuk mempertaruhkan nyawa."

Ini adalah salah satu situasi di mana

tidak berlaku, Anda harus memanggil seorang profesional

Ada lagi yang benar-benar bodoh.

Sebagai seseorang yang mantan karirnya sebagai teknologi elektronik, saya memiliki pengalaman dengan "bau yang membakar" yang bukan kebakaran. Ini tidak biasa.

Saya tidak akan mematikan pusat data karena bau. Asap adalah masalah lain, ada sesuatu yang benar-benar terbakar (biasanya, tetapi kapasitor tantalum seukuran kacang dapat memenuhi ruangan dengan asap juga). Sungguh menakjubkan betapa banyak aroma komponen goreng dalam catu daya dapat membuat.

Termometer TIC atau IR (alat yang berguna dan jauh lebih murah daripada TIC) tidak perlu menunjukkannya karena komponennya tidak menghasilkan banyak panas sama sekali dan ada di dalam kasing. Tetapi periksa perangkat yang tidak berfungsi, gunakan alat pemantauan Anda. Untuk bau seperti itu maka 95% dari waktu itu akan menjadi catu daya yang mempengaruhi kinerja seluruh perangkat.

Saya suka pencitraan IR atau jawaban termometer tapi mungkin yang juga akan membantu adalah "detektor bau" yang nyata. Setelah semua yang memicu kehati-hatian Anda adalah bau. Asap, panas, IR dll. Semuanya adalah pengganti.

Sesuatu seperti ini: . Saya pribadi tidak pernah menggunakannya atau bahkan melihatnya digunakan di pusat data. Tapi setidaknya secara teoritis itu harus menjadi alat yang rapi. Jika Anda punya uang untuk dibelanjakan pada alat ini.

http://www.sca-shinyei.com/odormeter atau http://www.intopsys.com/products/cyranose.html?gclid=CNXXzOrLs7YCFUws6wodViYApQ

Ini memberi Anda kekuatan bau serta klasifikasi. Jadi masuk ke bau itu harus dimungkinkan. Iblis ada di detail tentu saja. Seberapa sensitif itu, menutupi bau latar belakang palsu dll.

Satu keuntungan dibandingkan pengukuran berdasarkan suhu murni adalah bahwa sering kali bau muncul pada titik atau ambang yang jauh lebih awal. Atau jika komponen yang terlalu panas disembunyikan oleh benda / kabel tersembunyi dll. Lebih mudah untuk mendeteksi molekul yang keluar dari hot spot line-of-sight.

Situasi lain adalah bau yang tidak berhubungan dengan panas. Kami pernah mengalami kebocoran sirkuit pendingin sebelumnya dan bau cairan pendingin juga aneh. Aku bahkan tidak akan pergi ke kasus kuno tentang hewan pengerat mati di saluran. :)

Saya terkejut betapa sensitifnya sensor-sensor ini. H2S / mercaptan, dll. (Penyebab biasanya) dapat dideteksi pada tingkat sub ppm.