Building a 100TB Folding@Home Server!

Ini adalah hari kedua isolasi dengan sakit tenggorokan, dan Anda akan dapat mengetahui berapa lama saya di rumah dengan berapa lama rambut wajah saya tumbuh. Tapi itu tidak berarti kami akan berhenti membuat video. Jadi kami melakukan panggilan Folding@Home minggu lalu, di mana kami meminta orang-orang menyumbangkan daya komputasi dari mesin desktop mereka untuk membantu menjalankan simulasi pelipatan protein guna membantu memerangi COVID-19, di antara penyakit lainnya. Tetapi seperti yang kami sebutkan dalam video itu, salah satu masalah utama yang dihadapi Proyek Lipat saat ini bukanlah tidak cukupnya sukarelawan yang bersedia menyumbangkan daya komputasi mereka, tetapi tidak ada cukup server untuk memasukkan semua data. Jadi kami mengatakan kami akan bekerja dengan orang-orang Folding untuk membangun sendiri server target Folding@Home dan meletakkannya di ruang server kami.

Itulah yang akan saya lakukan di sini di rumah hari ini dan saya memiliki salah satu server lama kami yang dinonaktifkan bersama dengan paket perawatan dari Jake yang akan saya buka, gunakan untuk memutakhirkannya dan kemudian Lysoling. hal ini dan mengirimkannya kembali kepadanya. Dan video dipersembahkan oleh GlassWire, langsung melihat aktivitas jaringan Anda saat ini dan sebelumnya, mendeteksi malware, dan memblokir aplikasi yang berperilaku buruk di PC atau perangkat Android Anda dengan GlassWire. Gunakan kode penawaran LINUS untuk mendapatkan diskon 25% untuk GlassWire pada tautan di deskripsi video. Jadi cukup jelas apa yang dilakukan semua kontributor sukarelawan seperti Anda untuk proyek Folding@Home, tetapi banyak dari Anda mungkin tidak tahu peran apa yang dimainkan server dalam semua ini.

Jadi begini, ketika Anda melipat mesin Anda berkata, hei saya butuh pekerjaan untuk dikerjakan. Apa yang dilakukan server adalah mengatakan baik-baik saja, saya punya tempat yang tersedia, lanjutkan dan sambungkan ke saya. Saya akan menghasilkan pekerjaan untuk Anda, mengirimkannya kepada Anda, lalu Anda melanjutkan, Anda menghitung angka-angka itu dan pekerjaan siap untuk diserahkan dan server berkata, oke saya siap untuk Anda. Anda mengirimnya kembali dan menyimpannya sampai peneliti yang mengerjakan proyek Folding@Home siap untuk mengambilnya dan melakukan sesuatu dengannya.

Jadi agar itu berfungsi, Anda sebenarnya membutuhkan beberapa hal.

Salah satunya adalah jumlah daya CPU yang layak. Rekomendasi Folding@Home dan CPU delapan inti yang sebenarnya kami miliki tetapi untuk beberapa alasan yang akan saya bahas nanti, kami akan meningkatkan yang ada di sini. Ini adalah penjepit kecil. Mereka juga merekomendasikan sekitar 64 gigabyte RAM. Itu akan memungkinkan kami menangani 1000 hingga 1200 klien yang terhubung ke mesin kami.

Hal lain yang kita perlukan adalah buttload penyimpanan untuk menampung pekerjaan yang telah selesai dan tentu saja koneksi internet yang cepat untuk terhubung ke semua klien tersebut. Jadi karena kami memiliki 10 gigabyte ethernet yang sudah terpasang di motherboard ini, kami tidak perlu melakukan peningkatan apa pun di sana tetapi kami perlu menukar 32 giga RAM yang kami miliki di sini, CPU delapan inti itu dan tentu saja kami' akan perlu menambahkan beberapa penyimpanan. Mari kita mulai dengan CPU kita.

Xeon E3 2618 LV3 yang kami dapatkan di sini baik-baik saja untuk tugas server file dasar terutama mengingat kami menjalankan kartu RAID di sini ketika kami awalnya menyebarkannya sehingga CPU bahkan tidak perlu menangani penyimpanan apa pun, paritas perhitungan atau semacamnya. Tapi itu hanya memiliki jam dasar 2,3 gigahertz yang berarti bahwa jika kita benar-benar memuat lebih dari 1000 klien , benda itu akan berjalan mendekati kecepatan dasar.

Belum lagi bahwa Folding@Home merekomendasikan koneksi internet gigabit dan kami sebenarnya akan menjalankan 10 gigabit dan kami berharap untuk menyediakan di mana saja antara sekitar empat gigabit dan lima gigabit koneksi internet kami untuk dijalankan ke mesin ini jadi kami ingin melihat hal ini meleleh jika kita bisa lolos begitu saja. Mari kita keluarkan chip ini dan sekarang sepertinya waktu yang tepat untuk membuka paket perawatan saya dari Jackoo. Apa yang kita dapatkan di sini? Ooh ini terlihat seperti barang yang cukup bagus. Berikut dua kabel daya untuk catu daya redundan yang sudah terpasang di mesin ini, kabel VGA sehingga kami dapat mengujinya, pastikan itu benar-benar menyala setelah kami meningkatkan.

Astaga, stik RAM ini ditendang sedikit. 32 gigs modul memori ECC terdaftar sehingga akan memberi kami total 128 gigs RAM dalam konfigurasi kami yang telah selesai. Saya akan menjelaskan mengapa kita membutuhkan begitu banyak tetapi nanti. Ada pasta termal, beberapa sekrup, dan sepertinya ada lebih dari sekadar SSD Optane di dalamnya. Ah, itu dia!

Baiklah, jadi kami meningkatkan ke E5 2697 V3, yang merupakan prosesor berkinerja tinggi, 14 inti, 28 utas atau setidaknya beberapa tahun yang lalu. Saat ini tidak benar-benar sesuatu yang istimewa tetapi harus lebih dari cukup untuk apa yang kita lakukan di sini hari ini. Silakan, gt yang diinstal. Sangat bagus, dia memasukkan sedikit pembersih tetapi dia juga mengirimi saya CPU yang bersih jadi saya tidak akan repot dengan itu. Saya suka tabung pasta termal Thick Boy ini, lihat itu, ini adalah tangan untuk skala.

Maksud saya itu tangan kecil tetapi Anda tahu bagaimana itu.

Oh wow, itu banyak, ah, ah, kabar baiknya adalah kita tidak akan kehabisan dalam waktu dekat. Ini adalah unit yang sangat awal dari motherboard Supermicro yang sebenarnya dikirim kepada kami. Saya pikir itu adalah salah satu yang pertama keluar dari jalur untuk hal ini karena itu adalah salah satu papan server MATX pertama mereka yang memiliki 10 gig ethernet built in. 10 gig dulu lebih seperti , nah kenapa tidak hanya menggunakan kartu tambahan untuk itu?

Dan itu menjadi, selama beberapa tahun terakhir , pilihan untuk baru saja dipasang ke motherboard. Dan upgrade CPU kami selesai. Sekarang mari kita bicara tentang penyimpanan. Folding@Home merekomendasikan sekitar 50 terabyte penyimpanan untuk salah satu server ini, tetapi karena koneksi jaringan dan CPU kami, belum lagi memori kami semuanya ditingkatkan, kami mungkin membutuhkan lebih dari itu. Jadi, kami mengonfigurasi milik kami dengan delapan dari hard disk Ironwolf Pro NAS 12 terabyte ini dari Seagate.

Itu akan memberi kita sekitar 96 terabyte ruang mentah atau 72 setelah kita menyerahkan dua drive kita untuk paritas dan kemudian setelah kita memformat sekitar 60 terabyte penyimpanan yang dapat digunakan.

Untungnya kasus ini sangat mudah untuk menginstal drive. Ini sebenarnya satu-satunya hal yang saya sangat, sangat suka tentangnya. Anda cukup membukanya, memasukkannya, bukan alat,, tidak ada kereta luncur, tidak ada apa-apa, hanya booming, begitu saja. Itu menangani kapasitas kami tetapi ini adalah drive mekanis dan bahkan di ZFS RAID, mereka tidak akan terlalu cepat jadi percaya atau tidak, di situlah peningkatan memori berlebihan kami masuk.

Jadi kami akan menggunakan 64 gigs dari RAM kami untuk memenuhi spesifikasi yang direkomendasikan dari Folding@Home tapi kami akan menggunakan 64 gigs lainnya untuk benar-benar bertindak sebagai arc atau cache untuk drive mekanis kami. Ini akan berjalan dalam konfigurasi saluran quad sehingga kita harus memiliki banyak bandwidth dan saya tidak tahu, apa pun, saya belum berteriak Kingston untuk mengirimkan ini kepada kami dalam waktu yang lama.

Mereka sebenarnya mengirimnya untuk proyek Six Workstations, One CPU, tetapi kami telah menggunakannya untuk banyak hal dan pada dasarnya mereka telah bekerja dalam segala hal yang telah kami tempatkan dengan sangat baik untuk itu. Kalian mungkin memperhatikan bahwa di dalam kotak Optane itu ada juga SSD Intel Optane 905p 96 gig yang sebenarnya. Ini akan bertindak sebagai busur level dua sehingga antara RAM dan SSD kami, kami berharap untuk mempercepat susunan penyimpanan mekanis kami dengan cukup signifikan, mengurangi kemacetan kinerja apa pun yang dapat kami hadapi di sana.

Uh, di mana obeng saya? Jadi kami hanya akan mengambil salah satu slot PCI Express Gen3 8X yang terbuka ini, saya akan meletakkannya di slot berikutnya tetapi saya menyadari bahwa menempatkannya tepat di tepi sasis dan tidak ada kipas pendingin di sana jadi mungkin lebih baik duduk di sebelah HBA dan memiliki kipas pendingin di dekatnya dibandingkan dengan berada lebih jauh dari sumber panas lain tetapi tidak memiliki pendinginan langsung. Satu hal yang tidak kami ubah adalah HBA ini. Perbedaan antara HBA dan kartu RAID adalah bahwa HBA tidak memiliki CPU yang terpasang di dalamnya untuk menangani perhitungan RAID.

Ini hanya kartu yang menambahkan lebih banyak port ke motherboard Anda, dalam hal ini delapan port SAS 12 gigabyte per detik meskipun kami hanya menjalankannya dengan kecepatan katakanlah enam gigabyte per detik melalui bidang belakang ini di sini.

Itu saja untuk peningkatan perangkat keras dan semuanya bermuara pada konfigurasi perangkat lunak untuk memutuskan cara terbaik untuk menggunakannya. Jadi salah satu hal yang dapat kami lakukan adalah daripada menggunakan 64 gigs memori kami untuk mempercepat hard drive kami, kami mungkin membatasi hanya 32 gigs untuk itu memberi diri kami kemampuan untuk menangani lebih dari 1500 klien. Itu adalah sesuatu yang mungkin berguna untuk inti CPU tambahan, atau kita mungkin menyadari bahwa kita lebih baik menggunakan tenaga ekstra CPU untuk mengaktifkan kompresi data waktu nyata ke hard drive kita seperti mungkin kita mengalami batasan jaringan atau batasan sistem lainnya. dan menyadari kami tidak memiliki cukup penyimpanan guys. Itu sesuatu yang dapat Anda lakukan dengan CFS.

Untuk saat ini, semua yang tersisa menutup anak anjing ini, ini dia, kencangkan bersama-sama, dan berikan Lysol yang baik untuk dibersihkan. Saya suka Jake, dia pria yang baik, dia bisa mendapatkan tisu beraroma lemon.

Ini akan menjadi seperti server berbau terbaik yang pernah ada. Mudah-mudahan Matias ada di sini untuk mengambilnya dan kami akan mengirimkannya kembali ke kantor. - Eh, eh, eh, eh.

Hei biarkan aku membuka ini. Oke, jadi saya tidak benar -benar memiliki rel untuk server ini jadi kami hanya akan meletakkannya di atas Storinator ini. Ini semacam ghetto tapi terserah. Saya juga tidak punya obeng jadi saya tidak akan melihat apa yang dilakukan Linus tapi saya sudah tahu itu. Man untuk server kecil, dia benar-benar berat, ini dia.

Woo, oke. Hei, dia mengembalikan kabelnya, bagus. Dia mencuri pasta termal, apa, apa-apaan ini? Oke, kita punya kekuatan. Colokkan satu untuk IPMI sehingga kami dapat mengontrol hal ini dari jarak jauh.

Ah, oh benar, aku butuh pajangan. Apakah kita bahkan memiliki ruang tersisa di sisi ini? Manis, oke saya harus mencoba dan menemukan ini di sini, jadi ini P. Dari mana kabel ini berasal? Mungkin harus label ini, kan?

Ah, saya akan meninggalkan itu untuk orang berikutnya. Eh, berhasil! Pastikan semuanya ada di sini. 110/28 gigs RAM , semuanya berfungsi! Ya!

Seperti yang disebutkan Linus sebelumnya, kami akan menggunakan sesuatu yang disebut ZFS untuk susunan hard drive kami sehingga tidak hanya melakukan pekerjaan sistem file dengan mengontrol bagaimana data Anda disimpan dan diambil tetapi juga menangani bagaimana semua disk fisik atau virtual dipartisi dan berfungsi untuk memastikan integritas data pada drive tersebut Sekarang setelah kita menginstal ZFS dan memverifikasi bahwa itu benar-benar berfungsi, kita akan membuat zpool. Sekarang kita akan menggunakan sesuatu yang disebut RAID-Z2 yang sebenarnya didasarkan pada RAID 5 tetapi itu akan memungkinkan kita kehilangan dua drive total sebelum kita kehilangan data apa pun.

Saya sudah mengonfigurasi perintah sebelumnya, menuliskan semua nama disk, jadi kita tidak perlu menunggu untuk itu, dan saya juga telah mendefinisikan cache kita di sini yang artinya 905p akan segera berfungsi kelelawar. Jadi salin saja perintah ini di sana, tempel, masukkan dan (mendengus) Oke, mari kita periksa daftar zpool kami sekarang, seharusnya ada di sana. Kami melihat 87 terabyte, yang sedikit lebih rendah dari 96 tetapi Anda sekarang, mempartisi drive dan apa yang Anda miliki, dan kemudian jika kami menjalankan DFH, kami dapat melihat bahwa kami benar-benar berakhir dengan 60 terabyte ruang yang dapat digunakan.

Itu sedikit turun dari 96 tetapi seharusnya cukup untuk apa yang kami coba lakukan. Masih ada beberapa hal lagi yang perlu kita periksa dari daftar sebelum kita dapat menginstal perangkat lunak Folding kita, yaitu saya ingin mengatur cache busur kita ke maksimal 64 gigs dan kemudian saya akan mengaktifkan kompresi karena saya pikir itu akan baik-baik saja dengan 14 core yang kami miliki, saya pikir secara realistis jaringan kami akan menjadi hambatan kami, tetapi kami akan mengaktifkannya untuk saat ini dan jika nanti kami harus mematikannya, bukan masalah besar. Sekarang sebagai langkah terakhir, saya hanya akan melihat zpool kita jadi kita akan melakukan status zpool, Folding, dan kita bisa melihat kedelapan drive kita, satu, dua, tiga, empat, lima, enam , tujuh, delapan, dan drive cache kami semuanya ada di sana dan siap digunakan dan kami tidak memiliki kesalahan yang sempurna.

Agar Folder benar -benar dapat mengakses server Lipat kami, saya telah membuat beberapa aturan firewall. Itu cukup mudah tapi kami juga akan membuat sesuatu yang disebut pembatas lalu lintas karena kami tidak ingin server Lipat ini menghabiskan semua 10 giga bandwidth jadi kami akan membatasinya hingga 5 gigabit tapi saya' Saya akan menunjukkan kepada kalian bagaimana ini bekerja di laptop.

Sebagai dasar, saya akan menjalankan tes kecepatan pada sistem sebelum kami mengaktifkan pembatas lalu lintas sehingga Anda dapat benar-benar melihat perbedaannya. Oke, kami memiliki hasil kami dan kami melihat 230 ke bawah dan 200 ke atas, jadi saya pikir saya akan membatasinya hingga lima megabit yang akan menjadi perubahan yang sangat mencolok dan Anda harus dapat melihatnya segera. Kita akan masuk ke dua aturan kita di sini.

Ini sudah diatur ke megabit jadi kita akan melakukan lima dan kemudian kita akan masuk ke dalam, atur itu ke lima lalu terapkan dan kemudian kita hanya perlu menemukan ip kita yang sudah saya lakukan 10.20.

3.35 untuk laptop ini. Jadi saya akan menambahkan aturannya. Jadi, inilah hasil kami dan ya! Lima megabit tepat di titik.

Jadi sekarang kita akan mengubahnya menjadi lima gigabit dan kemudian mengaturnya di server kita yang sebenarnya. Sekarang setelah zpool kami dikonfigurasi dan berfungsi, kami memiliki pembatas bandwidth dan aturan firewall kami, ini hanya masalah memanggil orang-orang Folding dan meminta mereka untuk menginstal perangkat lunak sehingga kami dapat menjalankan server kerja ini . - Yah, sudah seminggu dan seperti yang Anda lihat, rambut wajah isolasi saya cukup panjang dan ini bagus, saya punya Jackoo di telepon dan kami akan memeriksa seberapa baik server Folding kami berjalan. Jadi Jake, beri aku kabar baik. - Nah kabar baiknya adalah ada cukup unit kerja untuk kebanyakan orang sekarang yang sangat bagus.

- Apakah kami membantu dengan itu atau itu hanya kebetulan? - Ya, tetapi bukan hanya kami yang membantu, jadi mereka juga mendapatkan Microsoft Azure, saya pikir mereka menyumbangkan beberapa server, Oracle, Anda tahu orang-orang yang membuat Java dan banyak hal lainnya, mereka juga melakukan hal-hal dan kemudian ada kami tetapi jika kita melihat statistik di sini, kita pasti dapat melihat bahwa server kami memiliki pekerjaan yang tersedia yang berarti unit kerja tersedia. - 19.000 pekerjaan bagus! - Maksud saya selama lima hari pertama, pada dasarnya tidak ada karena mereka tidak dapat membuat proyek yang cukup.

Bukan lagi server tetapi orang-orang yang menjadi penghambat. - Jadi bagaimana kita lakukan sekarang, berapa banyak penggunaan yang kita punya? - Saya agak berharap lebih jujur jika kita melihat sejarah masa lalu Anda apat melihat seperti - Ooh - Mereka melonjak sedikit jadi seperti ada setengah gigabit dan kemudian itu - Bagus! - 600 dan kemudian jika kita gulir keluar sebenarnya jadi itu seperti 1,6 gigabit.

- Wow!

- Jadi dari pemahaman saya, lonjakan sebenarnya ini, sering kali , sebenarnya ketika server kerja yang berbeda berkomunikasi satu sama lain. Bandwidth jaringan aktual dari masing-masing klien yang terhubung tidak terlalu banyak tetapi ketika mereka mencoba untuk berbicara bersama , itu benar-benar mulai terasa sakit. - Dan berapa banyak penyimpanan yang telah kita gunakan sejauh ini? - Terakhir saya periksa pagi ini sudah dua setengah atau tiga terabyte penyimpanan yang digunakan. - Itu luar biasa.

- Dan kita bisa melihat statistik ZFS kita di sini yang sebenarnya sedikit lebih menggambarkan gambaran. Jadi cache RAM kami yang saya setel ke 64 gigs benar-benar penuh.

Anda dapat melihatnya meningkat, perlahan mengisi sehingga hal-hal dihapus dari cache RAM ketika mereka biasanya dibuang kembali ke disk, mereka benar-benar pergi ke cache level dua, jadi ini sudah mencapai 64 atau 40 gigs dan itu hanya seperti satu jam atau sesuatu sejak saya mengatur ulang sehingga perlu beberapa hari untuk mengisi jelas karena itu hanya mengisi dengan hal-hal yang sedang dihapus dari cache utama. - Fantastis! Dan saya benar-benar memiliki pembaruan untuk Anda sehingga kami telah membuat desain kemeja Folding@Home eksklusif dan semua keuntungan dari kemeja tersebut akan disumbangkan untuk tujuan di Kanada seputar penelitian, bantuan, dan pengobatan COVID-19.

Jadi kalian harus memeriksanya di lttstore.com dan yang sangat keren adalah Intel akan mencocokkan setiap dolar yang terkumpul, dolar demi dolar, hingga maksimum 40 ribu dolar. - Dan 40 ribu itu sebenarnya akan langsung masuk ke proyek Folding sehingga mereka bisa mendapatkan server dan lainnya, kan? - Ya, itu benar, tampaknya Anda sudah tahu tentang ini. - Saya sudah tahu, ya (tertawa).

Ini sebenarnya adalah salah satu desain pendek favorit saya. - Dan kode QR di bagian belakang membawa Anda ke statistik tim kami di extremeoverclocking.com - (tertawa) - Jadi bergabunglah dengan penyebabnya, kami akan membiarkan server ini berjalan di masa mendatang.

Saya akan membiarkan Anda pergi sekarang Jake dan hanya berbagi kata dari sponsor kami dengan pemirsa yang baik di luar sana. Drop.

com, Headset Gaming Koss GMR-54X-ISO adalah produk unggulan kali ini. Ini adalah audiophile yang disetujui dan didasarkan pada headset Koss populer yang dirancang khusus untuk suara 3D yang imersif yang memberi Anda antrean posisi untuk mengetahui dari mana musuh Anda berasal. Ada beberapa perubahan yang dibuat dari aslinya sehingga mengurangi ketegangan pada ikat kepala yang ringan untuk meningkatkan kenyamanan. Mereka termasuk pembagi kabel, mikrofon inline dengan mikrofon boom jarak jauh dan dapat dilepas dan mikrofon boom bekerja dengan PS4, Xbox, Nintendo Switch, dan lainnya tanpa kerumitan. Dapatkan hari ini dan pengguna baru yang mendaftar di drop.

com akan mendapatkan diskon $20 untuk headset ini. Kami akan menghubungkannya di deskripsi video. Jadi terima kasih telah menonton teman-teman. Jika Anda menikmati video ini, mungkin lihat bagian sebelumnya dari video ini di mana kami membuat mesin lipat klien monster sebagai lawan dari server, itu juga beberapa hal yang sangat bagus..

Read More: Best Laptop for 8k Video Editing! • 2021 Tech Reviews

Lokasi:

Berbagi :