Bahkan, bekerja pada hal-hal backend memakan lebih banyak waktu mereka hari ini, seperti kecerdasan lebih dan lebih dalam Avast bergerak ke awan dan / atau sedang disampaikan dalam waktu hampir nyata melalui avast! teknologi streaming pembaruan.
Pengklasifikasi backend Avast menggunakan sejumlah teknik, tetapi dua yang panas bahwa tim telah bekerja keras pada hal-hal baru yang kita sebut Malware Cari Kesamaan dan Evo-Gen.
Malware Cari Kesamaan merupakan fitur penting yang memungkinkan kita untuk cukup banyak langsung mengkategorikan sejumlah besar sampel yang masuk. Artinya, untuk setiap file, ia mampu mengatakan apakah file tersebut terlihat mirip dengan file malware sudah terlihat (atau cluster seluruh file malware) serta apakah itu mirip dengan file bersih dikenal (atau cluster ini) . Hal ini mungkin terdengar seperti masalah mudah untuk menyelesaikan, tetapi dalam praktek ini sebenarnya cukup sulit. Tentu saja, saus rahasia di sini adalah bagaimana Anda benar-benar mendefinisikan metrik (untuk dapat berbicara tentang kesamaan) dan apa yang Anda mempertimbangkan ketika mewakili file. Di Avast kami memperhitungkan baik sifat statis dari file serta hasil dari analisis dinamik (yaitu pada dasarnya log dikumpulkan selama eksekusi file).
Sekarang, teknologi seperti ini jelas sangat berharga karena memungkinkan kita untuk membuat keputusan cepat tentang file yang kita belum pernah lihat sebelumnya. Sebagai contoh, jika file sangat mirip dengan sekelompok sampel malware yang dikenal, dan pada saat yang sama itu tidak mirip dengan file bersih, kita kategorikan segera sebagai malware. Percaya atau tidak, kita melihat ribuan file seperti ini setiap hari.
Teknologi kedua saya sebutkan, Evo-Gen, agak mirip tapi agak halus di alam. Ini adalah tentang menemukan sebagai deskripsi singkat dan generik set besar sampel malware mungkin. Katakanlah Anda mengambil satu set 1.000.000 sampel malware (dan 1.000.000 file bersih) dan memberikan algoritma tugas berikut: menemukan sesedikit, dan sebagai deskripsi singkat sebagai sampel banyak di set malware, tanpa menggambarkan file apa saja di set bersih. Evo-Gen adalah algoritma genetika yang kami kembangkan hanya untuk itu. Hal ini sering terjadi untuk menemukan beberapa permata nyata bagi kita - misalnya deskripsi dari serangkaian tampaknya acak puluhan ribu file malware yang tersebar agak secara acak di seluruh virus kita set. Dan ukuran deskripsi? 8 byte.
Sekarang, jika Anda berpikir tentang hal ini untuk sementara waktu, Anda akan menemukan bahwa kedua algoritma memiliki sesuatu yang sama. Maksudku, bagi mereka berdua itu perlu untuk memiliki super cepat akses ke set luas kita file bersih dan malware. Lupakan akses sekuensial (atau jenis pengolahan file satu per satu). Bahkan membaca sampel dari disk mengambil jam.Untuk tujuan ini, tim telah mengembangkan sepotong besar dari teknologi yang kita sebut MDE. Ini pada dasarnya merupakan database di memori yang bekerja di atas data yang diindeks dan memungkinkan akses sangat paralel.
Secara tradisional, kami telah menjalankan hal-hal ini pada hardware server klasik. Untuk sebagian besar, kami menggunakan server Dell standar berdasarkan Intel Xeon CPU. Namun, kinerja tidak pernah besar dan kami selalu berpikir kita harus melakukan yang lebih baik.
Salah satu CPU berbasis Intel rak digunakan
oleh laboratorium virus Avast.
Terobosan nyata datang ketika kita mulai bereksperimen dengan GPU tersebut. Sebagai permulaan, GPU modern (baik dari NVidia dan AMD) tidak terbatas pada grafis high-end atau gaming. Hal yang baik tentang mereka adalah bahwa mereka dapat besar-besaran parallelized - sementara high-end saat ini Intel CPU mengandung 6, 8 atau mungkin 10 core, game high-end GPU berisi ribuan core. Benar, masing-masing dari mereka tidak terlalu kuat, tetapi jika Anda dapat membebaskan potensi mereka dengan beberapa algoritma paralel yang baik, daya yang dihasilkan gila.
Jadi, dengan MDE, kita sekarang dalam proses transisi ke sebuah peternakan GPU berbasis "superkomputer". Lingkungan kita sekarang mengevaluasi terlihat seperti ini:
Anda dapat melihat bahwa itu bukan server rackmount - tetapi workstation sebagai gantinya. Sebuah neraka workstation, saya harus mengatakan meskipun. Dengan i7 Intel E3820 4C 3.6GHz CPU dan 32 GB DDR3 RAM, itu bukan awal yang buruk, tapi apa yang benar-benar keren tentang kotak adalah 4 NVidia GPU berbasis kartu grafis, masing-masing dengan 3 GB RAM dan dihubungkan satu sama lain oleh selang untuk air pendingin eksternal. Binatang Seluruh didukung oleh power supply 1.500 W tetapi dalam kasus itu tidak cukup, kami siap untuk menambah satu lagi.
Sementara kita belum menempatkan sistem produksi belum, kita mungkin akan melakukannya segera. Dan aku benar-benar melihat ke depan untuk itu - karena melakukan hal itu akan memungkinkan kita untuk melayani Anda, pengguna kami, bahkan lebih baik. Anda tidak pernah tahu - jika hal ini terbukti berguna seperti yang kita pikir itu akan, kita mungkin berakhir membangun sesuatu seperti satu hari Titan ...
(Sekarang, pekerjaan saya sementara itu akan untuk menjaga gamer dari ruang server
). 