Dalam suatu jaringan komputer, dibutuhkan sistem keamanan untuk mencegah adanya akses dari pihak yang tidak diinginkan. Firewall dirancang untuk meningkatkan keamanan jaringan dengan mengontrol dan mengawasi tiap arus paket data yang mengalir pada suatu jaringan. Saat ini telah banyak berkembang firewall yang berbasis sumber terbuka (open source) seperti pfSense, ClearOS dan IPFire. Untuk setiap sistem firewall yang berbeda tentunya memiliki kinerja yang berbeda. Kinerja ini dapat dievaluasi dengan melakukan serangan keamanan jaringan seperti scanning, denial of service, dan password attacks terhadap firewall yang bersangkutan. Hasil serangan ini akan dikumpulkan untuk dianalisis membentuk suatu perbandingan kinerja antar firewall. Hasil penelitian menunjukkan bahwa pfSense memiliki kemampuan deteksi terbaik di antara ketiga firewall dengan persentase deteksi 100% untuk port scanning attacks, 25% untuk denial of service attacks dan 50% untuk password attacks. Pada urutan kedua yaitu IPFire dengan kemampuan deteksi 100% untuk port scanning attacks, 0% untuk denial of service attacks, dan 50% untuk password attacks. Dan pada urutan ketiga yaitu ClearOS dengan kemampuan deteksi 75% untuk port scanning attacks, 25% untuk denial of service attacks, dan 0% untuk password attacks. Untuk tingkat presisi, ClearOS memiliki presisi deteksi terbaik dengan persentase presisi 100% untuk port scanning attacks dan 100% untuk denial of service attacks. Pada urutan kedua yaitu IPFire dengan persentase presisi 95,334 % untuk port scanning attacks dan 83,617% untuk password attacks. Dan pada urutan ketiga yaitu pfSense dengan persentase presisi 67,307% untuk port scanning attacks, 100% untuk denial of service attacks, dan 46,488% untuk password attacks. Kendati demikian, firewall pfSense direkomendasikan di antara ketiga firewall yang diteliti dikarenakan kemampuan deteksinya yang terbaik, memiliki kelemahan yang paling sedikit, dan memiliki banyak opsi untuk modifikasi konfigurasi yang tersedia dibandingkan firewall ClearOS dan IPFire.

---

In a computer network, a security system is needed to prevent access from unwanted parties. Firewalls are designed to improve network security by controlling and supervising each packet of data flowing in a network. Currently there are many open source-based firewalls such as pfSense, ClearOS and IPFire. For every different firewall system, it certainly has a different performance. This performance can be evaluated by performing network security attacks such as scanning, denial of service, and password attacks against the firewall. The results of this attack will be collected to be analyzed to form a performance comparison between firewalls.

The results showed that pfSense had the best detection capability among the three firewalls with 100% detection capability for port scanning attacks, 25% for denial of service attacks and 50% for password attacks. In the second place, IPFire with 100% detection capability for port scanning attacks, 0% for denial of service attacks and 50% for password attacks. And in the third place is ClearOS with 75% detection capability for port scanning attacks, 25% for denial of service attacks, and 0% for password attacks. For precision, ClearOS had the best detection precision percentage with 100% precision for port scanning attacks and 100% for denial of service attacks. In the second place, IPfire with a precision percentage of 95.334% for port scanning attacks and 83.617% for password attacks. And in the third place is pfSense with a precision percentage of 67.307% for port scanning attacks, 100% for denial of service attacks, and 46.488% for password attacks. However, the pfSense firewall is recommended among the three firewalls because of it had best detection capabilities, had the fewest weaknesses, and had more options for configuration modification available compared to ClearOS and IPFire firewalls.