Penelitian ini bertujuan untuk menguji kualitas dan karakteristik soal Ujian Nasional matematika Paket B tahun 2005 juga ingin mengetahui kemampuan matematika peserta didik paket B. Populasi penelitian ini adalah semua peserta didik Paket B di Jawa Tengah yang mengikuti Ujian Nasional 2005 periode pertama yang berjumlah 12.559 orang yang berasal dari seluruh kabupaten/kota di Jawa tengah.Metode analisis yang dipergunakan untuk menjawab penelitian ini adalah analisis butir soal dengan dua pendekatan, yakni dengan menggunakan classical test theory dan teori test modern item Response Theory (IRT). Dari hasil analisis item secara klasikal (ITEMAN) maupun modern (BIGSTEPS) didapatkan bahwa soal fit dengan model. Koefisien reliabilitas alpha yang didapat dari hasil analisis dengan ITEMAN sebesar 0.668 yang berarti tes tersebut cukup konsisten dan dapat dipakai untuk mengukur variabel laten ability matematika. Kualitas soal dikategorikan sedang dan mudah dengan daya pembeda dalam kategori diterima dan diterima dengan sedikit perbaikan dengan kriteria itu maka hasil tersebut menunjukkan kemampuan butir soal untuk membedakan peserta tes yang memiliki kemampuan tinggi dengan kemampuan rendah.Pada analisis BIGSTEPS hanya dilakukan dua tahap analisis, karena tidak ada soal yang dibuang pada saat analisis dengan ITEMAN dan Ujian Nasional Matematika Paket B hanya menggunakan satu paket sehingga analisis tahap keempat tidak dilakukan. Hasil analisis ini terlihat bahwa Map of Persons and Item kedua pola distribusi cukup match, namun rentang sebaran pada persons terlihat lebih lebar jika dibandingkan dengan sebaran tingkat kesulitan; Ini berarti soal relative mudah untuk peserta tes Ujian Nasional Matematika Paket B di provinsi Jawa Tengah. Berdasarkan dari misfitting analisis, yakni data-data item dan data-data orang yang tidak sesuai dengan model telah dihilangkan, dan pada analisis tahap dua telah dilakukan drop terhadap peserta tes sebanyak 154 orang outfit statistiknya diatas 2.0 dan ada 29 orang memiliki point biserialnya negative yang juga didrop. Dengan demikian seluruh butir-butir soal menjadit fit dengan model.Berdasarkan analisis kemampuan berdasarkan j enis kelamin, Mean skor yang diperoleh dari laki-laki adalah sebesar 19,92 dan mean skor yang diperoleh perempuan adalah 20,07. ini menandakan adanya perbedaan yaitu sebesar 0,15; Koefisien reliabilitas alpha untuk kedua kelompok ini juga sama yaitu 0,67 arti keajegan/konsistensi dari tes ini cukup konsisten dan sangat dipercaya.Hasil analisis kemampuan berdasarkan kabupaten/kota, kota Pekalongan mendapatkan estimasi mean (rata-rata skor) maksimum yaitu = 23,03 dan estimasi Mean (rata-rata skor) minimum yaitu kota Tegal dengan nilai 16,66, angka-angka tersebut menggambarkan bahwa sebagian besar peserta yang mengikuti Ujian Nasional Matematika Paket B pada setiap kabupaten/kota diprovinsi Jawa Tengah ini memiliki kemampuan sedang, dan dari 35 kabupatenikota di Jawa tengah juga terlihat hasil analisis data yang sangat bervariasi, ini menandakan pelaksanaan tes di provinsi ini dinilai objektif.Hasil kemampuan analisis berdasarkan usia terlihat bahwa peserta Ujian Nasional Matematika Paket B yang berusia dibawah dan sama dengan 16 tahun memiliki mean scorenya adalah 19,65 dengan mean peserta berada pada usia 16 tahun sedangkan peserta ujian yang berusia diatas 16 tahun mean scorenya adalah 20,03 dengan mean peserta berada pada usia 28 tahun, koefisien reliabilitas alpha untuk kedua kelompok ini yaitu 0.68 dan 0.67 arti keajegan/konsistensi dari tes ini cukup konsisten dan sangat dipercaya.Hasil analisis terhadap konten (materi) tes kedua paket tersebut, ada 50% materi yang diujikan pada Ujian Nasional matematika SMP tidak diujikan pada Ujian Nasional matematika paket B.