Hasil Pencarian  ::  Simpan CSV :: Kembali

"Penelitian ini bertujuan mengembangkan dan mengevaluasi chatbot asisten dosen yang memberikan layanan konsultasi akademik secara otomatis dan responsif kepada mahasiswa. Studi ini mengambil topik Scrum dalam mata kuliah Dinamika Tim Perangkat Lunak sebagai kasus uji, yang diajarkan di Program Magister Teknologi Informasi Universitas Indonesia (MTI UI). Pengembangan sistem dilakukan secara kolaboratif oleh dua penulis dengan peran berbeda: penulis pertama membangun aplikasi front-end dan back-end serta melakukan pengujian melalui User Acceptance Testing (UAT) dan API Testing; sedangkan penulis kedua mengembangkan model language model (LLM) yang mencakup persiapan data, fine-tuning model, evaluasi kinerja, dan deployment menggunakan FastAPI. Evaluasi chatbot dilakukan secara kuantitatif menggunakan metrik BLEU, ROUGE, dan BERTScore, serta secara kualitatif melalui wawancara dengan pengguna. Hasil evaluasi menunjukkan bahwa model berbayar ChatGPT unggul dalam seluruh metrik evaluasi, sementara model open-source seperti LLaMA dan Bloom masih menunjukkan potensi meskipun perlu peningkatan kualitas melalui penambahan data fine-tuning. Menariknya, proses fine-tuning tidak selalu memberikan peningkatan performa yang konsisten, bahkan pada beberapa kasus justru menurunkan akurasi model. Namun demikian, penggunaan model open-source tetap menjanjikan dari sisi efektivitas biaya, karena tidak bergantung pada token seperti model komersial.

---

This study aims to develop and evaluate a teaching assistant chatbot designed to provide automated and responsive academic consultation services to students. The case study focuses on the Scrum topic within the Software Team Dynamics course at the Master of Information Technology program, Universitas Indonesia (MTI UI). The development process was a collaboration between two authors with distinct roles: the first author was responsible for building the front-end and back-end applications and conducting tests using User Acceptance Testing (UAT) and API Testing; the second author focused on developing the large language model (LLM), including data preparation, model fine-tuning, performance evaluation, and deployment using FastAPI. The chatbot's performance was evaluated using quantitative metrics such as BLEU, ROUGE, and BERTScore, along with qualitative evaluation through user interviews. The results show that the commercial ChatGPT model achieved the best performance across all evaluation metrics. In contrast, open-source models such as LLaMA and Bloom showed promising but still suboptimal results, requiring larger and more comprehensive fine-tuning datasets to improve. Interestingly, fine-tuning did not always lead to consistent performance improvement; in some cases, it even degraded the model's quality. Nevertheless, open-source models remain advantageous in terms of cost-effectiveness, as they do not incur token-based usage fees like ChatGPT."

"Perangkat lunak Enterprise University Information System (Euis) merupakan salah satu produk yang dimiliki oleh Pusat Ilmu Komputer Univesitas Indonesia yang disingkat Pusilkom UI. EUIS telah dikembangkan sejak tahun 2011 yang pada proses pengembangan awalnya menggunakan metodologi Pusilkom Agile Unified Process dan pada dua tahun terakhir ini dikembangkan dengan menngunakan kerangka kerja scrum, namun dalam proses pengembangannya terdapat masalah yaitu sprint goal tidak tercapai dan pengerjaan task melebihi dari estimasi waktu yang diberikan. Dengan adanya permasalahan tersebut yang secara tidak langsung dapat mempengaruhi jadwal pengerjaan produk EUIS secara keseluruhan sehingga dibutuhkan evaluasi yang diharapkan dapat mengatasi permasalahan yang ada dengan mengukur tingkat kematangan proses pengembangan. Dalam mengukur tingkat kematangan, data dikumpulkan melalui pelaksanaan Focus Group Discussion, studi dokumen, dan observasi. Data yang diperoleh kemudian dianalisis menggunakan perhitungan KPA Rating untuk mendapatkan tingkat kematangan. Hasil analisis tingkat kematangan akan didiskusikan dengan organisasi untuk menentukan tingkat kematangan yang ingin dicapai. Sasaran perbaikan dapat diidentifikasi dari praktik- praktik Scrum Maturity Model yang belum dicapai organisasi. Usulan perbaikan nantinya akan dihasilkan dari pemetaan sasaran perbaikan dengan best practices Scrum. Pada hasil penelitian menunjukkan bahwa tingkat kematangan scrum pada organisasi saat ini telah mencapai scrum maturity level 2 dan ingin mencapai scrum maturity leve 3.

---

Enterprise University Information System (Euis) software is a product owned by the Pusat Ilmu Komputer Univesitas Indonesia, abbreviated as Pusilkom UI. EUIS has been developed since 2011, which in the initial development used the methodology of the Pusilkom Agile Unified Process and in the last two years it was generated using the Scrum framework. Still, in the development process there were problems namely the sprint goal was not achieved and the task execution exceeded the estimated time given. With these problems which can indirectly affect the overall work schedule of EUIS products, an evaluation is expected to be able to overcome the existing challenges by measuring the level of maturity of the development process. In measuring the level of maturity, data is collected through the implementation of Focus Group Discussions, document studies, and observations. The data obtained is then analyzed using the KPA Rating calculation to get the level of maturity. The results of the maturity level analysis will be discussed with the organization to determine the level of maturity to be achieved. The improvement target can be identified from the Scrum Maturity Model practices that the organization has not yet reached. The proposed improvements will later be generated from mapping improvement targets with Scrum best practices. The results showed that the Scrum Maturity level in the organization has now reached Scrum Maturity Level 2 and wants to reach Scrum Maturity Level 3."

"ABSTRAKPenelitian ini bertujuan untuk menganalisis motivasi menjadi asisten dosenakuntansi dan persepsi asisten dosen akuntansi terhadap profesi akuntan pendidikdan persepsi terhadap imbalan yang diterima akuntan pendidik. Penelitian inidilakukan dengan melakukan survei kepada asisten dosen akuntansi yang terdaftardi Departemen Akuntansi Fakultas Ekonomi dan Bisnis Universitas Indonesiapada periode tahun 2014 sampai dengan 2015. Survei dilakukan dengan caramenyebarkan kuesioner dan melakukan interview. Hasil penelitian menunjukanbahwa motivasi menjadi asisten dosen akuntansi didominasi oleh faktor keinginanuntuk memberikan kontribusi terhadap lingkungan sosial. Asisten dosen akuntansimenilai profesi Akuntan pendidik sebagai profesi yang membutuhkan keahliankhusus dan memiliki status sosial yang tinggi namun tidak memberikankompensasi yang menarik.

---

ABSTRACTThe purpose of this research is to analyze the motivation to become assistantlecturer of accounting and their perception to the accounting lecturer professionand its compensation. This research conducted by surveying assistant lecturer ofaccounting at Departement of Accounting, Faculty of Economics and BusinessUniversity of Indonesia in the period 2014 to 2015. The survey conducted bydistributing the questionnaires and interview. The result shows that the highestfactor which motivates assistant lecturer in their engagement of teaching activitiesis the desire to contribute to their social environment. Accounting lecturer wasperceived as a highly expert career with high social status but low salary andremuneration."

"ABSTRAKProses pengembangan perangkat lunak tidak hanya bagaimana perangkat lunak dikembangkan dan bagaimana para pelaku dilibatkan, tetapi juga alat bantu yang dapat mempermudah pengembangan. JIRA merupakan alat bantu pengembangan perangkat lunak yang digunakan di Pusilkom UI. Fitur yang ada pada JIRA tidak semuanya dapat mendukung kegiatan pengembangan di Pusilkom UI. Penelitian ini melakukan analisis terhadap kebutuhan fitur tambahan pada JIRA sehingga dapat mendukung proses pengembangan perangkat lunak. Pusilkom Agile Unified Process (PAUS) adalah metodologi pengembangan perangkat lunak yang digunakan oleh Pusilkom UI. Berdasarkan PAUS, Informasi tentang kebutuhan fitur digali melalui kegiatan Focus Group Discussion (FGD). Hasil FGD akan dianalisis dengan menggunakan metode hermeneutika fenomenologi. Pada akhir penelitian didapatkan 6 fitur tambahan yang harus ada pada JIRA sehingga dapat memenuhi kebutuhan pengembangan perangkat lunak di Pusilkom UI.

---

ABSTRACTSoftware development lifecycles is not only about how the software was developed and how the people was involved, but also about tools which facilitate software development. JIRA is a tool which is used in software development at Pusilkom UI. JIRA’s features do not help development activity at all. This research analyzes additional JIRA’s feature for supporting software development process. Pusilkom Agile Unified Process (PAUS) is software development methodology which is used at Pusilkom UI. Based on PAUS, requirement informations are capture through Focus Group Discussion activity. FGD’s results will be analyzed using phenomonelogy hermeneutical method. At last, this research come up with 6 additional JIRA’s features so that requirements for software development are satisfied."

"PT XYZ adalah perusahaan yang bergerak di bidang teknologi informasi untuk memberikan solusi TI yang dibutuhkan oleh perusahaan. PT XYZ memiliki solusisolusi produk sendiri yang dikelola di divisi ABC. Terdapat beberapa proyek yang sudah di kerjakan seperti proyek A, B, C, D, dan E. Pada praktiknya, beberapa proyek yang dikerjakan mengalami keterlambatan. Keterlambatan dalam pengerjaan proyek menyebabkan dampak yang cukup berarti bagi perusahaan terutama dalam hal biaya dan resource, jumlah biaya yang dikeluarkan untuk elemen sumber daya menjadi naik sehingga mengurangi jumlah keuntungan yang didapat. Dalam melakukan analisis permasalahan, digunakan diagram fishbone untuk melihat akar permasalahan yang dihadapi. Setelah dilakukan analisis terhadap beberapa akar permasalahan. Akar permasalahan yang akan diteliti pada penelitian ini adalah prosespengembangan perangkat lunak. Proses pengembangan perangkat lunak yang digunakan pada divisi ABC adalah metode 4D. Keterlambatan proyek terjadi karena 50% pekerjaan yang dilakukan adalah pengerjaan ulang. Pengerjaan ulang terjadi karena kualitas dari proses yang digunakan masih kurang. Penelitian ini bertujuan untuk menghasilkan usulan perbaikan kualitas proses pengembangan perangkat lunak yaitu metode 4D dengan menggunakan kerangka kerja CMMI-Dev dan menggunakan representasi continuous. Metode penilaian yang digunakan pada penelitian kali ini adalah SCAMPI C. Hasil pada penelitian ini adalah rekomendasi-rekomendasi untuk meningkatkan kualitas proses pengembangan perangkat lunak. Rekomendasi yang diberikan diambil berdasarkan best practice CMMI-Dev. Dengan meningkatkatnya kualitas proses pengembangan perangkat lunak yaitu metode 4D, permasalahan keterlambatan pengerjaan proyek bisa teratasi karena proses pengerjaan ulang yang dilakukan bisa dihilangkan.

---

PT XYZ is a company engaged in information technology. PT XYZ makes several product. It has been managed by the ABC department. There are several projects that have been done such as projects A, B, C, D, and E. Four of the five projects experienced delays. This has a significant impact on the company. The amount of costs incurred increases and reduces profits. Fishbone diagrams are used to analyze the root cause of a problem. The root of the problem to be examined is the software development process. The software development process used in the ABC division is the 4D method. Project delays occur because 50% of the work done is reworking. Reworking occurs because the quality of the process used is still lacking. The CMMI-Dev framework is used to evaluate software processes. Continuous presentations that will be used in this study. The valuation

method used in this study is SCAMPI C. The results of this study are recommendations to improve the quality of the software development process. Recommendations based on CMMI-Dev best practices. With the increasing quality of the software development process. Problems with the delay in

project execution can be overcome, because the reworking process can be removed."

"Logee merupakan sub-divisi dari Divisi Digital & Business Technology (DBT) di bawah Directorat Digital Business (DDB) PT Telkom Indonesia. Logee menyediakan platform digital bagi ekosistem logistik nasional dan terhubung ke jaringan global. Dalam pengembangan perangkat lunaknya, Logee menerapkan kerangka kerja Scrum. Namun, sering mengalami masalah seperti masuknya requirement baru di tengah sprint dan kualitas produk yang rendah. Hal ini menyebabkan tidak tercapainya target backlog dan keterlambatan rilis product. Jika hal tersebut tidak diselesaikan berdampak pada penambahan cost pengembangan product, dan potensi kehilangan revenue. Penelitian ini mengevaluasi implementasi Scrum di Logee Distribution dan memberikan rekomendasi perbaikan proses pengembangan perangkat lunak. Penelitian menggunakan mixed-methods dengan pengumpulan data kuantitatif melalui kuesioner berbasis Scrum Guide 2020 dan Essentials Scrum oleh Rubin. Metode kualitatif dilakukan dengan wawancara kepada Scrum Master dan Head of Product Logee Distribution. Hasil evaluasi menunjukkan nilai KPA Rating keseluruhan sebesar 87,39%, diinterpretasikan sebagai Fully Achieved. Squad Sales dan Order menunjukkan implementasi yang baik dengan KPA Rating masing-masing 95,93% dan 91,30%, sementara squad Fulfillment hanya mencapai 75,85%. Rekomendasi perbaikan difokuskan pada 27 rekomendasi untuk 61 praktik yang belum memenuhi standar, dengan prioritas tinggi pada 15 rekomendasi. Evaluasi dan rekomendasi ini bertujuan untuk memperbaiki implementasi Scrum di Logee Distribution dan mengatasi masalah target Backlog yang tidak tercapai pada squad Fulfillment.

---

Logee is a sub-division of the Digital & Business Technology (DBT) Division under the Digital Business Directorate (DDB) at PT Telkom Indonesia. Logee provides a digital platform for the national logistics ecosystem and is connected to a global network. In the software development process, Logee chose to implement the Scrum framework. However, they often experience problems such as the entry of new requirements in the middle of a sprint and low product quality. This causes the backlog target to not be achieved and delays in product releases. If this is not resolved, it will result in additional product development costs and a potential loss of revenue. This research evaluates the implementation of Scrum in Logee Distribution and provides recommendations for improving the software development process. The research used mixed methods with quantitative data collection through questionnaires based on the 2020 Scrum Guide and Scrum Essentials by Rubin. The qualitative method was carried out by interviewing the scrum master and head of product Logee distribution. The evaluation results show an overall KPA rating value of 87.39%, interpreted as Fully Achieved. The Sales and Order squads showed good implementation, with KPA Ratings of 95.93% and 91.30%, respectively, while the Fulfillment squad only reached 75.85%. Recommendations for improvement focused on 27 recommendations for 61 practices that did not meet the standards, with high priority given to 15 recommendations. This evaluation and recommendation aim to improve the implementation of Scrum in Logee Distribution and overcome the problem of backlog targets not being achieved in the Fulfillment squad"

"Perbaikan proses pengembangan perangkat lunak dilakukan di Popbox dengan tujuan melakukan evaluasi dan memberikan rancangan aksi untuk perbaikan proses pengembangan perangkat lunak. Diharapkan rancangan aksi perbaikan yang telah disusun, dapat mengatasi keterlambatan pengembangan perangkat lunak di Popbox. Pada tahap awal, dilakukan analisis dan didapatkan faktor-faktor yang mungkin menjadi penyebab keterlambatan implementasi perangkat lunak yang sering terjadi di Popbox, lalu ditemukan juga beberapa akar masalah yang menyebabkan keterlambatan. Setelah itu dilakukan pemeringkatan menggunakan analytical hierarchy process (AHP) terhadap akar-akar masalah tersebut, untuk mengetahui akar masalah yang paling prioritas. Setelah itu didapatkan tiga akar masalah yang paling prioritas, yaitu belum ada standar baku pengembangan perangkat lunak, perubahan permintaan di tengah proyek yang sedang berjalan, dan kebutuhan di awal yang kurang jelas / terdefinisi dengan baik.Penelitian ini berfokus untuk menyelesaikan ketiga akar masalah tersebut. Untuk dapat mengatasi masalah tersebut peneliti menggunakan software process improvement (SPI). Kerangka kerja SPI yang digunakan dalam penelitian ini adalah CMMI-Dev V.1.3 dengan proses appraisal menggunakan SCAMPI-C dan pendekatan continous representation serta menggunakan tahapan model PDCA. Hasil penilaian yang dilakukan pada 46 specific practice yang terdapat pada process area PP, PMC, REQM, RD dan OPD menunjukan bahwa Popbox telah memenuhi 11 specific practice pada lima process area tersebut. Terdapat 40 kelemahan pada 35 specific practice yang belum terpenuhi oleh Popbox, sehingga dapat disimpulkan Popbox belum mencapai capability level 1 pada kelima process area yang dipilih. Untuk mengatasi kelemahan tersebut peneliti menyusun 21 rancangan aksi yang dikategorikan ke dalam lima kategori process area. Urutan pelaksanaan rancangan aksi dilakukan berdasarkan hasil pemrioritasan kategori rancangan aksi yang didapatkan melalui proses pemrioritasan menggunakan AHP. Urutan pelaksanaan rancangan aksi dari yang pertama adalah PP, OPD, RD, PMC dan yang terakhir adalah REQM.

---

Improvements to the software development process are carried out in Popbox with the aim of evaluating capability levels and providing action design to improve the software development process. It is expected that the draft action design that has been prepared, can overcome the delay in software development in Popbox. In the initial stage, an analysis was carried out and the researcher found factors that might be the cause of delays in software delivery that often occur in Popbox, then the researcher also found some of the root causes of the delay. After that the researcher conducted a ranking using the analytical hierarchy process (AHP) on the root of the problem, to find out the root of the most priority problem. After that, three of the most priority root problems are obtained, namely there is no standard software development standard, changes in demand in the middle of the ongoing project, and the initial needs that are less clear / well defined.

This study focuses on resolving the three roots of the problem. To be able to overcome this problem researcher used software process improvement (SPI). The SPI framework used in this study is CMMI-Dev V.1.3 with the appraisal process using SCAMPI-C and continuous representation approaches and also using the stages of the PDCA model. The results of the assessment conducted on 46 specific practices found in the process area of PP, PMC, REQM, RD and OPD showed that Popbox had fulfilled 11 specific practices in the five process areas. There are 40 weaknesses in 35 specific practices that have not been fulfilled by Popbox, so it can be concluded that Popbox has not achieved capability level 1 in the five selected process areas. To overcome these weaknesses researcher compiled 21 action design that were categorized into five process area categories. The order of implementation of the action design is based on the results of prioritizing the action design categories obtained through the prioritization process using AHP. The order of implementation of the action design from the first is PP, OPD, RD, PMC and the last is REQM."

"PT XYZ adalah salah satu perusahaan teknologi rintisan terkemuka di Indonesia yang bergerak di bidang e-commerce. Selain di bidang e-commerce, PT XYZ juga melakukan eksplorasi bisnis baru pada bidang teknologi finansial. Tim investasi dan asuransi (Investment and Insurance, IIS) adalah salah satu tim yang mengembangkan produk asuransi dan investasi pada PT XYZ. Dalam proses pengembangan perangkat lunak, IIS menggunakan kerangka kerja Scrum agar dapat beradaptasi dengan cepat sesuai dengan kebutuhan pasar. Dalam pelaksanaannya, ditemukan bahwa deliverable produk mengalami keterlambatan dan objective and key result (OKR) yang tidak terpenuhi. Data pendukung juga memaparkan bahwa rata-rata penyelesaian pada setiap sprint masih berada pada angka 44%. Hal ini dipengaruhi oleh beberapa akar masalah, salah satunya adalah proses acara Scrum yang belum dilakukan sesuai dengan Scrum Guides. Untuk dapat memperbaiki permasalahan ini, penelitian melakukan evaluasi tingkat kematangan pengembangan perangkat lunak dengan Scrum Maturity Model (SMM) dan Standard CMMI Appraisal Method for Process Improvement (SCAMPI) C untuk melakukan penilaian terhadap praktik Scrum. Hasil dari evaluasi ini, ditemukan bahwa IIS masih berada pada level 1 melalui penilaian SMM dengan rentang level 1 hingga 5. Terdapat satu goal yang belum fully achieved, masih terdapat satu goals basic Scrum management dengan penilaian 67,86% (largely achieved) yang menyebabkan organisasi belum dapat mencapai level 2. Selanjutnya, hasil penilaian SCAMPI C digunakan sebagai acuan untuk memilih praktik SMM yang sesuai dengan pertanyaan penelitian dan menyusun usulan rekomendasi perbaikan. Hasil akhir penelitian adalah lima belas rekomendasi terkait acara Scrum. Rekomendasi disusun dan divalidasi dengan harapan untuk dapat memperbaiki dan meningkatkan kinerja proses pengembangan perangkat lunak sehingga dapat tercapai target OKR sesuai dengan harapan perusahaan

---

PT XYZ is one of the leading technology start-ups in Indonesia engaged in e-commerce. Apart from e-commerce, PT XYZ also explores new businesses in the field of financial technology. The investment and insurance team (Investment and Insurance, IIS) is one of the teams that develops insurance and investment products at PT XYZ. In the software development process, IIS uses the Scrum framework to quickly adapt to market needs. In its implementation, it was found that the product deliverables were delayed, and the objectives and key results (OKR) were not met. Supporting data also explains that the average completion of each sprint is still at 44%. This is influenced by several root causes, one of which is the Scrum event process that has not been carried out in accordance with the Scrum Guides. To be able to fix this problem, the research evaluates the maturity level of software development using the Scrum Maturity Model (SMM) and Standard CMMI Appraisal Method for Process Improvement (SCAMPI) C to assess Scrum practices. The results of this evaluation, it was found that IIS is still at level 1 through the QMS assessment with a range of levels 1 to 5. There is one goal that has not been fully achieved, there is still one basic goal of Scrum management with an assessment of 67.86% (largely achieved) which causes the organization has not been able to reach level 2. Furthermore, the results of the SCAMPI C assessment are used as a reference for selecting QMS practices that are in accordance with the research questions and formulating recommendations for improvement. The results of the study are fifteen recommendations related to Scrum events. Recommendations are compiled and validated with the hope of being able to improve and improve the performance of the software development process so that OKR targets can be achieved in accordance with company expectations."

"PT XYZ adalah salah satu perusahaan asuransi jiwa yang ada di Indonesia. Divisi Teknologi Informasi adalah divisi yang bertugas melakukan pengembangan perangkat lunak di PT XYZ. Namun berdasarkan fakta yang ada, pengembangan perangkat lunak yang dilakukan Divisi Teknologi Informasi masih banyak yang selesai tidak tepat waktu. Salah satu penyebab keterlambatan ini adalah proses pengembangan perangkat lunak yang belum dijalankan dengan baik. Perbaikan proses pengembangan perangkat lunak dibutuhkan untuk menyelesaikan permasalahan ini. CMMI Dev merupakan salah satu kerangka kerja yang dapat dimanfaatkan untuk mengukur tingkat kapabilitas dari proses pengembangan perangkat lunak dan dapat digunakan untuk memperbaiki proses pengembangan perangkat lunak. Pada penelitian ini, rekomendasi perbaikan dibuat berdasarkan CMMI Dev ver. 1.3. Area proses yang dipilih sesuai dengan area proses pada project roadmap yaitu Project Planning, Project Monitoring and Control, Requirement Management, Configuration Management dan Process and Product Quality Assurance. Penilaian tingkat kapabilitas dilakukan dengan menggunakan SCAMPI C dengan alat bantu PIID dan Quantitative Assessment. Rekomendasi perbaikan disusun berdasarkan kerangka kerja IDEAL. Hasil dari penelitian ini adalah tingkat kapabilitas dan rekomendasi perbaikan proses pengembangan perangkat lunak. Rekomendasi perbaikan disusun berdasarkan specific practise yang ada di CMMI Dev ver. 1.3 project roadmap sehingga dapat membantu Divisi Teknologi Informasi menyelesaikan pengembangan perangkat lunak dengan tepat waktu.

---

PT XYZ is one of the life insurance companies in Indonesia. Information Technology Division is a division in charge of software development in PT XYZ. But based on the facts, Software development undertaken by the Information Technology Division is still many that is not finished on time. One of the causes of this delay is the software development process that has not been run properly. Software process improvement is needed to solve this problem. CMMI Dev is one of the frameworks that can be used to measure the level of capability of the software development process and can be used to improve the software development process.

In this research, improvement recommendations were made based on CMMI Dev ver. 1.3. The process area selected according to the process area on the roadmap project ie Project Planning, Project Monitoring and Control, Requirement Management, Configuration Management and Process and Product Quality Assurance. Capability level assessment is done by using SCAMPI C with PIID and Quantitative Assessment tools. The improvement recommendations are created based on IDEAL framework.

The result of this research is level of capability and recommendation of software process improvement. The improvement recommendations are based on the specific practice in CMMI Dev ver. 1.3 project roadmap so that can help the Information Technology Division complete the software development in a timely manner."