Tugas Akhir Fardani Azhar NIM 17220245

Tugas Akhir Fardani Azhar NIM 17220245

• By Fardani Azhar;
• Skripsi
• 0

Fardani Azhar (17220245), Analisis Performa Post-Training Quantization (PTQ) pada Small Language Model untuk Implementasi Edge Computing Berbasis Android

 

Pemanfaatan Small Language Model (SLM) secara on-device di Android sering terkendala oleh kapasitas RAM 8 GB yang dibagi-pakai dengan sistem operasi. Akibatnya, pemuatan model berpresisi penuh FP16 berisiko tinggi memicu Out of Memory dan Force Close. Penelitian ini bertujuan menganalisis performa metode Post-Training Quantization (PTQ) berformat GGUF k-quants (Q3_K_M, Q4_K_M, Q5_K_M) terhadap dua arsitektur SLM, yaitu LFM 2.5 (1,2B) dan Qwen 3.5 (2B), pada perangkat Tecno Pova 5 melalui lingkungan Termux dan llama.cpp. Metode yang digunakan adalah eksperimen kuantitatif komparatif. Pengujian ini mengukur reduksi ukuran berkas, konsumsi peak RAM, kecepatan prompt dan generation, serta meninjau degradasi kognitif melalui Perplexity dan evaluasi akurasi pada benchmark MMLU, GSM8K, HumanEval, dan MT-Bench TTR. Hasil penelitian menunjukkan varian Q4_K_M sebagai sweet spot terbaik. Varian ini mereduksi ukuran berkas hingga 66–68% (dari 3,6 GB menjadi 1,2 GB pada Qwen dan 2,2 GB menjadi 698 MB pada LFM) serta mengefisienkan peak RAM sebesar 36,9% (dari 2.303,47 MB menjadi 1.452,97 MB pada LFM) dan 31,6% (dari 3.744,25 MB menjadi 2.562,88 MB pada Qwen). Kecepatan generation meningkat hingga 2,65 kali lipat (dari 1,87 t/s menjadi 4,95 t/s pada Qwen dan 5,57 t/s menjadi 13,67 t/s pada LFM) dengan retensi akurasi mencapai 88,9% (skor 112/300 vs. baseline 126/300 pada LFM) dan 100% (skor 119/300 vs. baseline 119/300 pada Qwen). Sebaliknya, Q3_K_M memicu anomali prompt speed dan degradasi akurasi signifikan, sehingga tidak direkomendasikan untuk produksi.

 

Keywords: Post-Training Quantization, Small Language Model, Edge Computing, GGUF, k-quants, Android, Helio G99, Perplexity.

• Katakunci Post-Training Quantization, Small Language Model, Edge Computing, k-quants, Android
• URL http://
• Penerbit Universitas Bina Sarana Informatika, Jakarta DKI Jakarta

REFERENSI

Alammar, Jay., & Grootendorst, Maarten. (2024). Hands-on large language models : language understanding and generation. O’Reilly Media, Inc.

Amini, A., Banaszak, A., Benoit, H., Böök, A., Dakhran, T., Duong, S., Eng, A., Fernandes, F., Härkönen, M., Harrington, A., Hasani, R., Karwa, S., Khrustalev, Y., Labonne, M., Lechner, M., Lechner, V., Lee, S., Li, Z., Loo, N., … Tumma, N. (2025). LFM2 Technical Report. http://arxiv.org/abs/2511.23404

Çöplü, T., Loedi, M., Bendiken, A., Makohin, M., Bouw, J. J., & Cobb, S. (2023). A Performance Evaluation of a Quantized Large Language Model on Various Smartphones. http://arxiv.org/abs/2312.12472

Dettmers, T., Pagnoni, A., Holtzman, A., & Zettlemoyer, L. (2023). QLoRA: Efficient Finetuning of Quantized LLMs. http://arxiv.org/abs/2305.14314

Fadillah Ahmad, A., Safudin, M., & Studi Teknologi Informasi, P. (2024). PENGEMBANGAN CHATBOT AI LARGE LANGUAGE MODEL (LLM) UNTUK LAYANAN INFORMASI DAN KONSULTASI RS.BRAWIJAYA. JIK), 1(1).

Frantar, E., Ashkboos, S., Hoefler, T., & Alistarh, D. (2023). GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers. http://arxiv.org/abs/2210.17323

Gong, Z., Liu, J., Wang, J., Cai, X., Zhao, D., & Yan, R. (2024). What Makes Quantization for Large Language Models Hard? An Empirical Study from the Lens of Perturbation. http://arxiv.org/abs/2403.06408

Gope, D., Mansell, D., Loh, D., & Bratt, I. (2024). Highly Optimized Kernels and Fine-Grained Codebooks for LLM Inference on Arm CPUs. http://arxiv.org/abs/2501.00032

Husom, E. J., Goknil, A., Astekin, M., Shar, L. K., Kåsen, A., Sen, S., Mithassel, B. A., & Soylu, A. (2025). Sustainable LLM Inference for Edge AI: Evaluating Quantized LLMs for Energy Efficiency, Output Accuracy, and Inference Latency. http://arxiv.org/abs/2504.03360

Jin, R., Du, J., Huang, W., Liu, W., Luan, J., Wang, B., & Xiong, D. (2024). A Comprehensive Evaluation of Quantization Strategies for Large Language Models. https://github.com/

Kurtic, E., Marques, A., Pandit, S., Kurtz, M., & Alistarh, D. (2025). “Give Me BF16 or Give Me Death”? Accuracy-Performance Trade-Offs in LLM Quantization. http://arxiv.org/abs/2411.02355

Laskaridis, S., Katevas, K., Minto, L., & Haddadi, H. (2024). MELTing point: Mobile Evaluation of Language Transformers. http://arxiv.org/abs/2403.12844

Lin, J., Tang, J., Tang, H., Yang, S., Chen, W.-M., Wang, W.-C., Xiao, G., Dang, X., Gan, C., & Han, S. (2026). AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration. http://arxiv.org/abs/2306.00978

Lu, Z., Li, X., Cai, D., Yi, R., Liu, F., Liu, W., Luan, J., Zhang, X., Lane, N. D., & Xu, M. (2025). Demystifying Small Language Models for Edge Deployment (Vol. 1).

Murthy, R., Yang, L., Tan, J., Awalgaonkar, T. M., Zhou, Y., Heinecke, S., Desai, S., Wu, J., Xu, R., Tan, S., Zhang, J., Liu, Z., Kokane, S., Liu, Z., Zhu, M., Wang, H., Xiong, C., & Savarese, S. (2024). MobileAIBench: Benchmarking LLMs and LMMs for On-Device Use Cases. http://arxiv.org/abs/2406.10290

Nurohim, G. S., Arianto, D., Setyadi, H. A., Fauzi, A., & Kusumawardhani, V. (2025). Analisis Komparatif Large Language Models DeepSeek dan Qwen.

Prince, S. J. D. (2026). Understanding Deep Learning. http://udlbook.com.

Ray, P. P., & Pradhan, M. P. (2026). Performance analysis of localised large language models in resource-constrained edge for Python and Rust APIs. Journal of Edge Computing. https://doi.org/10.55056/jec.1047

Sevim, N., Ibrahim, M., & Ekin, S. (2024). Large Language Models (LLMs) Assisted Wireless Network Deployment in Urban Settings. http://arxiv.org/abs/2405.13356

Tan, F., Lee, R., Dudziak, Ł., Hu, S. X., Bhattacharya, S., Hospedales, T., Tzimiropoulos, G., & Martinez, B. (2024). MobileQuant: Mobile-friendly Quantization for On-device Language Models. http://arxiv.org/abs/2408.13933

Team, Q. (2025). Qwen3 Technical Report. https://huggingface.co/Qwenhttps://modelscope.cn/organization/qwenhttps://github.com/QwenLM/Qwen3

Touvron, H., Lavril, T., Izacard, G., Martinet, X., Lachaux, M.-A., Lacroix, T., Rozière, B., Goyal, N., Hambro, E., Azhar, F., Rodriguez, A., Joulin, A., Grave, E., & Lample, G. (2023). LLaMA: Open and Efficient Foundation Language Models. http://arxiv.org/abs/2302.13971

Xiao, T., & Zhu, J. (2025). Foundations of Large Language Models. http://arxiv.org/abs/2501.09223

Zhan, Z., Zhou, S., Zeng, M., Yu, K., Song, M., Chen, X., Wang, J., Hou, Y., & Zhang, R. (2025). Quantized Large Language Models in Biomedical Natural Language Processing: Evaluation and Recommendation. http://arxiv.org/abs/2509.04534

Zhang, X., Liu, J., Xiong, Z., Huang, Y., Xie, G., & Zhang, R. (2024). Edge Intelligence Optimization for Large Language Model Inference with Batching and Quantization. http://arxiv.org/abs/2405.07140