Skripsi Fardani Azhar

research
  • 21 Oct
  • 2026

Skripsi Fardani Azhar

Fardani Azhar (17220245), Analisis Performa Post-Training Quantization (PTQ)
pada Small Language Model untuk Implementasi Edge Computing Berbasis
Android

Pemanfaatan Small Language Model (SLM) secara on-device di Android sering
terkendala oleh kapasitas RAM 8 GB yang dibagi-pakai dengan sistem operasi.
Akibatnya, pemuatan model berpresisi penuh FP16 berisiko tinggi memicu Out of
Memory dan Force Close. Penelitian ini bertujuan menganalisis performa metode
Post-Training Quantization (PTQ) berformat GGUF k-quants (Q3_K_M, Q4_K_M,
Q5_K_M) terhadap dua arsitektur SLM, yaitu LFM 2.5 (1,2B) dan Qwen 3.5 (2B),
pada perangkat Tecno Pova 5 melalui lingkungan Termux dan llama.cpp. Metode yang
digunakan adalah eksperimen kuantitatif komparatif. Pengujian ini mengukur reduksi
ukuran berkas, konsumsi peak RAM, kecepatan prompt dan generation, serta meninjau
degradasi kognitif melalui Perplexity dan evaluasi akurasi pada benchmark MMLU,
GSM8K, HumanEval, dan MT-Bench TTR. Hasil penelitian menunjukkan varian
Q4_K_M sebagai sweet spot terbaik. Varian ini mereduksi ukuran berkas hingga 66
68% (dari 3,6 GB menjadi 1,2 GB pada Qwen dan 2,2 GB menjadi 698 MB pada LFM)
serta mengefisienkan peak RAM sebesar 36,9% (dari 2.303,47 MB menjadi 1.452,97
MB pada LFM) dan 31,6% (dari 3.744,25 MB menjadi 2.562,88 MB pada Qwen).
Kecepatan generation meningkat hingga 2,65 kali lipat (dari 1,87 t/s menjadi 4,95 t/s
pada Qwen dan 5,57 t/s menjadi 13,67 t/s pada LFM) dengan retensi akurasi mencapai
88,9% (skor 112/300 vs. baseline 126/300 pada LFM) dan 100% (skor 119/300 vs.
baseline 119/300 pada Qwen). Sebaliknya, Q3_K_M memicu anomali prompt speed
dan degradasi akurasi signifikan, sehingga tidak direkomendasikan untuk produksi.

Keywords: Post-Training Quantization, Small Language Model, Edge Computing,
GGUF, k-quants, Android, Helio G99, Perplexity.

Unduhan

  • File unduhan

    split_1.pdf

    Terakhir download 23 Oct 2026 10:10

    cover

    •   diunduh 1x | Ukuran 156 KB
  • File unduhan

    split_2.pdf

    Terakhir download 23 Oct 2026 04:10

    Bagian awal

    •   diunduh 0x | Ukuran 1,248 KB
  • File unduhan

    split_6.pdf

    Terakhir download 23 Oct 2026 11:10

    Bab 4

    •   diunduh 1x | Ukuran 761 KB
  • File unduhan

    split_3.pdf

    Terakhir download 23 Oct 2026 04:10

    Bab 1

    •   diunduh 0x | Ukuran 314 KB
  • File unduhan

    split_4.pdf

    Terakhir download 23 Oct 2026 04:10

    Bab 2

    •   diunduh 0x | Ukuran 296 KB

 

REFERENSI

Alammar, Jay., & Grootendorst, Maarten. (2024). Hands-on large language models :
language understanding and generation. O’Reilly Media, Inc.
Amini, A., Banaszak, A., Benoit, H., Böök, A., Dakhran, T., Duong, S., Eng, A.,
Fernandes, F., Härkönen, M., Harrington, A., Hasani, R., Karwa, S., Khrustalev,
Y., Labonne, M., Lechner, M., Lechner, V., Lee, S., Li, Z., Loo, N., … Tumma,
N. (2025). LFM2 Technical Report. http://arxiv.org/abs/2511.23404
Çöplü, T., Loedi, M., Bendiken, A., Makohin, M., Bouw, J. J., & Cobb, S. (2023). A
Performance Evaluation of a Quantized Large Language Model on Various
Smartphones. http://arxiv.org/abs/2312.12472
Dettmers, T., Pagnoni, A., Holtzman, A., & Zettlemoyer, L. (2023). QLoRA: Efficient
Finetuning of Quantized LLMs. http://arxiv.org/abs/2305.14314
Fadillah Ahmad, A., Safudin, M., & Studi Teknologi Informasi, P. (2024).
PENGEMBANGAN CHATBOT AI LARGE LANGUAGE MODEL (LLM)
UNTUK LAYANAN INFORMASI DAN KONSULTASI RS.BRAWIJAYA.
JIK), 1(1).
Frantar, E., Ashkboos, S., Hoefler, T., & Alistarh, D. (2023). GPTQ: Accurate Post
Training Quantization for Generative Pre-trained Transformers.
http://arxiv.org/abs/2210.17323
Gong, Z., Liu, J., Wang, J., Cai, X., Zhao, D., & Yan, R. (2024). What Makes
Quantization for Large Language Models Hard? An Empirical Study from the
Lens of Perturbation. http://arxiv.org/abs/2403.06408
Gope, D., Mansell, D., Loh, D., & Bratt, I. (2024). Highly Optimized Kernels and
Fine-Grained Codebooks for LLM Inference on Arm CPUs.
http://arxiv.org/abs/2501.00032
Husom, E. J., Goknil, A., Astekin, M., Shar, L. K., Kåsen, A., Sen, S., Mithassel, B.
A., & Soylu, A. (2025). Sustainable LLM Inference for Edge AI: Evaluating
Quantized LLMs for Energy Efficiency, Output Accuracy, and Inference
Latency. http://arxiv.org/abs/2504.03360
Jin, R., Du, J., Huang, W., Liu, W., Luan, J., Wang, B., & Xiong, D. (2024). A
Comprehensive Evaluation of Quantization Strategies for Large Language
Models. https://github.com/
Kurtic, E., Marques, A., Pandit, S., Kurtz, M., & Alistarh, D. (2025). “Give Me BF16
or Give Me Death”? Accuracy-Performance Trade-Offs in LLM Quantization.
http://arxiv.org/abs/2411.02355
Laskaridis, S., Katevas, K., Minto, L., & Haddadi, H. (2024). MELTing point:
Mobile Evaluation of Language Transformers. http://arxiv.org/abs/2403.12844
Lin, J., Tang, J., Tang, H., Yang, S., Chen, W.-M., Wang, W.-C., Xiao, G., Dang, X.,
Gan, C., & Han, S. (2026). AWQ: Activation-aware Weight Quantization for
LLM Compression and Acceleration. http://arxiv.org/abs/2306.00978
Lu, Z., Li, X., Cai, D., Yi, R., Liu, F., Liu, W., Luan, J., Zhang, X., Lane, N. D., &
Xu, M. (2025). Demystifying Small Language Models for Edge Deployment
(Vol. 1).
Murthy, R., Yang, L., Tan, J., Awalgaonkar, T. M., Zhou, Y., Heinecke, S., Desai, S.,
Wu, J., Xu, R., Tan, S., Zhang, J., Liu, Z., Kokane, S., Liu, Z., Zhu, M., Wang,
H., Xiong, C., & Savarese, S. (2024). MobileAIBench: Benchmarking LLMs and
LMMs for On-Device Use Cases. http://arxiv.org/abs/2406.10290
Nurohim, G. S., Arianto, D., Setyadi, H. A., Fauzi, A., & Kusumawardhani, V.
(2025). Analisis Komparatif Large Language Models DeepSeek dan Qwen.
Prince, S. J. D. (2026). Understanding Deep Learning. http://udlbook.com.
Ray, P. P., & Pradhan, M. P. (2026). Performance analysis of localised large language
models in resource-constrained edge for Python and Rust APIs. Journal of Edge
Computing. https://doi.org/10.55056/jec.1047
Sevim, N., Ibrahim, M., & Ekin, S. (2024). Large Language Models (LLMs) Assisted
Wireless Network Deployment in Urban Settings.
http://arxiv.org/abs/2405.13356
Tan, F., Lee, R., Dudziak, Ł., Hu, S. X., Bhattacharya, S., Hospedales, T.,
Tzimiropoulos, G., & Martinez, B. (2024). MobileQuant: Mobile-friendly
Quantization for On-device Language Models. http://arxiv.org/abs/2408.13933
Team, Q. (2025). Qwen3 Technical Report.
https://huggingface.co/Qwenhttps://modelscope.cn/organization/qwenhttps://git
hub.com/QwenLM/Qwen3
Touvron, H., Lavril, T., Izacard, G., Martinet, X., Lachaux, M.-A., Lacroix, T.,
Rozière, B., Goyal, N., Hambro, E., Azhar, F., Rodriguez, A., Joulin, A., Grave,
E., & Lample, G. (2023). LLaMA: Open and Efficient Foundation Language
Models. http://arxiv.org/abs/2302.13971
Xiao, T., & Zhu, J. (2025). Foundations of Large Language Models.
http://arxiv.org/abs/2501.09223
Zhan, Z., Zhou, S., Zeng, M., Yu, K., Song, M., Chen, X., Wang, J., Hou, Y., &
Zhang, R. (2025). Quantized Large Language Models in Biomedical Natural
Language Processing: Evaluation and Recommendation.
http://arxiv.org/abs/2509.04534
Zhang, X., Liu, J., Xiong, Z., Huang, Y., Xie, G., & Zhang, R. (2024). Edge
Intelligence Optimization for Large Language Model Inference with Batching
and Quantization. http://arxiv.org/abs/2405.07140

Cari

Bidang Ilmu

Kategori

Kiriman Terbaru