Arsitektur Data Pipeline Otomatis Berbasis Python untuk Scraping X (Twitter): Studi Kasus Program Makan Bergizi Gratis

Kharisma Alya  Septiana; Arizona Firdonsyah

doi:10.51454/decode.v6i1.1656

Authors

Kharisma Alya Septiana Teknologi Informasi Universitas Aisyiyah Yogyakarta
Arizona Firdonsyah Teknologi Informasi Universitas Aisyiyah Yogyakarta

DOI:

https://doi.org/10.51454/decode.v6i1.1656

Keywords:

Data Pipeline, Pipeline Otomatis, Program Makan Bergizi Gratis, Python, Scraping Twitter (X)

Abstract

Media sosial X (Twitter) merupakan sumber data penting untuk analisis opini publik, namun pembatasan akses API sejak 2023 menghambat pengumpulan data berskala besar secara berkelanjutan. Kondisi tersebut mendorong penggunaan web scraping sebagai alternatif. Penelitian ini bertujuan merancang dan mengevaluasi arsitektur data pipeline berbasis ETL (Extract, Transform, Load) yang terotomatisasi dan terjadwal, dengan studi kasus Program Makan Bergizi Gratis (MBG). Pipeline diorkestrasi menggunakan Prefect, melakukan ekstraksi data melalui Tweet Harvest berbasis kata kunci, transformasi melalui pembersihan dan standarisasi data, serta penyimpanan ke basis data relasional MySQL dengan dukungan monitoring dan notifikasi otomatis. Hasil menunjukkan pipeline berjalan stabil selama tujuh hari pengujian dengan total 8.662 data mentah dan 6.377 data hasil pembersihan. Uji kualitas data menghasilkan nilai precision sebesar 95,5%, menunjukkan relevansi tinggi terhadap topik penelitian. Uji performa menunjukkan penggunaan sumber daya rendah dengan rata-rata CPU 0,50% dan RAM 146,34 MB. Dengan demikian, arsitektur pipeline ETL otomatis berbasis Python efektif untuk pengumpulan data media sosial secara terstruktur, efisien, dan berkelanjutan sebagai alternatif keterbatasan akses API platform X.

References

Amanda, A. F., & Waspodo, B. (2025). Implementation of Extract, Transform, Load (ETL) Method for Sales Data Visualization Using Google Looker Studio. Jurnal Ilmiah Media Sisfo, 19(2), 124–134. https://doi.org/10.33998/mediasisfo.2025.19.2.2547

Amirullah, F., Alam, S., Sulistyo, M. I. (2023). Analisis Sentimen Terhadap Kinerja KPU Menjelang Pemilu 2024 Berdasarkan Opini Twitter Menggunakan Naive Bayes. Jurnal Ilmiah Teknik dan Ilmu Komputer, 2(3), 69–76.

Andriansyah, D. (2022). Implementasi Extract-Transform-Load (ETL) Data Warehouse Laporan Harian Pool. Jurnal Teknik Informatika, 8(2), 45-49. https://doi.org/10.51998/jti.v8i2.486

Baiochi, J., Bernardi, F., Yamada, D., Felix, T., Ferraz, V., Lima, V., & Alves, D. (2025). Development of an Infrastructure and Computational Pipeline for Analyzing Rare Disease Research Data: A Case Study in the State of Sao Paulo, Brazil. Procedia Computer Science, 256, 1341–1349. https://doi.org/10.1016/j.procs.2025.02.247

Barutu, S., Silalahi, R. J., Tambunan, Y., Lipipian, P. A., & Yohannes, Y. (2025). Analisis Sentimen Masyarakat Mengenai Revisi UU TNI di X Menggunakan Metode Naïve Bayes. Jurnal Informatics and Computer Engineering Journal, 5(2). 105-114. https://doi.org/10.31294/icej.v5i2.9544

Bintang, A., Hananto, A. L., & Hananto, A. (2025). Telegram BOT Application Development Integration with Google Sheets for Sending Service Reporting. Journal of Artificial Intelligence and Engineering Applications (JAIEA), 4(3), 2208-2214. https://doi.org/10.59934/jaiea.v4i3.1136

Blakey, E. (2024). The Day Data Transparency Died: How Twitter/X Cut Off Access for Social Research. Contexts, 23(2), 30–35. https://doi.org/10.1177/15365042241252125

Brewer, R., Westlake, B., Arauza, O., & Hart, T. (2021). The Ethics of Web Crawling and Web Scraping in Cybercrime Research: Navigating Issues of Consent, Privacy, and Other Potential Harms Associated with Automated Data Collection. Researching Cybercrimes: Methodologies, Ethics, and Critical Approaches, 435–456. https://doi.org/10.1007/978-3-030-74837-1_22

Chanda, D. (2024). Automated ETL Pipelines for Modern Data Warehousing: Architectures, Challenges, and Emerging Solutions. The Eastasouth Journal of Information System and Computer Science, 1(3), 209–212. https://doi.org/10.58812/esiscs.v1i03

Fadhlullah, N., Setiawansyah, S., & Surahman, A. (2022). Penerapan Teknologi Web Scraping Sebagai Pengumpulan Data Covid-19 Di Provinsi Lampung. Jurnal Informatika Dan Rekayasa Perangkat Lunak (JATIKA), 3(1), 25–30. https://doi.org/10.33365/jatika.v3i1.1841

Firdonsyah, A., & Tyas, Z. A. (2021). Peningkatan pengetahuan remaja tentang bijak menggunakan media sosial di SMU Muhammadiyah Gombong. Jurnal Pengabdian Masyarakat, 1(1), 38-45. https://doi.org/10.31101/hayina.2227

Flores, V. A., Permatasari, P. A., & Jasa, L. (2020). Penerapan Web Scraping Sebagai Media Pencarian dan Menyimpan Artikel Ilmiah Secara Otomatis Berdasarkan Keyword. Majalah Ilmiah Teknologi Elektro, 19(2), 157. https://doi.org/10.24843/mite.2020.v19i02.p06

Ghani, R. A., & Kurniawan, R. (2024). Implementasi Extract, Transform, Load Process Pada Perancangan Data Warehouse Terkait Kualitas Pendidikan Di Kabupaten Serang. In Jurnal Mahasiswa Teknik Informatika, 8(2), 2083-2090. https://doi.org/10.36040/jati.v8i2.9081

Javier, N., Satoto, B. D., & Negara, Y. D. P. (2025). Implementasi Teknik Web Scraping Untuk Pengumpulan Data Laporan Keuangan Perusahaan Di Bursa Efek Indonesia (IDX). In Jurnal Mahasiswa Teknik Informatika), 9(2), 2789- 2795.

Kiftiyah, A., Palestina, F. A., Abshar, F. U., & Rofiah, K. (2025). Program Makan Bergizi Gratis (MBG) dalam Perspektif Keadilan Sosial dan Dinamika Sosial – Politik. Pancasila: Jurnal Keindonesiaan, 5(1), 101–112. https://doi.org/10.52738/pjk.v5i1.726

Kridono, P. K., & Maukar. (2025). Pengembangan Dashboard Analitik Real-time Berbasis BPMN Camunda untuk Optimalisasi Proses Produksi dan Distribusi di Industri Maklon. Decode: Jurnal Pendidikan Teknologi Informasi, 5(2), 429–442. https://doi.org/10.51454/decode.v5i2.1126

Kupfer, A. (2024). Nonrandom Tweet Mortality and Data Access Restrictions: Compromising the Replication of Sensitive Twitter Studies. Political Analysis, 32(4), 493–506. https://doi.org/10.1017/pan.2024.7

Lediwara, N., Bimorogo, S. D., Heikmakhtiar, A. K., Gainal, I. J., Karomah, S. N., & Fahmi, K. (2024). Sentiment Analysis About UNHAN RI Through Twitter Social Media. Antivirus : Jurnal Ilmiah Teknik Informatika, 18(2), 212–221. https://doi.org/10.35457/antivirus.v18i2.3902

Maskhuri, A., & Hardiani, T. (2025). Analisis Sentimen Pengguna pada Aplikasi Tokopedia Menggunakan Algoritma Convolutional Neural Network. Technology and Science (BITS), 6(4). https://doi.org/10.47065/bits.v6i4.6923

Mnsen, H. K. I., Purnomosidi, B., Kartadie, R., & Kurnaedi, D. (2024). Data Pipeline Architecture For Academic Information System At Akademi Teknik Biak. Journal of Intelligent Software Systems, 3(1), 1-6. https://doi.org/10.26798/jiss.v3i1.1335

Murtfeldt, R., Paik, S., Alterman, N., Kahveci, I., & West, J. D. (2024). RIP Twitter API: A Eulogy to Its Vast Research Contributions. Cornell University, 1, 1-34.

Octiva, C. S., Fajri, T. I., Sulistiarini, E. B., Suharjo, S., & Nuryanto, U. W. (2024). Penggunaan Teknik Data Mining untuk Analisis Perilaku Pengguna pada Media Sosial. Jurnal Minfo Polgan, 13(1), 1074–1078. https://doi.org/10.33395/jmp.v13i1.13936

Ogunsola, K. O., Balogun, E. D., & Ogunmokun, A. S. (2022). Developing an Automated ETL Pipeline Model for Enhanced Data Quality and Governance in Analytics. International Journal of Multidisciplinary Research and Growth Evaluation., 3(1), 791–796. https://doi.org/10.54660/.ijmrge.2022.3.1.791-796

Trezza, D. (2023). To Scrape or not to Scrape, This is Dilemma. The post-API Scenario and Implications on Digital Research. Frontiers in Sociology 8, 1-8. https://doi.org/10.3389/fsoc.2023.1145038

Artika, R. D., Rafifah, N. N., Dina, P. A., & Rozikin, C. (2025). Perancangan Data Pipeline Untuk Analisis Pola Perjalanan Dan Permintaan Layanan Transjakarta. Jurnal Informatika Dan Teknik Elektro Terapan, 13(3S1). https://doi.org/10.23960/jitet.v13i3S1.8051

Staneva, V., Butala, S., Setiawan, L. (Don), & Lee, W.-J. (2024). Echodataflow: Recipe-based Fisheries Acoustics Workflow orchestration. Proceedings of the 23rd Python in Science Conference, 349–365. https://doi.org/10.25080/jxdk4427

Suhendra, S., & Pratiwi, F. S. (2024). Peran Komunikasi Digital dalam Pembentukan Opini Publik: Studi Kasus Media Sosial. Iapa Proceedings Conference, 293. https://doi.org/10.30589/proceedings.2024.1059

Widcaksono, A., & Silmina, E. P. (2023). Rancang Bangun Sistem Informasi Back Office Aplikasi Telemedicine Sebagai Media Pembelajaran. Jurnal Informatika Terpadu, 9(2), 119–125. https://doi.org/10.54914/jit.v9i2.973

Yasmin, J., Wang, J., Tian, Y., & Adams, B. (2024). An empirical study of developers’ challenges in implementing Workflows as Code: A case study on Apache Airflow. Journal of Systems and Software, 219, 112248. https://doi.org/10.1016/j.jss.2024.112248

Yuniar, E., Utsalinah, D. S., & Wahyuningsih, D. (2022). Implementasi Scrapping Data Untuk Sentiment Analysis Pengguna Dompet Digital dengan Menggunakan Algoritma Machine Learning. Jurnal Janitra Informatika Dan Sistem Informasi, 2(1), 35–42. https://doi.org/10.25008/janitra.v2i1.145

Zulaika, N., Lestari, D., & Istiqomah, H. (2025). Tantangan Implementasi dan Akuntabilitas Anggaran Program Makanan Bergizi Gratis (MBG) Berdasarkan Instruksi Presiden Nomor 1 Tahun 2025. Jurnal Penelitian Ilmiah Multidisipliner, 1(03), 426–435.