Simfoni Penguraian Semantik: Memanfaatkan LLM dan Graf Pengetahuan untuk Web Scraping Adaptif Tanpa Selektor CSS

Selama lebih dari dua dekade, aktivitas web scraping sangat bergantung pada stabilitas struktur dokumen HTML. Para engineer menghabiskan ribuan jam menulis dan memelihara selektor CSS atau ekspresi XPath yang rumit. Namun, di era web modern yang dinamis—di mana class name di-generate secara acak oleh bundler seperti Tailwind CSS atau Next.js (misalnya, class="sc-bdvvaa hKtvYp"), dan struktur DOM berubah setiap kali ada pembaruan visual—metode berbasis selektor hard-coded ini menjadi sangat rapuh. Ketika elemen visual bergeser satu piksel atau berganti nama class, skrip scraping konvensional akan patah, menyebabkan data pipeline terhenti secara tak terduga.

Untuk mengatasi batasan fundamental ini, kita harus meninggalkan paradigma berbasis lokasi visual (di mana data berada) dan beralih ke paradigma Penguraian Semantik (apa arti dari data tersebut). Artikel ini akan membahas pendekatan mutakhir: mengawinkan Large Language Models (LLM) berukuran kecil (lokal) dengan Knowledge Graphs (Graf Pengetahuan) untuk membangun sistem ekstraksi data yang kebal terhadap perubahan struktur HTML.

---

Batasan Paradigma Lama: Mengapa CSS Selektor Harus Pensiun

Pendekatan tradisional memperlakukan halaman web sebagai hierarki string statis. Perhatikan potongan kode HTML berikut yang sering ditemukan pada platform e-commerce modern: