Penelitian ini bertujuan untuk membangun sebuah kerangka kerja tokenisasi berdasarkan struktur kalimat bahasa Indonesia. Tokenisasi akan menghasilkan token baik berupa kata tunggal maupun multi kata, yang berbeda dengan konsep tokenisasi umum yang hanya menghasilkan token kata tunggal saja. Untuk menghasilkan token seperti diatas, Penelitian Disertasi ini menggunakan metode ekstraksi struktur k…