#BelajarPython 9: Operasi ‘Tokenizing’ pada Teks Berbahasa Indonesia
Aditya Rizki
Tokenizing adalah operasi memisahkan teks menjadi potongan-potongan berupa token sebelum dianalisis lebih lanjut. Entitas yang bisa disebut sebagai token misalnya kata, angka, simbol, tanda baca, dan lain sebagainya.