Tokenizing adalah operasi memisahkan teks menjadi potongan-potongan berupa token sebelum dianalisis lebih lanjut. Entitas yang bisa disebut sebagai token misalnya kata, angka, simbol, tanda baca, dan lain sebagainya.
Data teks yang diperoleh dari berbagai macam sumber tentunya tidak serta merta mempunyai struktur yang pantas untuk diolah. Pada kebanyakan kasus, data tersebut cenderung memiliki struktur yang acak, sembarang, atau bahkan tidak terstruktur sama sekali.
Ide dasar kode program di bawah ini yaitu dengan cara mengumpulkan twit suatu akun, kemudian menghitung jumlah kata yang paling sering disebut. Selain menggunakan library Word Cloud, beberapa library lain yang dibutuhkan yaitu Tweepy, TextBlob, Pandas, Re (regex), Time, Json, serta Matplotlib.
Bagaimana jika data postingan yang kita ambil adalah data dari akun apa pun yang mengandung kata kunci tertentu. Kemudian hasilnya nanti kita simpan ke dalam sebuah file khusus berformat .csv.
Tutorial crawling data Twitter deng Tweepy. Sebelumnya kita perlu tahu bagaimana cara mengekstraksi data Twitter agar bisa dibaca oleh Python.
Dalam dunia pemrograman, file .csv (comma separated value) seringkali digunakan untuk merepresentasikan sebuah data. Format ini termasuk dalam standar file ASCII. Layaknya file .xls pada MS Excel atau format data JSON dalam JavaScript atau XML dalam penerapan web services.
File .csv merupakan format yang sederhana. Setiap baris dipisahkan dengan ganti baris (Enter) dan setiap kolom dipisahkan oleh tanda koma. Cara membuatnya pun sangat mudah, yaitu dengan menggunakan teks editor biasa, kemudian menyimpannya ke dalam ekstensi .csv. File .csv juga bisa didapatkan dengan cara mengekspor sebuah file MS Excel atau aplikasi pengolah data lainnya. Continue reading#BelajarPython 4: Membaca File CSV pada Python
