Machine Learning: Promos for our e-commerce
1:38 AM
Adapun feature - feature dalam dataset ini adalah :
- 'Daily Time Spent on Site' : lama waktu user mengunjungi site (menit)
- 'Age' : usia user (tahun)
- 'Area Income' : rata - rata pendapatan di daerah sekitar user
- 'Daily Internet Usage' : rata - rata waktu yang dihabiskan user di internet dalam sehari (menit)
- 'Ad Topic Line' : topik/konten dari promo banner
- 'City' : kota dimana user mengakses website
- 'Male' : apakah user adalah Pria atau bukan
- 'Country' : negara dimana user mengakses website
- 'Timestamp' : waktu saat user mengklik promo banner atau keluar dari halaman website tanpa mengklik banner
- 'Clicked on Ad' : mengindikasikan user mengklik promo banner atau tidak (0 = tidak; 1 = klik).
Di proyek ini, aku diharapkan untuk membuat machine learning model sesuai dengan prosedur machine learning yang sudah disharing sebelumnya. Jadi, tahap - tahap yang perlu dilakukan adalah (langkah ke-1) terlebih dahulu
- Data eksplorasi dengan head(), info(), describe(), shape
#import library
import pandas as pd
# Baca data 'ecommerce_banner_promo.csv'
data = pd.read_csv('https://dqlab-dataset.s3-ap-southeast-1.amazonaws.com/pythonTutorial/ecommerce_banner_promo.csv')
#1. Data eksplorasi dengan head(), info(), describe(), shape
print("\n[1] Data eksplorasi dengan head(), info(), describe(), shape")
print("Lima data teratas:")
print(data.head())
print("Informasi dataset:")
print(data.info())
print("Statistik deskriptif dataset:")
print(data.describe())
print("Ukuran dataset:")
print(data.shape)
""" Output
[1] Data eksplorasi dengan head(), info(), describe(), shape
Lima data teratas:
Daily Time Spent on Site Age ... Timestamp Clicked on Ad
0 68.95 35 ... 3/27/2016 0:53 0
1 80.23 31 ... 4/4/2016 1:39 0
2 69.47 26 ... 3/13/2016 20:35 0
3 74.15 29 ... 1/10/2016 2:31 0
4 68.37 35 ... 6/3/2016 3:36 0
[5 rows x 10 columns]
Informasi dataset:
RangeIndex: 1000 entries, 0 to 999
Data columns (total 10 columns):
Daily Time Spent on Site 1000 non-null float64
Age 1000 non-null int64
Area Income 1000 non-null float64
Daily Internet Usage 1000 non-null float64
Ad Topic Line 1000 non-null object
City 1000 non-null object
Male 1000 non-null int64
Country 1000 non-null object
Timestamp 1000 non-null object
Clicked on Ad 1000 non-null int64
dtypes: float64(3), int64(3), object(4)
memory usage: 78.2+ KB
None
Statistik deskriptif dataset:
Daily Time Spent on Site Age ... Male Clicked on Ad
count 1000.000000 1000.000000 ... 1000.000000 1000.00000
mean 65.000200 36.009000 ... 0.481000 0.50000
std 15.853615 8.785562 ... 0.499889 0.50025
min 32.600000 19.000000 ... 0.000000 0.00000
25% 51.360000 29.000000 ... 0.000000 0.00000
50% 68.215000 35.000000 ... 0.000000 0.50000
75% 78.547500 42.000000 ... 1.000000 1.00000
max 91.430000 61.000000 ... 1.000000 1.00000
[8 rows x 6 columns]
Ukuran dataset:
(1000, 10)
"""
- Data eksplorasi dengan dengan mengecek korelasi dari setiap feature menggunakan fungsi corr()
- Data eksplorasi dengan mengecek distribusi label menggunakan fungsi groupby() dan size()
#2. Data eksplorasi dengan dengan mengecek korelasi dari setiap feature menggunakan fungsi corr()
print("\n[2] Data eksplorasi dengan dengan mengecek korelasi dari setiap feature menggunakan fungsi corr()")
print(data.corr())
#
#3. Data eksplorasi dengan mengecek distribusi label menggunakan fungsi groupby() dan size()
print("\n[3] Data eksplorasi dengan mengecek distribusi label menggunakan fungsi groupby() dan size()")
print(data.groupby('Clicked on Ad').size())
""" Output
[3] Data eksplorasi dengan mengecek distribusi label menggunakan fungsi groupby() dan size()
Clicked on Ad
0 500
1 500
dtype: int64
"""
Di proyek ini, aku akan melanjutkan mengeksplorasi data dengan visualisasi dengan tahap - tahap yang perlu dilakukan adalah (langkah ke-4):
- Data eksplorasi dengan visualisasi:
- Jumlah user dibagi ke dalam rentang usia menggunakan histogram (hist()), gunakan bins = data.Age.nunique() sebagai argumen. nunique() adalah fungsi untuk menghitung jumlah data untuk setiap usia (Age).
- Gunakan pairplot() dari seaborn modul untuk menggambarkan hubungan setiap feature.
#import library
import matplotlib.pyplot as plt
import seaborn as sns
# Seting: matplotlib and seaborn
sns.set_style('whitegrid')
plt.style.use('fivethirtyeight')
#4. Data eksplorasi dengan visualisasi
#4a. Visualisasi Jumlah user dibagi ke dalam rentang usia (Age) menggunakan histogram (hist()) plot
plt.figure(figsize=(10, 5))
plt.hist(data['Age'], bins = data.Age.nunique())
plt.xlabel('Age')
plt.tight_layout()
plt.show()
#4b. Gunakan pairplot() dari seaborn (sns) modul untuk menggambarkan hubungan setiap feature.
plt.figure()
sns.pairplot(data)
plt.show()
Di bagian proyek (langkah ke-5) ini aku akan mengecek apakah terdapat missing value dari data, jika terdapat missing value dapat dilakukan treatment seperti didrop atau diimputasi dan jika tidak maka dapat melanjutkan ke langkah berikutnya.
- Cek missing value
#5. Cek missing value
print("\n[5] Cek missing value")
print(data.isnull().sum())
print(data.isnull().sum().sum())
""" Output
[5] Cek missing value
Daily Time Spent on Site 0
Age 0
Area Income 0
Daily Internet Usage 0
Ad Topic Line 0
City 0
Male 0
Country 0
Timestamp 0
Clicked on Ad 0
dtype: int64
0
"""
Pada langkah ke-6 ini aku akan melakukan pemodelan dengan Logistic Regression dengan cara seperti berikut:
- Lakukan pemodelan dengan Logistic Regression, gunakan perbandingan 80:20 untuk training vs testing :
- Deklarasikan data ke dalam X dengan mendrop feature/variabel yang bukan numerik, (type = object) dari data (Logistic Regression hanya dapat memproses numerik variabel). Assign Target/Label feature dan assign sebagai y
- Split X dan y ke dalam training dan testing dataset, gunakan perbandingan 80:20 dan random_state = 42
- Assign classifier sebagai logreg, kemudian fit classifier ke X_train dan predict dengan X_test. Print evaluation score.
#import library
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
#6.Lakukan pemodelan dengan Logistic Regression, gunakan perbandingan 80:20 untuk training vs testing
print("\n[6] Lakukan pemodelan dengan Logistic Regression, gunakan perbandingan 80:20 untuk training vs testing")
#6a.Drop Non-Numerical (object type) feature from X, as Logistic Regression can only take numbers, and also drop Target/label, assign Target Variable to y.
X = data.drop(['Ad Topic Line','City','Country','Timestamp','Clicked on Ad'], axis = 1)
y = data['Clicked on Ad']
#6b. splitting the data
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.20, random_state = 42)
#6c. Modelling
# Call the classifier
logreg = LogisticRegression()
# Fit the classifier to the training data
logreg = logreg.fit(X_train,y_train)
# Prediksi model
y_pred = logreg.predict(X_test)
#6d. Evaluasi Model Performance
print("Evaluasi Model Performance:")
print("Training Accuracy :", logreg.score(X_train, y_train))
print("Testing Accuracy :", logreg.score(X_test, y_test))
""" Output
[6] Lakukan pemodelan dengan Logistic Regression, gunakan perbandingan 80:20 untuk training vs testing
Evaluasi Model Performance:
Training Accuracy : 0.9
Testing Accuracy : 0.9
"""
Di langkah terakhir ini atau langkah ke-7 aku akan melihat performansi model dengan menggunakan confusion matrix dan classification report.
- Print Confusion matrix dan classification report
# Import library
from sklearn.metrics import confusion_matrix, classification_report
#7. Print Confusion matrix dan classification report
print("\n[7] Print Confusion matrix dan classification report")
#apply confusion_matrix function to y_test and y_pred
print("Confusion matrix:")
cm = confusion_matrix(y_test, y_pred)
print(cm)
#apply classification_report function to y_test and y_pred
print("Classification report:")
cr = classification_report(y_test, y_pred)
print(cr)
""" Output
[7] Print Confusion matrix dan classification report
Confusion matrix:
[[86 3]
[17 94]]
Classification report:
precision recall f1-score support
0 0.83 0.97 0.90 89
1 0.97 0.85 0.90 111
avg / total 0.91 0.90 0.90 200
"""
Berdasarkan hasil evaluasi, apakah model yang dibuat cukup baik untuk memprediksi user yang akan mengklik website atau tidak?
Metrik evaluasi apa yang tepat digunakan untuk mengevaluasi performansi dari model yang telah dilakukan training?
Model sudah sangat baik dalam memprediksi user yang akan mengklik website atau tidak, dapat dilihat dari nilai accuracy = 0.90; Dataset memiliki jumlah label yang seimbang (balance class), sehingga evaluasi performansi dapat menggunakan metrik Accuracy.
Penutup/Kesimpulan
Congratulations! Akhirnya selesai satu lagi modul Machine Learning With Python for Beginner. Berdasarkan materi-materi yang telah kupelajari dan praktekkan dalam modul ini, aku telah mendapatkan pengetahuan (knowledge) dan praktek (skill) yang diantaranya
- Memahami apa itu machine learning dengan jenisnya untuk pemodelan
- Memahami dan mampu melakukan Eksplorasi Data & Data Pre-processing
- Memahami dan mampu melakukan proses-proses Pemodelan dengan Scikit-Learn
- Memahami dan mampu melakukan proses-proses pemodelan dengan menggunakan algoritma pada Supervised Learning
- Memahami dan mampu melakukan proses-proses pemodelan dengan menggunakan algoritma pada Unsupervised Learning
- Mengerjakan mini project yang merupakan integrasi keseluruhan materi dan tentunya materi-materi pada modul-modul sebelumnya untuk menyelesaikan persolan bisnis.