Si të Ndërtosh Projektin Tënd të Parë me AI dhe Machine Learning

Artificial Intelligence është një fushë e teknologjisë që synon të krijojë sisteme të afta të kryejnë detyra që zakonisht kërkojnë inteligjencë njerëzore. Këtu përfshihen njohja e imazheve, përpunimi i gjuhës, parashikimi dhe vendimmarrja.

Machine Learning është një degë e AI. Në vend që programuesi të shkruajë çdo rregull manualisht, algoritmi mëson modele nga të dhënat dhe i përdor ato për të bërë parashikime.

Nëse duam të identifikojmë klientët që mund të largohen nga një kompani, një program tradicional do të kërkonte rregulla të shkruara paraprakisht. Me Machine Learning, modeli analizon shembuj historikë dhe mëson cilat karakteristika lidhen me largimin e klientëve.

Jo. Projekti i parë nuk duhet të jetë një chatbot i avancuar ose një sistem që konkurron me platformat e mëdha të AI.

Qëllimi i parë është të kuptosh procesin:

1. Përcaktimi i problemit
2. Mbledhja e të dhënave
3. Pastrimi i tyre
4. Analiza dhe vizualizimi
5. Ndarja në Training Data dhe Test Data
6. Trajnimi i modelit
7. Matja e performancës
8. Interpretimi i rezultateve
9. Prezantimi i projektit
   
   

Një projekt i vogël dhe i përfunduar ka më shumë vlerë për portofolin sesa një ide shumë e madhe që mbetet e papërfunduar.

Nuk duhet të jesh ekspert, por rekomandohet të kesh disa njohuri bazë.

Python

Duhet të kuptosh:

• Variables
• Data Types
• Lists dhe Dictionaries
• Conditions
• Loops
• Functions
• Importimin e libraries
• Leximin e skedarëve CSV
  
  

Matematikë dhe statistikë

Për projektin e parë mjafton të njohësh:

• Mean dhe Median
• Percentage
• Minimum dhe Maximum
• Standard Deviation
• Correlation
• Probability bazë
• Leximin e grafikëve
  
  

Nuk kërkohet matematikë e avancuar për të filluar. Google rekomandon njohuri bazë në Python, algjebër, grafikë dhe statistikë për të punuar me materialet praktike të Machine Learning.

Data Analysis

Duhet të jesh në gjendje të:

• Lexosh një dataset
• Kontrollosh kolonat
• Identifikosh vlerat që mungojnë
• Analizosh shpërndarjen e të dhënave
• Krijosh grafikë bazë
• Kuptosh marrëdhëniet mes variablave

Qëllimi i parë është të kuptosh procesin:

1. Përcaktimi i problemit
2. Mbledhja e të dhënave
3. Pastrimi i tyre
4. Analiza dhe vizualizimi
5. Ndarja në Training Data dhe Test Data
6. Trajnimi i modelit
7. Matja e performancës
8. Interpretimi i rezultateve
9. Prezantimi i projektit
   
   

Një projekt i vogël dhe i përfunduar ka më shumë vlerë për portofolin sesa një ide shumë e madhe që mbetet e papërfunduar.

Për një projekt fillestar mund të përdorësh:

• Python për programim
• Google Colab ose Jupyter Notebook për ekzekutimin e kodit
• pandas për përpunimin e të dhënave
• NumPy për llogaritje numerike
• Matplotlib dhe Seaborn për grafikë
• scikit-learn për Machine Learning
• GitHub për publikimin e projektit
• Streamlit për krijimin e një aplikacioni të thjeshtë
  
  

Scikit-learn mbështet supervised dhe unsupervised learning dhe përmban mjete për preprocessing, model selection dhe evaluation.

Në fillim nuk është e nevojshme të instalosh programe të komplikuara. Google Colab funksionon në browser dhe të lejon të shkruash Python pa bërë konfigurime të gjata. Edhe tutorialet zyrtare të TensorFlow mund të hapen drejtpërdrejt në Colab.

Projekti duhet të plotësojë katër kushte:

• Të ketë një problem të qartë
• Të përdorë një dataset të kuptueshëm
• Të mund të përfundohet brenda pak javësh
• Të ketë rezultate që mund të shpjegohen
  
  

Shembuj të përshtatshëm janë:

• Parashikimi i çmimit të banesave
• Klasifikimi i mesazheve spam
• Parashikimi i largimit të klientëve
• Analiza e komenteve pozitive dhe negative
• Parashikimi i shitjeve
• Klasifikimi i luleve Iris
  
  

Për këtë udhëzues do të përdorim si shembull një projekt për parashikimin e largimit të klientëve, i njohur si Customer Churn Prediction.

Qëllimi është të ndërtohet një model që parashikon nëse një klient rrezikon të largohet nga një kompani.

Ky është një projekt i mirë sepse kombinon analizën e të dhënave, classification, model evaluation dhe interpretimin e rezultateve.

Hapi 1 – Përcakto problemin

Pyetja kryesore është:

A mund të përdorim të dhënat historike për të identifikuar klientët që kanë më shumë mundësi të largohen?

Target-i mund të jetë një kolonë me dy rezultate:

• 0 – klienti qëndron
• 1 – klienti largohet

Ky është një problem Binary Classification, sepse modeli zgjedh mes dy klasave.

Hapi 2 – Zgjidh dataset-in

Dataset-i mund të përmbajë informacione si:

• Kohëzgjatja si klient
• Lloji i kontratës
• Pagesa mujore
• Numri i shërbimeve
• Metoda e pagesës
• Kërkesat për suport
• Statusi i largimit
  
  

Përdor vetëm të dhëna publike ose të dhëna që ke të drejtë t’i analizosh. Mos publiko emra, adresa, numra telefoni apo informacione të tjera personale.

Hapi 3 – Eksploro të dhënat

Hap dataset-in dhe kontrollo:

• Numrin e rreshtave dhe kolonave
• Emrat e kolonave
• Data Types
• Vlerat që mungojnë
• Duplicate rows
• Vlerat e pazakonta
• Shpërndarjen e target-it
  
  

Pyetjet kryesore mund të jenë:

• Sa klientë janë larguar?
• A largohen më shumë klientët me kontrata mujore?
• A ndikon pagesa mujore?
• A ka lidhje mes kohëzgjatjes si klient dhe largimit?
  
  

Exploratory Data Analysis nuk bëhet vetëm për të krijuar grafikë. Ajo të ndihmon të kuptosh problemin dhe të dallosh gabime përpara trajnimit.

Hapi 4 – Pastro dhe përgatit të dhënat

Në këtë fazë duhet të:

• Heqësh duplicate records
• Trajtosh missing values
• Korrigjosh Data Types
• Largosh kolonat e panevojshme
• Transformosh kategoritë në numra
• Standardizosh kolonat numerike kur është e nevojshme
  
  

Kolona si Contract Type nuk mund të përdoret drejtpërdrejt nga shumica e modeleve. Ajo mund të transformohet me One-Hot Encoding.

Ruaj çdo hap të preprocessing-ut, sepse modeli duhet të marrë të njëjtin format të dhënash edhe kur përdoret për parashikime të reja.

Hapi 5 – Ndaj Training Data dhe Test Data

Të dhënat zakonisht ndahen në:

• Training Set, që përdoret për trajnimin
• Test Set, që përdoret për vlerësimin
  
  

Një ndarje e zakonshme është 80% për trajnim dhe 20% për testim.

Modeli nuk duhet të trajnohet me Test Data. Nëse informacioni nga testi kalon te procesi i trajnimit, krijohet Data Leakage dhe rezultatet mund të duken më të mira se performanca reale.

Scikit-learn rekomandon përdorimin e pipelines për të lidhur preprocessing-un me modelin dhe për të zvogëluar rrezikun e data leakage.

Hapi 6 – Krijo një baseline

Baseline është rezultati më i thjeshtë me të cilin krahasohet modeli.

Nëse 80% e klientëve nuk largohen, një sistem që parashikon gjithmonë “nuk largohet” do të kishte 80% accuracy. Modeli yt duhet të japë më shumë vlerë se ky rezultat fillestar.

Baseline të pengon të impresionohesh nga një përqindje që duket e lartë, por nuk e zgjidh realisht problemin.

Hapi 7 – Trajno modelet

Për projektin e parë mund të provosh:

• Logistic Regression
• Decision Tree
• Random Forest

Fillo me Logistic Regression, sepse është relativisht e thjeshtë për t’u interpretuar. Më pas krahasoje me Decision Tree ose Random Forest.

Nuk është e nevojshme të testosh dhjetëra algoritme. Dy ose tre modele të shpjeguara mirë janë të mjaftueshme për një projekt fillestar.

Hapi 8 – Vlerëso performancën

Accuracy nuk mjafton gjithmonë. Për classification duhet të analizosh:

• Accuracy – sa parashikime totale ishin të sakta
• Precision – sa nga klientët e parashikuar si të larguar u larguan realisht
• Recall – sa nga klientët që u larguan u identifikuan nga modeli
• F1-score – ekuilibri mes Precision dhe Recall
• Confusion Matrix – paraqitja e parashikimeve të sakta dhe të gabuara
  
  

Nëse kompania dëshiron të identifikojë sa më shumë klientë në rrezik, Recall mund të jetë më i rëndësishëm se Accuracy.

Zgjedhja e metric duhet të lidhet me objektivin e biznesit dhe me koston e gabimeve.

Hapi 9 – Interpreto rezultatet

Mos u mjafto me një rezultat si “modeli arriti 84% accuracy”.

Shpjego:

• Cili model performoi më mirë?
• Cilat karakteristika ndikuan më shumë?
• Çfarë gabimesh bëri modeli?
• Si mund të përdoren rezultatet?
• Cilat janë kufizimet?
  
  

Për shembull, analiza mund të tregojë se klientët me kontrata mujore dhe pagesa të larta kanë rrezik më të madh largimi. Kompania mund ta përdorë këtë informacion për të krijuar oferta ose komunikime të personalizuara.

Megjithatë, modeli nuk provon domosdoshmërisht marrëdhënie shkak–pasojë. Ai identifikon modele brenda të dhënave që i janë dhënë.

Hapi 10 – Prezanto projektin

Një projekt i mirë duhet të jetë i kuptueshëm edhe nga një person që nuk lexon kod.

Përgatit:

• Përshkrimin e problemit
• Burimin e dataset-it
• Hapat e pastrimit
• Grafikët kryesorë
• Modelet e testuara
• Metrics
• Përfundimet
• Kufizimet
• Rekomandimet
  
  

Mund të krijosh edhe një aplikacion të vogël me Streamlit, ku përdoruesi vendos disa të dhëna dhe merr parashikimin e modelit.

Repository mund të organizohet kështu:

• README.md
• data
• notebooks
• src
• images
• requirements.txt
  
  

README duhet të tregojë:

1. Çfarë problemi zgjidh projekti
2. Çfarë të dhënash përdor
3. Si u përpunuan të dhënat
4. Cilat modele u testuan
5. Çfarë rezultatesh u arritën
6. Si mund të ekzekutohet projekti
7. Cilat janë kufizimet
   
   

Mos publiko vetëm notebook-un. Recruiter-i ose klienti duhet ta kuptojë projektin pa analizuar çdo rresht kodi.

Java 1–2: Python dhe Data Analysis

• Python bazë
• NumPy dhe pandas
• Leximi i CSV
• Data cleaning
• Grafikë me Matplotlib dhe Seaborn
  
  

Java 3–4: Bazat e Machine Learning

• Supervised dhe Unsupervised Learning
• Regression dhe Classification
• Features dhe Target
• Training dhe Test Data
• Overfitting
• Model evaluation
  
  

Java 5–6: Ndërtimi i projektit

• Zgjedhja e dataset-it
• Exploratory Data Analysis
• Preprocessing
• Baseline
• Trajnimi i modeleve
• Krahasimi i metrics
  
  

Java 7–8: Përfundimi dhe publikimi

• Interpretimi i rezultateve
• Përmirësimi i notebook-ut
• Krijimi i README
• Publikimi në GitHub
• Krijimi i prezantimit ose aplikacionit
• Përgatitja për intervistë

Zgjedhja e një projekti shumë të madh

Fillo me një problem që mund ta përfundosh. Kompleksitetin mund ta shtosh në versionet e ardhshme.

Kopjimi i notebook-ut

Nëse kopjon kod pa e kuptuar, nuk do të jesh në gjendje ta shpjegosh në intervistë. Shkruaje vetë analizën dhe dokumento vendimet.

Fokusimi vetëm te modeli

Pjesa më e madhe e punës lidhet me kuptimin, pastrimin dhe përgatitjen e të dhënave.

Përdorimi vetëm i Accuracy

Zgjidh metrics sipas problemit. Në datasets të pabalancuara, Accuracy mund të jetë mashtruese.

Data Leakage

Mos përdor informacione nga Test Set gjatë preprocessing-ut ose trajnimit.

Mungesa e dokumentimit

Një projekt pa README dhe pa shpjegim humbet shumë nga vlera e tij profesionale.

Një model mund të trashëgojë gabime dhe paragjykime nga të dhënat. Për këtë arsye duhet të kontrollosh:

• Burimin dhe cilësinë e të dhënave
• Privatësinë
• Përfaqësimin e grupeve
• Gabimet e modelit
• Transparencën
• Ndikimin te përdoruesit
  
  

NIST e paraqet menaxhimin e rrezikut si pjesë të projektimit, zhvillimit, përdorimit dhe vlerësimit të sistemeve AI. Karakteristikat e rëndësishme përfshijnë sigurinë, transparencën, shpjegueshmërinë, privatësinë dhe trajtimin e paragjykimeve të dëmshme.

Modeli i parë duhet të prezantohet si eksperiment edukativ dhe jo si sistem i gatshëm për vendime kritike.

Pas projektit të parë mund të ndërtosh:

1. House Price Prediction – Regression
2. Spam Email Classifier – Text Classification
3. Sales Forecasting – Time Series
4. Sentiment Analysis – Natural Language Processing
5. Customer Segmentation – Clustering
6. Image Classifier – Computer Vision
7. Recommendation System – Product Recommendations
   
   

Zgjidh projekte nga fusha të ndryshme, por përfundoji një nga një.

Njohuritë në AI, Machine Learning dhe Data mund të të ndihmojnë të zhvillohesh drejt roleve si:

• Junior Data Analyst
• Data Analyst
• Junior Data Scientist
• Machine Learning Intern
• Python Developer
• Business Intelligence Analyst
• AI Application Developer
• Machine Learning Engineer
  
  

Për rolet fillestare, punëdhënësit kërkojnë jo vetëm certifikata, por edhe aftësinë për të analizuar një problem, për të punuar me të dhëna dhe për të shpjeguar rezultatet.

Në DTI, studentët mund të ndërtojnë bazat në Python, Data Analysis, Data Science dhe AI përmes mësimit të orientuar drejt praktikës.

Procesi fillon me programimin dhe përpunimin e të dhënave, vazhdon me vizualizimin, statistikën dhe algoritmet e Machine Learning dhe përfundon me projekte që mund të publikohen në portofol.

Me live sessions, mentorim, projekte praktike dhe akses lifetime, studentët mund të zhvillojnë gradualisht aftësitë e nevojshme për të punuar me probleme reale dhe për t’i prezantuar zgjidhjet profesionalisht.

A mund të mësoj Machine Learning pa eksperiencë?

Po. Fillo me Python, analizën e të dhënave dhe statistikën bazë. Pastaj kalo gradualisht te algoritmet.

A duhet të di matematikë të avancuar?

Jo për projektin e parë. Algjebra dhe statistika bazë janë të mjaftueshme për të filluar.

Cili është projekti më i mirë për fillestarët?

Parashikimi i çmimeve, klasifikimi i spam-it dhe Customer Churn janë zgjedhje të mira sepse kanë objektiva të qarta dhe datasets të kuptueshme.

A duhet të përdor TensorFlow?

Jo domosdoshmërisht. Për projektet e para me të dhëna të strukturuara, scikit-learn është zakonisht i mjaftueshëm. TensorFlow mund të mësohet më vonë për Neural Networks dhe Deep Learning.

Sa kohë kërkon projekti i parë?

Me praktikë të rregullt, një projekt fillestar mund të përfundohet brenda katër deri në tetë javë.

A duhet ta publikoj projektin në GitHub?

Po. GitHub të ndihmon të prezantosh kodin, dokumentimin dhe mënyrën e zgjidhjes së problemit.

A duhet ta vendos modelin online?

Nuk është e detyrueshme, por një demo e thjeshtë me Streamlit mund ta bëjë portofolin më tërheqës.

Kalo nga teoria te praktika duke mësuar Python, Data Analysis dhe Machine Learning përmes projekteve reale. Ndërto një portofol që demonstron mënyrën si analizon të dhënat, trajnon modele dhe prezanton rezultate.

Dëshiron të mësosh me live sessions, mentorim, projekte praktike dhe akses lifetime? Zbulo programin përkatës në DTI.

DTI — Learn What Matters.