Data Jobs
Application interactive de classification des métiers Data à partir des compétences techniques.
Le projet
Data Jobs est une application Python et Streamlit qui explore les liens entre les compétences techniques et les métiers Data Analyst, Data Engineer et Data Scientist. Un modèle de classification entraîné sur des offres d'emploi françaises classe les métiers selon les compétences sélectionnées. L'application présente également les compétences les plus fréquentes dans les annonces de chaque métier.
Fonctionnalités principales
- Sélection interactive des compétences à partir du vocabulaire du modèle.
- Classement des métiers Data selon les scores du modèle de classification.
- Visualisation des résultats sous forme de tableau et de graphique.
- Exploration des compétences fréquentes pour Data Analyst, Data Engineer et Data Scientist.
- Identification des compétences fréquentes absentes de la sélection actuelle.
- Déduplication des annonces pour limiter le poids des republications dans les statistiques.
Architecture technique
Du traitement des offres d'emploi à la classification des métiers Data selon les compétences sélectionnées.
Corpus d'offres d'emploi
Chargement du jeu de données préparé contenant les métiers et compétences issus des offres françaises.
Analyse des compétences
Déduplication des groupes d'annonces, extraction des compétences et calcul de leurs fréquences par métier.
Modèle de classification
Chargement d'un modèle sauvegardé avec Joblib et classement des métiers selon les compétences sélectionnées.
Interface Streamlit
Sélection des compétences, affichage des scores et exploration des compétences fréquentes par métier.
Choix techniques
Random Forest
Modèle de classification supervisée avec pondération des classes, évalué sur un jeu de test indépendant.
CountVectorizer
Transformation des compétences en variables binaires indiquant leur présence ou leur absence.
Streamlit et Pandas
Interface interactive, classement des métiers et calcul des fréquences de compétences par métier.