10 Astuces Pandas Qui Rendront Votre Travail Plus Efficace

La bibliothèque python pandas est un projet open source qui fournit une variété d'outils faciles à utiliser pour la manipulation et l'analyse de données. Un temps considérable dans tout projet d'apprentissage automatique devra être consacré à la préparation des données et à l'analyse des tendances et des modèles de base, avant de créer des modèles. Dans le post suivant, je souhaite présenter brièvement les différents outils disponibles dans les pandas pour manipuler, nettoyer, transformer et analyser les données avant de me lancer dans la construction de modèles. Tout au long de cet article, j'utiliserai un ensemble de données de disponible ici. Cela peut également être téléchargé à partir de la base de données des maladies cardiaques de Cleveland. Chapitre 1 : Manipuler les données - Python site. Les données d'entraînement comprennent deux fichiers csv distincts, l'un contenant des caractéristiques concernant un certain nombre de patients, et le second contenant une étiquette binaire « heart_disease_present », qui représente si le patient a ou non une maladie cardiaque.

1. Manipulation des données avec pandas film
2. Manipulation des données avec pandasecurity.com
3. Manipulation des données avec pandas merge
4. Manipulation des données avec pandas 2
5. Manipulation des données avec pandas de la

Manipulation Des Données Avec Pandas Film

Dans le code ci-dessous, je démontre comment vous pouvez utiliser d'autres fonctions pandas pratiques, select_dtypes et lumns, pour remplir uniquement les valeurs numériques avec la moyenne. Visualiser des données Tracer chez les pandas n'est pas vraiment chic, mais si vous souhaitez identifier rapidement certaines tendances à partir de données, cela peut souvent être le moyen le plus efficace de le faire. La fonction de traçage de base consiste simplement à appeler () sur une série ou une trame de données. Manipulation de données pour l'apprentissage automatique avec Pandas | Cadena Blog. Le tracé dans pandas fait référence à l'API matplotlib, vous devez donc d'abord importer matplotlib pour y accéder. Cette fonction prend en charge de nombreux types de visualisation différents, notamment des lignes, des barres, des histogrammes, des diagrammes en boîte et des diagrammes de dispersion. Là où la fonction de traçage dans pandas devient vraiment utile, c'est lorsque vous la combinez avec d'autres fonctions d'agrégation de données. Je vais donner quelques exemples ci-dessous.

Manipulation Des Données Avec Pandasecurity.Com

Elle accepte un paramètre 'bfill' ou 'ffill'. En place: Cette option accepte une déclaration conditionnelle. Si elle est vraie, elle modifie le DataFrame de façon permanente. Sinon, elle ne le fait pas. Avant de commencer, assurez-vous d'installer pandas dans votre environnement virtuel Python en utilisant pip dans votre terminal: pip install pandas Ensuite, dans le script Python, nous allons créer un DataFrame d'entraînement et insérer des valeurs nulles (Nan) dans certaines lignes: import pandas df = Frame({'A': [0, 3, None, 10, 3, None], 'B': [Aucun, Aucun, 7. 13, 13. 82, 7, 7], 'C': [Aucun, « Pandas », Aucun, « Pandas », « Python », « JavaScript »]}) Maintenant, regardez comment vous pouvez remplir ces valeurs manquantes en utilisant les différentes méthodes disponibles dans Pandas. Introduction à Pandas. Remplir les valeurs manquantes avec la moyenne, la médiane ou le mode Cette méthode consiste à remplacer les valeurs manquantes par des moyennes calculées. Le remplissage des données manquantes avec une valeur moyenne ou médiane est applicable lorsque les colonnes concernées ont des types de données entiers ou flottants.

Manipulation Des Données Avec Pandas Merge

10. to_csv Là encore, c'est une méthode que tout le monde utilise. Je voudrais souligner deux astuces ici. La première est: print(df[:5]. to_csv()) Vous pouvez utiliser cette commande pour imprimer les cinq premières lignes de ce qui va être écrit exactement dans le fichier. Une autre astuce consiste à traiter les nombres entiers et les valeurs manquantes mélangés ensemble. Si une colonne contient à la fois des valeurs manquantes et des entiers, le type de données sera toujours float au lieu de int. Lorsque vous exportez le tableau, vous pouvez ajouter float_format='%. 0f' pour arrondir tous les floats aux entiers. Utilisez cette astuce si vous ne voulez que des sorties d'entiers pour toutes les colonnes – vous vous débarrasserez de tous les «. 0 » gênants. Manipulation des données avec pandas read. Si vous avez aimé ces 10 astuces très utiles sur Python avec la bibliothèque Pandas, vous aimerez lire 12 techniques de manipulation de données. N'hésitez pas à partager un maximum sur les réseaux sociaux 🙂

Manipulation Des Données Avec Pandas 2

Pour commencer, nous pouvons utiliser la fonction isna() pour comprendre le nombre de valeurs manquantes que nous avons dans nos données. La fonctionnalité de base de cela examine chaque valeur de chaque ligne et colonne et renvoie True si elle est manquante et false si ce n'est pas le cas. On peut donc écrire une fonction qui renvoie la fraction des valeurs manquantes dans chaque colonne. (lambda x: sum(()/len(train))) Dans cet ensemble de données, aucune valeur manquante n'est présente. Cependant, s'il y en avait, nous pourrions utiliser () pour remplacer par une autre valeur, ou nous pourrions utiliser () pour supprimer les lignes contenant les valeurs manquantes. Lorsque vous utilisez fillna(), vous disposez d'un certain nombre d'options. Vous pouvez remplacer par une valeur statique qui peut être une chaîne ou un nombre. Manipulation des données avec pandas de la. Vous pouvez également remplacer par un calcul tel que la moyenne. Il est très probable que vous devrez utiliser une stratégie différente pour différentes colonnes en fonction des types de données et du volume de valeurs manquantes.

Manipulation Des Données Avec Pandas De La

De plus, si vous connaissez les types de données de quelques colonnes spécifiques, vous pouvez ajouter l'argument dtype = {'c1': str, 'c2': int, …} pour que le chargement soit plus rapide. Autre avantage de cet argument: si vous avez une colonne qui contient à la fois des chaînes de caractères et des chiffres, il est bon de déclarer que son type est une chaîne de caractères, afin de ne pas obtenir d'erreurs en essayant de fusionner des tableaux en utilisant cette colonne comme clé. df = ad_csv('', usecols = ['c1', 'c2'], dtype = {'c1': str, 'c2': float}) 2. select_dtypes Si le pré-traitement des données doit être effectué en Python, la méthode select_dtypes vous fera gagner du temps. Manipulation des données avec pandas le. Après lecture dans un tableau, les types de données par défaut pour chaque colonne pourraient être bool, int64, float64, object, category, timedelta64, ou datetime64. Vous pouvez d'abord vérifier la répartition avec: () Cela permet de connaître tous les types de données possibles de votre DataFrame, puis vous tapez: lect_dtypes(include=['float64', 'int64']) afin de sélectionner un sous-DataFrame avec uniquement des caractéristiques numériques (avec float et int).

Il est donc nécessaire de transformer toutes les entités non numériques, et de manière générale, la meilleure façon de le faire est d'utiliser un encodage à chaud. Pandas a une méthode pour cela appelée get_dummies. Cette fonction, lorsqu'elle est appliquée à une colonne de données, convertit chaque valeur unique en une nouvelle colonne binaire. train = ('patient_id', axis=1) train = t_dummies(train, lect_dtypes('object'). columns) Une autre façon de transformer une fonctionnalité pour l'apprentissage automatique est le binning. Un exemple de cet ensemble de données est la fonction âge. Il peut être plus significatif de regrouper les âges en plages (ou bacs) pour que le modèle apprenne. Pandas a également une fonction qui peut être utilisée pour cela. bins = train = (train, bins) lue_counts()(kind='bar') Ceci n'est qu'une introduction à certaines des fonctionnalités de pandas à utiliser dans les premières étapes d'un projet d'apprentissage automatique. Il y a beaucoup plus d'aspects à la fois à la manipulation et à l'analyse des données, et à la bibliothèque pandas elle-même.