Ανάγνωση αρχείων CSV στο Python

Σε αυτό το σεμινάριο, θα μάθουμε να διαβάζουμε αρχεία CSV με διαφορετικές μορφές στο Python με τη βοήθεια παραδειγμάτων.

Θα χρησιμοποιήσουμε αποκλειστικά τη csvμονάδα που είναι ενσωματωμένη στην Python για αυτήν την εργασία. Αλλά πρώτα, θα πρέπει να εισαγάγουμε τη λειτουργική μονάδα ως:

 import csv 

Έχουμε ήδη καλύψει τα βασικά του τρόπου χρήσης της csvενότητας για ανάγνωση και εγγραφή σε αρχεία CSV. Εάν δεν έχετε ιδέα να χρησιμοποιήσετε τη csvλειτουργική μονάδα, ρίξτε μια ματιά στο σεμινάριό μας για το Python CSV: Διαβάστε και γράψτε αρχεία CSV

Βασική χρήση του csv.reader ()

Ας δούμε ένα βασικό παράδειγμα χρήσης csv.reader()για να ανανεώσετε τις υπάρχουσες γνώσεις σας.

Παράδειγμα 1: Διαβάστε αρχεία CSV με το csv.reader ()

Ας υποθέσουμε ότι έχουμε ένα αρχείο CSV με τις ακόλουθες καταχωρίσεις:

 SN, Όνομα, Συμβολή 1, Linus Torvalds, Linux Kernel 2, Tim Berners-Lee, World Wide Web 3, Guido van Rossum, Python Programming 

Μπορούμε να διαβάσουμε το περιεχόμενο του αρχείου με το ακόλουθο πρόγραμμα:

 import csv with open('innovators.csv', 'r') as file: reader = csv.reader(file) for row in reader: print(row) 

Παραγωγή

 ('SN', 'Όνομα', 'Συνεισφορά') ('1', 'Linus Torvalds', 'Linux Kernel') ('2', 'Tim Berners-Lee', 'World Wide Web') ('3' , «Guido van Rossum», «Προγραμματισμός Python») 

Εδώ, ανοίξαμε το αρχείο innovators.csv σε λειτουργία ανάγνωσης χρησιμοποιώντας τη open()λειτουργία.

Για να μάθετε περισσότερα σχετικά με το άνοιγμα αρχείων στο Python, επισκεφθείτε: Python File Input / Output

Στη συνέχεια, το csv.reader()χρησιμοποιείται για την ανάγνωση του αρχείου, το οποίο επιστρέφει ένα επαναλαμβανόμενο readerαντικείμενο.

Το readerαντικείμενο στη συνέχεια επαναλαμβάνεται χρησιμοποιώντας έναν forβρόχο για να εκτυπώσετε τα περιεχόμενα κάθε σειράς.

Τώρα, θα εξετάσουμε αρχεία CSV με διαφορετικές μορφές. Στη συνέχεια θα μάθουμε πώς να προσαρμόζουμε τη csv.reader()λειτουργία για να τα διαβάσουμε.

Αρχεία CSV με προσαρμοσμένα διαχωριστικά

Από προεπιλογή, ένα κόμμα χρησιμοποιείται ως οριοθέτης σε ένα αρχείο CSV. Ωστόσο, ορισμένα αρχεία CSV μπορούν να χρησιμοποιούν οριοθέτες εκτός από κόμμα. Λίγα δημοφιλή είναι |και .

Ας υποθέσουμε ότι το αρχείο innovators.csv στο Παράδειγμα 1 χρησιμοποιεί την καρτέλα ως οριοθέτη. Για να διαβάσετε το αρχείο, μπορούμε να περάσουμε μια επιπλέον delimiterπαράμετρο στη csv.reader()συνάρτηση.

Ας πάρουμε ένα παράδειγμα.

Παράδειγμα 2: Διαβάστε το αρχείο CSV με διαχωριστικό καρτελών

 import csv with open('innovators.csv', 'r') as file: reader = csv.reader(file, delimiter = ' ') for row in reader: print(row) 

Παραγωγή

 ('SN', 'Όνομα', 'Συνεισφορά') ('1', 'Linus Torvalds', 'Linux Kernel') ('2', 'Tim Berners-Lee', 'World Wide Web') ('3' , «Guido van Rossum», «Προγραμματισμός Python») 

Όπως μπορούμε να δούμε, η προαιρετική παράμετρος delimiter = ' 'βοηθά στον καθορισμό του readerαντικειμένου από το οποίο το αρχείο CSV από το οποίο διαβάζουμε, έχει καρτέλες ως οριοθέτης.

Αρχεία CSV με αρχικά κενά

Ορισμένα αρχεία CSV μπορούν να έχουν διαστημικό χαρακτήρα μετά από ένα διαχωριστικό. Όταν χρησιμοποιούμε την προεπιλεγμένη csv.reader()λειτουργία για να διαβάσουμε αυτά τα αρχεία CSV, θα έχουμε επίσης κενά στην έξοδο.

Για να αφαιρέσουμε αυτούς τους αρχικούς χώρους, πρέπει να περάσουμε μια επιπλέον παράμετρο που ονομάζεται skipinitialspace. Ας δούμε ένα παράδειγμα:

Παράδειγμα 3: Διαβάστε αρχεία CSV με αρχικά κενά

Ας υποθέσουμε ότι έχουμε ένα αρχείο CSV που ονομάζεται people.csv με το ακόλουθο περιεχόμενο:

 SN, Name, City 1, John, Washington 2, Eric, Los Angeles 3, Brad, Texas 

Μπορούμε να διαβάσουμε το αρχείο CSV ως εξής:

 import csv with open('people.csv', 'r') as csvfile: reader = csv.reader(csvfile, skipinitialspace=True) for row in reader: print(row) 

Παραγωγή

 ('SN', 'Όνομα', 'Πόλη') ('1', 'John', 'Washington') ('2', 'Eric', 'Los Angeles') ('3', 'Brad', ' Τέξας » 

Το πρόγραμμα είναι παρόμοιο με άλλα παραδείγματα, αλλά έχει μια επιπλέον skipinitialspaceπαράμετρο που έχει οριστεί σε True.

Αυτό επιτρέπει στο readerαντικείμενο να γνωρίζει ότι οι καταχωρήσεις έχουν αρχικό κενό διάστημα. Ως αποτέλεσμα, αφαιρούνται οι αρχικοί χώροι που υπήρχαν μετά από έναν οριοθέτη.

Αρχεία CSV με εισαγωγικά

Ορισμένα αρχεία CSV μπορούν να έχουν εισαγωγικά γύρω από κάθε μία ή μερικές από τις καταχωρήσεις.

Let's take quotes.csv as an example, with the following entries:

 "SN", "Name", "Quotes" 1, Buddha, "What we think we become" 2, Mark Twain, "Never regret anything that made you smile" 3, Oscar Wilde, "Be yourself everyone else is already taken" 

Using csv.reader() in minimal mode will result in output with the quotation marks.

In order to remove them, we will have to use another optional parameter called quoting.

Let's look at an example of how to read the above program.

Example 4: Read CSV files with quotes

 import csv with open('person1.csv', 'r') as file: reader = csv.reader(file, quoting=csv.QUOTE_ALL, skipinitialspace=True) for row in reader: print(row) 

Output

 ('SN', 'Name', 'Quotes') ('1', 'Buddha', 'What we think we become') ('2', 'Mark Twain', 'Never regret anything that made you smile') ('3', 'Oscar Wilde', 'Be yourself everyone else is already taken') 

As you can see, we have passed csv.QUOTE_ALL to the quoting parameter. It is a constant defined by the csv module.

csv.QUOTE_ALL specifies the reader object that all the values in the CSV file are present inside quotation marks.

There are 3 other predefined constants you can pass to the quoting parameter:

• csv.QUOTE_MINIMAL - Specifies reader object that CSV file has quotes around those entries which contain special characters such as delimiter, quotechar or any of the characters in lineterminator.
• csv.QUOTE_NONNUMERIC - Specifies the reader object that the CSV file has quotes around the non-numeric entries.
• csv.QUOTE_NONE - Specifies the reader object that none of the entries have quotes around them.

Dialects in CSV module

Notice in Example 4 that we have passed multiple parameters (quoting and skipinitialspace) to the csv.reader() function.

This practice is acceptable when dealing with one or two files. But it will make the code more redundant and ugly once we start working with multiple CSV files with similar formats.

As a solution to this, the csv module offers dialect as an optional parameter.

Dialect helps in grouping together many specific formatting patterns like delimiter, skipinitialspace, quoting, escapechar into a single dialect name.

It can then be passed as a parameter to multiple writer or reader instances.

Example 5: Read CSV files using dialect

Suppose we have a CSV file (office.csv) with the following content:

 "ID"| "Name"| "Email" "A878"| "Alfonso K. Hamby"| "[email protected]" "F854"| "Susanne Briard"| "[email protected]" "E833"| "Katja Mauer"| "[email protected]" 

The CSV file has initial spaces, quotes around each entry, and uses a | delimiter.

Instead of passing three individual formatting patterns, let's look at how to use dialects to read this file.

 import csv csv.register_dialect('myDialect', delimiter='|', skipinitialspace=True, quoting=csv.QUOTE_ALL) with open('office.csv', 'r') as csvfile: reader = csv.reader(csvfile, dialect='myDialect') for row in reader: print(row) 

Output

 ('ID', 'Name', 'Email') ("A878", 'Alfonso K. Hamby', '[email protected]') ("F854", 'Susanne Briard', '[email protected]') ("E833", 'Katja Mauer', '[email protected]') 

From this example, we can see that the csv.register_dialect() function is used to define a custom dialect. It has the following syntax:

 csv.register_dialect(name(, dialect(, **fmtparams))) 

The custom dialect requires a name in the form of a string. Other specifications can be done either by passing a sub-class of Dialect class, or by individual formatting patterns as shown in the example.

While creating the reader object, we pass dialect='myDialect' to specify that the reader instance must use that particular dialect.

The advantage of using dialect is that it makes the program more modular. Notice that we can reuse 'myDialect' to open other files without having to re-specify the CSV format.

Read CSV files with csv.DictReader()

The objects of a csv.DictReader() class can be used to read a CSV file as a dictionary.

Example 6: Python csv.DictReader()

Suppose we have a CSV file (people.csv) with the following entries:

Name	Age	Profession
Jack	23	Doctor
Miller	22	Engineer

Let's see how csv.DictReader() can be used.

 import csv with open("people.csv", 'r') as file: csv_file = csv.DictReader(file) for row in csv_file: print(dict(row)) 

Output

 ('Name': 'Jack', ' Age': ' 23', ' Profession': ' Doctor') ('Name': 'Miller', ' Age': ' 22', ' Profession': ' Engineer') 

As we can see, the entries of the first row are the dictionary keys. And, the entries in the other rows are the dictionary values.

Here, csv_file is a csv.DictReader() object. The object can be iterated over using a for loop. The csv.DictReader() returned an OrderedDict type for each row. That's why we used dict() to convert each row to a dictionary.

Notice that we have explicitly used the dict() method to create dictionaries inside the for loop.

 print(dict(row)) 

Note: Starting from Python 3.8, csv.DictReader() returns a dictionary for each row, and we do not need to use dict() explicitly.

The full syntax of the csv.DictReader() class is:

 csv.DictReader(file, fieldnames=None, restkey=None, restval=None, dialect='excel', *args, **kwds) 

To learn more about it in detail, visit: Python csv.DictReader() class

Using csv.Sniffer class

The Sniffer class is used to deduce the format of a CSV file.

The Sniffer class offers two methods:

• sniff(sample, delimiters=None) - This function analyses a given sample of the CSV text and returns a Dialect subclass that contains all the parameters deduced.

An optional delimiters parameter can be passed as a string containing possible valid delimiter characters.

• has_header(sample) - This function returns True or False based on analyzing whether the sample CSV has the first row as column headers.

Let's look at an example of using these functions:

Example 7: Using csv.Sniffer() to deduce the dialect of CSV files

Suppose we have a CSV file (office.csv) with the following content:

 "ID"| "Name"| "Email" A878| "Alfonso K. Hamby"| "[email protected]" F854| "Susanne Briard"| "[email protected]" E833| "Katja Mauer"| "[email protected]" 

Let's look at how we can deduce the format of this file using csv.Sniffer() class:

 import csv with open('office.csv', 'r') as csvfile: sample = csvfile.read(64) has_header = csv.Sniffer().has_header(sample) print(has_header) deduced_dialect = csv.Sniffer().sniff(sample) with open('office.csv', 'r') as csvfile: reader = csv.reader(csvfile, deduced_dialect) for row in reader: print(row) 

Output

 True ('ID', 'Name', 'Email') ('A878', 'Alfonso K. Hamby', '[email protected]') ('F854', 'Susanne Briard', '[email protected]') ('E833', 'Katja Mauer', '[email protected]') 

As you can see, we read only 64 characters of office.csv and stored it in the sample variable.

This sample was then passed as a parameter to the Sniffer().has_header() function. It deduced that the first row must have column headers. Thus, it returned True which was then printed out.

Παρομοίως, το δείγμα μεταβιβάστηκε επίσης στη Sniffer().sniff()συνάρτηση. Επέστρεψε όλες τις παραγόμενες παραμέτρους ως Dialectυποκατηγορία που στη συνέχεια αποθηκεύτηκαν στη μεταβλητή deduced_dialect.

Αργότερα, ανοίξαμε ξανά το αρχείο CSV και μεταβιβάσαμε τη deduced_dialectμεταβλητή ως παράμετρο στο csv.reader().

Ήταν σωστή θέση να προβλέψει delimiter, quotingκαι skipinitialspaceτις παραμέτρους του office.csv αρχείο χωρίς εμάς να αναφερθεί ρητά τους.

Σημείωση: Η μονάδα csv μπορεί επίσης να χρησιμοποιηθεί για άλλες επεκτάσεις αρχείων (όπως: .txt ) εφόσον το περιεχόμενό τους είναι σε σωστή δομή.

Συνιστώμενη ανάγνωση: Γράψτε σε αρχεία CSV στο Python