6.1 讀寫(xiě)CSV數(shù)據(jù)

問(wèn)題

你想讀寫(xiě)一個(gè)CSV格式的文件。

解決方案

對(duì)于大多數(shù)的CSV格式的數(shù)據(jù)讀寫(xiě)問(wèn)題，都可以使用 csv 庫(kù)。、例如，假設(shè)你在一個(gè)名叫stocks.csv文件中有一些股票市場(chǎng)數(shù)據(jù)，就像這樣：

下面向你展示如何將這些數(shù)據(jù)讀取為一個(gè)元組的序列：

import csv
with open('stocks.csv') as f:
    f_csv = csv.reader(f)
    headers = next(f_csv)
    for row in f_csv:
        # Process row
        ...

在上面的代碼中，row 會(huì)是一個(gè)元組。因此，為了訪問(wèn)某個(gè)字段，你需要使用下標(biāo)，如row[0]訪問(wèn)Symbol，row[4]訪問(wèn)Change。

由于這種下標(biāo)訪問(wèn)通常會(huì)引起混淆，你可以考慮使用命名元組。例如：

from collections import namedtuple
with open('stock.csv') as f:
    f_csv = csv.reader(f)
    headings = next(f_csv)
    Row = namedtuple('Row', headings)
    for r in f_csv:
        row = Row(*r)
        # Process row
        ...

它允許你使用列名如 row.Symbol 和 row.Change 代替下標(biāo)訪問(wèn)。需要注意的是這個(gè)只有在列名是合法的Python標(biāo)識(shí)符的時(shí)候才生效。如果不是的話，你可能需要修改下原始的列名(如將非標(biāo)識(shí)符字符替換成下劃線之類的)。

另外一個(gè)選擇就是將數(shù)據(jù)讀取到一個(gè)字典序列中去?？梢赃@樣做：

import csv
with open('stocks.csv') as f:
    f_csv = csv.DictReader(f)
    for row in f_csv:
        # process row
        ...

在這個(gè)版本中，你可以使用列名去訪問(wèn)每一行的數(shù)據(jù)了。比如，row['Symbol'] 或者 row['Change'] 。

為了寫(xiě)入CSV數(shù)據(jù)，你仍然可以使用csv模塊，不過(guò)這時(shí)候先創(chuàng)建一個(gè) writer 對(duì)象。例如;

headers = ['Symbol','Price','Date','Time','Change','Volume']
rows = [('AA', 39.48, '6/11/2007', '9:36am', -0.18, 181800),
         ('AIG', 71.38, '6/11/2007', '9:36am', -0.15, 195500),
         ('AXP', 62.58, '6/11/2007', '9:36am', -0.46, 935000),
       ]

with open('stocks.csv','w') as f:
    f_csv = csv.writer(f)
    f_csv.writerow(headers)
    f_csv.writerows(rows)

如果你有一個(gè)字典序列的數(shù)據(jù)，可以像這樣做：

headers = ['Symbol', 'Price', 'Date', 'Time', 'Change', 'Volume']
rows = [{'Symbol':'AA', 'Price':39.48, 'Date':'6/11/2007',
        'Time':'9:36am', 'Change':-0.18, 'Volume':181800},
        {'Symbol':'AIG', 'Price': 71.38, 'Date':'6/11/2007',
        'Time':'9:36am', 'Change':-0.15, 'Volume': 195500},
        {'Symbol':'AXP', 'Price': 62.58, 'Date':'6/11/2007',
        'Time':'9:36am', 'Change':-0.46, 'Volume': 935000},
        ]

with open('stocks.csv','w') as f:
    f_csv = csv.DictWriter(f, headers)
    f_csv.writeheader()
    f_csv.writerows(rows)

討論

你應(yīng)該總是優(yōu)先選擇csv模塊分割或解析CSV數(shù)據(jù)。例如，你可能會(huì)像編寫(xiě)類似下面這樣的代碼：

with open('stocks.csv') as f:
for line in f:
    row = line.split(',')
    # process row
    ...

使用這種方式的一個(gè)缺點(diǎn)就是你仍然需要去處理一些棘手的細(xì)節(jié)問(wèn)題。比如，如果某些字段值被引號(hào)包圍，你不得不去除這些引號(hào)。另外，如果一個(gè)被引號(hào)包圍的字段碰巧含有一個(gè)逗號(hào)，那么程序就會(huì)因?yàn)楫a(chǎn)生一個(gè)錯(cuò)誤大小的行而出錯(cuò)。

默認(rèn)情況下，csv 庫(kù)可識(shí)別Microsoft Excel所使用的CSV編碼規(guī)則。這或許也是最常見(jiàn)的形式，并且也會(huì)給你帶來(lái)最好的兼容性。然而，如果你查看csv的文檔，就會(huì)發(fā)現(xiàn)有很多種方法將它應(yīng)用到其他編碼格式上(如修改分割字符等)。例如，如果你想讀取以tab分割的數(shù)據(jù)，可以這樣做：

# Example of reading tab-separated values
with open('stock.tsv') as f:
    f_tsv = csv.reader(f, delimiter='\t')
    for row in f_tsv:
        # Process row
        ...

如果你正在讀取CSV數(shù)據(jù)并將它們轉(zhuǎn)換為命名元組，需要注意對(duì)列名進(jìn)行合法性認(rèn)證。例如，一個(gè)CSV格式文件有一個(gè)包含非法標(biāo)識(shí)符的列頭行，類似下面這樣：

這樣最終會(huì)導(dǎo)致在創(chuàng)建一個(gè)命名元組時(shí)產(chǎn)生一個(gè) ValueError 異常而失敗。為了解決這問(wèn)題，你可能不得不先去修正列標(biāo)題。例如，可以像下面這樣在非法標(biāo)識(shí)符上使用一個(gè)正則表達(dá)式替換：

import re
with open('stock.csv') as f:
    f_csv = csv.reader(f)
    headers = [ re.sub('[^a-zA-Z_]', '_', h) for h in next(f_csv) ]
    Row = namedtuple('Row', headers)
    for r in f_csv:
        row = Row(*r)
        # Process row
        ...

還有重要的一點(diǎn)需要強(qiáng)調(diào)的是，csv產(chǎn)生的數(shù)據(jù)都是字符串類型的，它不會(huì)做任何其他類型的轉(zhuǎn)換。如果你需要做這樣的類型轉(zhuǎn)換，你必須自己手動(dòng)去實(shí)現(xiàn)。下面是一個(gè)在CSV數(shù)據(jù)上執(zhí)行其他類型轉(zhuǎn)換的例子：

col_types = [str, float, str, str, float, int]
with open('stocks.csv') as f:
    f_csv = csv.reader(f)
    headers = next(f_csv)
    for row in f_csv:
        # Apply conversions to the row items
        row = tuple(convert(value) for convert, value in zip(col_types, row))
        ...

另外，下面是一個(gè)轉(zhuǎn)換字典中特定字段的例子：

print('Reading as dicts with type conversion')
field_types = [ ('Price', float),
                ('Change', float),
                ('Volume', int) ]

with open('stocks.csv') as f:
    for row in csv.DictReader(f):
        row.update((key, conversion(row[key]))
                for key, conversion in field_types)
        print(row)

通常來(lái)講，你可能并不想過(guò)多去考慮這些轉(zhuǎn)換問(wèn)題。在實(shí)際情況中，CSV文件都或多或少有些缺失的數(shù)據(jù)，被破壞的數(shù)據(jù)以及其它一些讓轉(zhuǎn)換失敗的問(wèn)題。因此，除非你的數(shù)據(jù)確實(shí)有保障是準(zhǔn)確無(wú)誤的，否則你必須考慮這些問(wèn)題(你可能需要增加合適的錯(cuò)誤處理機(jī)制)。

最后，如果你讀取CSV數(shù)據(jù)的目的是做數(shù)據(jù)分析和統(tǒng)計(jì)的話，你可能需要看一看 Pandas 包。Pandas 包含了一個(gè)非常方便的函數(shù)叫 pandas.read_csv() ，它可以加載CSV數(shù)據(jù)到一個(gè) DataFrame 對(duì)象中去。然后利用這個(gè)對(duì)象你就可以生成各種形式的統(tǒng)計(jì)、過(guò)濾數(shù)據(jù)以及執(zhí)行其他高級(jí)操作了。在6.13小節(jié)中會(huì)有這樣一個(gè)例子。