我在CSV文件中有一个脚本读取的字段非常庞大:

# example from http://docs.python.org/3.3/library/csv.html?highlight=csv%20dictreader#examples
import csv
with open('some.csv', newline='') as f:
    reader = csv.reader(f)
    for row in reader:
        print(row)

但是,这会在某些CSV文件上丢下以下错误:

_csv.Error: field larger than field limit (131072)

如何用庞大的字段分析CSV文件?跳过巨大字段的线路不是一个选择,因为需要在随后的步骤中分析数据。

答案

CSV文件可能包含非常大的字段,因此增加field_size_limit

import sys
import csv

csv.field_size_limit(sys.maxsize)

sys.maxsize适用于Python 2.x和3.x。sys.maxint只能与Python 2.x一起使用(因此:什么是python-3

更新

正如杰夫(Geoff)指出的那样,上面的代码可能会导致以下错误:OverflowError: Python int too large to convert to C long。为了解决这个问题,您可以使用以下快速而肮脏代码(应使用Python 2和Python 3使用每个系统):

import sys
import csv
maxInt = sys.maxsize

while True:
    # decrease the maxInt value by factor 10 
    # as long as the OverflowError occurs.

    try:
        csv.field_size_limit(maxInt)
        break
    except OverflowError:
        maxInt = int(maxInt/10)

来自: stackoverflow.com