python - 如何在不超过 API 配额的情况下将大量行追加到 Google 表格

Question

我正在编写一个Python程序，它从网站获取数据并将其分类到Google表格中的不同工作表中。该程序在追加和删除少量行时有效，但当我尝试插入或删除大量行时，我达到了 google api 配额限制。

根据我收集的信息，我相信解决方案是使用电子表格.values.batchUpdate() 方法，因为根据我收集的信息，它会立即发送所有请求，然后一旦它们被验证为特定工作表的有效请求他们全部立即被处决。不幸的是，没有 gspread 函数调用此方法，而且我目前在尝试使用原始 api 时失败了。

这就是我附加数据的方式

sheet = vt.sheet1
........
with open('objectbuffer.csv', encoding='utf-8') as bfile:
        reader = csv.reader(bfile, delimiter=',')
        #gets every worksheet in the spreadsheet
        wkshts = vt.worksheets()
        #each row in the csv is evaluated for 
        #and is copied into any corresponding worksheet one at a time
        for row in reader:
            kwsFound = 0
            hasUploaded = False
            appendRow = [row[0],row[1],row[2],row[3],row[4],row[5]]
            #iterates through every dynamically created worksheet in the spreadsheet
            for sheets in wkshts:
                #if the title of the sheet is found anywhere within Column "E" 
                #then 1 is added to the number of keywords found
                if sheets.title in row[4]:
                    kwsFound += 1
                    kwSheet = sheets
            #if only one keyword (title of a worksheet) is found ANYWHERE in the row
            #then that row is copied to the worksheet with the name found
            if kwsFound == 1:
                kwSheet.append_row(appendRow,"USER_ENTERED")
                hasUploaded = True
            #if no keyword is found/ more than 1 is found
            #the row is copied to the conflicts worksheet (which is constant)
            if hasUploaded == False:
                conflicts.append_row(appendRow,"USER_ENTERED")
            #every row is always copied to the main worksheet
            sheet.append_row(appendRow,"USER_ENTERED")

kwsFound/kwsSheet 负责将数据分类到单独的工作表中。目前，我使用 gspreadappend_row 函数一次追加 1 个数据，这使我超出了 api 限制。

奖励问题

这就是我在程序中删除重复行的方法。由于删除请求一次发送 1 个，这也会导致程序超出 api 配额

allVal = sheet.get_all_values()
    rowTot = len(sheet.get_all_values())
    standard = ""
    counter = 0
    dcounter = 0
    deleteRows = []
    while counter<rowTot:
        if allVal[counter] == standard:
            deleteRows.append(counter)
        else:
            standard = allVal[counter]
        counter+=1

    while  dcounter < len(deleteRows) :
        sheet.delete_row(deleteRows[dcounter]-dcounter)
        sleep(.5)
        dcounter+=1

帮助将其变成批量更新将不胜感激

编辑:

以下是通过抓取我的 venmo 配置文件生成的 csv 示例。 http://www.filedropper.com/csvexample尽管我对其进行了编辑以删除个人信息。这是我想进入谷歌表格的输出示例 http://www.filedropper.com/gsheetsoutputexample ，所有交易都在主工作表上，但如果辅助工作表之一的标题显示在交易的描述(csv 的第 5 列)中，则该交易数据的副本也会放置在相应的工作表中。如果事务描述中出现 2 个或更多工作表标题(或没有)，则该事务的副本将发送到冲突工作表。如果谷歌表格配额是无限的，那么我的代码将以描述的方式运行，而不必担心中断。

编辑2:

1.) 我想要做的是检查“E”列的值，如果其中一个工作表的标题是“E”列值的子字符串，则程序将该行附加到指定的工作表。因此，在本例中，“食物”、“食物!”和“我喜欢食物”的值都将附加到食物工作表中。

2.) 工作表名称不是恒定的。我正在构建的程序是供我的 friend 使用的，因此我制作了它，以便您通过 GUI 将命名工作表添加到电子表格中，以便他们可以创建自己的类别来过滤数据。如果您还有其他问题或者我没有澄清得足够好，请告诉我

编辑3:

为上面的代码添加了注释

Answer 1

为了让您不必等待太久，这里是 Google Sheets API Doc熟悉它后，我将同时针对您的具体情况创建解决方案。

使用 gspread 执行此操作，请参阅 doc

尝试这样的事情:

#!/usr/bin/python3

#This dict represents the request body for batchUpdate(body)
thisDict = {
  "requests": [
    {
      #we append update commands to a list and then place that list here.  Next we send thisDict as the body of a batchupdate.
    }
  ],
  "includeSpreadsheetInResponse": bool, #todo set this to bool value
  "responseRanges": [
    string #todo set this is string range
  ],
  "responseIncludeGridData": bool #todo set this to bool value
}

#to contain our request objects
List = []

with open('objectbuffer.csv', encoding='utf-8') as bfile:
        reader = csv.reader(bfile, delimiter=',')
        wkshts = vt.worksheets()
        for row in reader:
            kwsFound = 0
            hasUploaded = False
            appendRow = [row[0],row[1],row[2],row[3],row[4],row[5]]
            for sheets in wkshts:
                if sheets.title in row[4]:
                    kwsFound += 1
                    kwSheet = sheets
            if kwsFound == 1:
                List.append("kwSheet.append_row(appendRow,'USER_ENTERED')") #append command to list
                hasUploaded = True
            if hasUploaded == False:
                List.append("conflicts.append_row(appendRow,'USER_ENTERED')") #append command to list
            List.append("sheet.append_row(appendRow,'USER_ENTERED')") #append command to list

thisDict["requests"] = List #set requests equal to the list of commands

spreadsheets.batchUpdate(thisDict) #send the request body with a list of command to execute.