Google Drive+GAS+スプシによるミニマルなデータパイプライン【東京都知事候補 #安野たかひろ #AIあんの @takahiroanno 】

# python
import pathlib
from typing import Literal

from google.oauth2 import service_account
from googleapiclient.discovery import build
from googleapiclient.http import MediaFileUpload

class GoogleDrive:
    """Google Drive API"""

    def __init__(self) -> None:
        credentials = service_account.Credentials.from_service_account_file(
            settings.GOOGLE_APPLICATION_CREDENTIALS, 
            scopes=["https://www.googleapis.com/auth/drive.file"],
        )

        self._service = build("drive", "v3", credentials=credentials)

    def upload(
        self,
        *,
        file_path: pathlib.Path,
        folder_id: str,
        mime_type: Literal["text/csv"] | Literal["application/json"],
    ) -> None:
        """Google Driveにファイルをアップロードする

        Args:
            file_path: アップロードするファイルのパス
            mime_type: ファイルのMIMEタイプ
        """
        media = MediaFileUpload(file_path, mimetype=mime_type)

        file_metadata = {
            "name": file_path.name,
            "parents": [folder_id],
        }

        file = self._service.files().create(
           body=file_metadata, media_body=media, fields="id").execute()

# .js
// 処理のメイン関数
function startProcessingLogs(){
  // ファイル、スプシ,シートを定義する
  const files = getJsonLogFiles(RAW_LOG_FOLDER_ID);
  const spreadSheet = SpreadsheetApp.openById(SPREADSHEET_ID);
  const sheet = spreadSheet.getSheetByName("Logs");
  
  // ログをまとめる
  let allLogs = [];
  for(const logFile of files){
    const log = getLogContent(logFile);
    allLogs.push(...log);
  }

  // 重複排除などの処理
  allLogsDeduped = dedupe(allLogs);

  // スプシに値を詰める
  const values =     [
      ...allLogsDeduped.map(l=>l.getRow())
    ];
  console.log(allLogsDeduped.length);
  sheet.getRange(2,1,allLogsDeduped.length,LOG_COLUMN_SIZE).setValues(values)
}

// ログの形を定義する
class AITuberLog{

  constructor(record){
    this.timestamp = new Date(record.timestamp);
    this.question = record.question;
    this.response = record.response;
    this.slide = record.metadata.image;
  }

  getRow(){
    const timestampStr = this.timestamp.toLocaleString('ja-JP',TIMEZONE_OPTIONS);
    return [timestampStr
    ,this.question,this.response,this.slide,
  }
}

// 指定したfile IDのカンマ区切りのJSONログを読み取りパースした後の配列を返す
function getLogContent(fileId){
  // ファイルの中身の取得
  const file = DriveApp.getFileById(fileId);
  const jsonData = file.getBlob().getDataAsString("utf-8");
  const jsonLines = jsonData.split("\n").filter(s => s.trim() != "");

  return jsonLines.map(jsonStr=>new AITuberLog(JSON.parse(jsonStr)));
}