如何找出哪些文件/桶最常被公开下载？

Z时代
2024-01-10
分类：问答

我通过存储静态&像css，js，图像，pdf等的可下载内容来使用Google云端存储

如何找出我的哪些文件以及正在下载哪个存储桶很多？

我的帐单只是显示：云存储下载亚太地区：924.637 Gibibytes（来源：谷歌存储项目[GS-项目名称]） - US $ 110.84
这是很多了一个月，我想删除这些文件。

有没有这方面的统计资料？如何找出哪些文件/桶最常被公开下载？

回答：

当前可用的查看按存储桶或对象细分的用法的方法是为每个存储桶启用访问日志。一旦启用，GCS将导出CSV文件，其中包含有关对这些存储桶中的对象发出的所有请求的信息。该信息可被聚集到找到正在下载顶部对象/桶：

参见：https://cloud.google.com/storage/docs/access-logs

创建一个区来储存使用日志：

gsutil mb gs://my-logs-bucket 
gsutil acl ch -g [email protected]:W gs://my-logs-bucket 
gsutil defacl set project-private gs://my-logs-bucket

启用使用率记录您的所有存储桶：

gsutil logging set on -b gs://my-logs-bucket gs://my-bucket1 gsutil logging set on -b gs://my-logs-bucket gs://my-bucket2 ..

在月底，无论是在GS下载的CSV：//我-日志桶并对其进行分析，或者它们加载到BigQuery的分析：

wget http://storage.googleapis.com/pub/cloud_storage_usage_schema_v0.json 
bq mk storageanalysis 
bq load --skip_leading_rows=1 storageanalysis.usage \ 
    gs://my-logs-bucket/*_usage_* ./cloud_storage_usage_schema.json 
bq shell 
> SELECT cs_object, SUM(sc_bytes) AS sc_bytes 
    FROM [storageanalysis.usage] 
    ORDER BY sc_bytes desc LIMIT 20 
.. 
> SELECT cs_bucket, SUM(sc_bytes) AS sc_bytes 
    FROM [storageanalysis.usage] 
    ORDER BY sc_bytes desc LIMIT 20 
.. 
> QUIT