hadoop - 如何在 hadoop gcs 连接器中启用 http 请求/响应日志？

Question

根据文档 https://googleapis.github.io/google-http-java-client/http-transport.html
我用内容创建了一个名为 logging.properties 的文件

handlers = java.util.logging.ConsoleHandler
java.util.logging.ConsoleHandler.level = ALL
# Set up logging of HTTP requests and responses (uncomment “level” to show)
com.google.api.client.http.level = ALL

并运行命令

bin/hadoop fs  -Djava.util.logging.config.file='<path>/logging.properties' -ls gs://gcs-mthakur-bucket/

但我没有收到任何 http 线路日志。请帮忙。谢谢。

Answer 1

关于如何使用 hadoop fs 启用 GCS API 线路日志的说明CLI 记录在 GCS connector troubleshooting documentation 中:

$ cat <<EOF >"/tmp/google-logging.properties"
handlers = java.util.logging.ConsoleHandler
java.util.logging.ConsoleHandler.level = CONFIG
com.google.level = CONFIG
EOF

$ export HADOOP_CLIENT_OPTS="-Djava.util.logging.config.file=/tmp/google-logging.properties"

$ hadoop --loglevel debug fs -ls gs://<some-bucket>