python-2.7 - 如何从Python Luigi登录

Question

我正在尝试建立一种策略，以这样的方式从Luigi进行日志记录:存在可配置的输出列表，包括stdout和自定义文件列表。我希望能够在运行时设置日志记录级别。我们的系统使用Luigi调用来自 Jenkins 的 Spark 。先感谢您。

Answer 1

在任何Task类方法中，您可以执行以下操作:

class Agg(luigi.Task):
  _date = luigi.DateParameter()

  def output(self):
    return luigi.LocalTarget("file_%.txt" % self._date)

  def run(self):
    # Use the luigi-interface to log to console
    logger = logging.getLogger('luigi-interface')
    logger.info("Running --> Agg.Task")