python - pypi opencensus-ext-azure 无法正常工作(多次发送相同的数据+不发送logging.info()跟踪)

Question

我正在使用以下函数将一些日志记录标准输出从 Databricks 发送到 Azure 应用程序洞察日志。

我的功能

import logging
from opencensus.ext.azure.log_exporter import AzureLogHandler
from opencensus.trace import config_integration
from opencensus.trace.samplers import AlwaysOnSampler
from opencensus.trace.tracer import Tracer

def custom_logging_function(log_type, instrumentation_key_value, input_x):
    """
    Purpose: The standard output sent to Application insights logs
    Inputs: -
    Return: -
    """
    config_integration.trace_integrations(['logging'])
    logging.basicConfig(format='%(asctime)s traceId=%(traceId)s spanId=%(spanId)s %(message)s')
    tracer=Tracer(sampler=AlwaysOnSampler())
    
    logger=logging.getLogger(__name__)
    logger.addHandler(AzureLogHandler(connection_string='InstrumentationKey={0}'.format(instrumentation_key_value)))
    
    if log_type=="INFO" or log_type=="SUCESSFULL":
        #[UPDATE]
        logger.setLevel(logging.INFO)
        logger.info(input_x)
        #logging.info(input_x)
    elif log_type=="ERROR":
        #[UPDATE]
        logger.setLevel(logging.ERROR)
        logger.exception(input_x)
        #logging.exception(input_x)
    else:
        logger.warning(input_x)

[更新]通过将日志记录级别设置为 INFO、ERROR，您可以记录不同类型的跟踪。

该函数即使正确执行，也会由于以下两个原因而出错:

原因1
当我想打印 logger.info() 消息时，它在应用程序洞察中未成功记录。由于无法解释的原因，只有 logger.warning() 消息成功发送到应用程序洞察日志。例如，

custom_logging_function("INFO", instrumentation_key_value, "INFO: {0} chronical dates in the specified time-frame have been created!".format(len(date_list)))

# Uses the logger.info() based on my function!

输出

这从未被记录。而是仅记录以下内容，

custom_logging_function("WARNING", instrumentation_key_value, "INFO: {0} chronical dates in the specified time-frame have been created!".format(len(date_list)))

# Uses the logger.warning() based on my function!

输出

原因1已经被我解决了..请检查我的函数编辑

------------------------------------------------------------ --------------------------------------------------

原因2

同一条消息会被记录多次，而不是只记录一次。
一些解释相同问题的代码，

# Set keyword parameters
time_scale=12
time_frame_repetition=1
timestamp_snapshot=datetime.utcnow()

round_up = math.ceil(time_frame_repetition*365/time_scale)
day_list = [(timestamp_snapshot - timedelta(days=x)).strftime("%d") for x in range(round_up)]
month_list = [(timestamp_snapshot - timedelta(days=x)).strftime("%m") for x in range(round_up)]
year_list = [(timestamp_snapshot - timedelta(days=x)).strftime("%Y") for x in range(round_up)]

date_list=[[day_list[i], month_list[i], year_list[i]] for i in range(0, len(day_list))]

custom_logging_function("INFO", instrumentation_key_value, "INFO: {0} chronical dates in the specified time-frame have been created!".format(len(date_list))) #the function already written in the start of my post.

上述代码片段的输出在 Application Insights 中被记录超过 1 次，我正在尝试找出原因。

在应用程序洞察中输出日志

正如您从查询的输出中看到的那样，同一行被记录多次。

自从第一个问题解决后，您对第二个问题有什么建议。

<小时/>

[更新]基于@Izchen 下面提供的答案

def instantiate_logger(instrumentation_key_value):
    config_integration.trace_integrations(['logging'])
    logging.basicConfig(format='%(asctime)s traceId=%(traceId)s spanId=%(spanId)s %(message)s')
    tracer=Tracer(sampler=AlwaysOnSampler())
    
    logger=logging.getLogger(__name__)
    
    logger.addHandler(AzureLogHandler(connection_string='InstrumentationKey={0}'.format(instrumentation_key_value)))
    
    return logger

logging_instance=instantiate_logger(instrumentation_key_value)

def custom_logging_function(logging_instance, disable_logging, log_type, input_x, *arguments):
    """
    Purpose: The standard output sent to Application insights logs
    Inputs: -
    Return: The logger object.
    """
    if disable_logging==0:

        if log_type=="INFO" or log_type=="SUCCESSFUL":
            logging_instance.setLevel(logging.INFO)
            logging_instance.info(input_x)
            print(input_x, *arguments)

        elif log_type=="ERROR":
            logging_instance.setLevel(logging.ERROR)
            logging_instance.exception(input_x)
            print(input_x, *arguments)

        else:
            logging_instance.warning(input_x)
            print(input_x, *arguments)

    else:
        print(input_x, *arguments)

上面的代码仍然记录该函数的输出:

date_list=merge_hierarchy_list(year_list, month_list, day_list, None, None)
custom_logging_function(logging_instance, disable_logging_value, "INFO", "INFO: {0} chronological dates in the specified time-frame have been created!".format(len(date_list)))

输出(在 Application Insights 日志跟踪中记录了 2 次):

"INFO: 31 chronological dates in the specified time-frame have been created!"

Answer 1

原因2:

您是否在 Databricks 笔记本中运行 Python 文件？笔记本将保留所有实例化对象的状态(包括使用的 Python 记录器)。之前，当用户在笔记本中多次运行代码时，我们遇到过重复的日志条目，因为每次再次执行代码时，AzureLogHandler 都会作为处理程序添加到根记录器中。作为普通 Python 模块运行不应导致此行为，因为后续运行中不会保留状态。

如果您不使用笔记本，则问题似乎出在多次添加 AzureLogHandler 上。您的 Databricks 管道中是否有多个某种类型的工作人员执行相同的逻辑？