python - heapq 成员资格测试和替换

Question

来自官方heapq的示例:

>>> heap = []
>>> data = [(1, 'J'), (4, 'N'), (3, 'H'), (2, 'O')]
>>> for item in data:
...     heappush(heap, item)
...
>>> while heap:
...     print(heappop(heap)[1])
J
O
H
N

我想进一步实现高效的selective_push，以便

1. selective_push((1, 'M')) 相当于 heappush，因为 'M' 不在堆中
2. selective_push((3.5, 'N')) 等价于 heap[2]= (3.5, 'N'); heapify(heap) 自 3.5<4
3. selective_push((4.5, 'N')) 自 4.5>4 起不执行任何操作

以下实现解释了目标，但速度较慢:

def selective_push(heap,s):
   NotFound=True
   for i in range(len(heap)): #linear search
        if heap[i][1]==s[1]:
            if s[0]<heap[i][0]:
                 heap[i]=s      #replacement
                 heapify(heap)
            NotFound=False
            break
    if NotFound:
       heappush(heap,s)

我认为由于线性搜索，它很慢，这破坏了 heapq.push 的 log(n) 复杂性。替换率较低，但始终执行线性搜索。

Answer 1

heapq docs有一个如何更改现有项目优先级的示例。 (该示例还使用 count 来确保具有相同优先级的项目按照添加顺序返回:由于您没有提到这一点，因此我简化了代码通过删除该部分。)我还添加了您提到的与替换现有项目时相关的逻辑。

本质上，它归结为维护一个字典(entry_finder)以快速查找项目，并将项目标记为已删除，而不立即将其从堆中删除，并在以下情况下跳过标记的项目:从堆中弹出。

pq = []                         # list of entries arranged in a heap
entry_finder = {}               # mapping of tasks to entries
REMOVED = '<removed-task>'      # placeholder for a removed task

def add_task(task, priority=0):
    'Add a new task or update the priority of an existing task'
    if task in entry_finder:
        old_priority, _ = entry_finder[task]
        if priority < old_priority:
            # new priority is lower, so replace
            remove_task(task)
        else:
            # new priority is same or higher, so ignore
            return
    entry = [priority, task]
    entry_finder[task] = entry
    heappush(pq, entry)

def remove_task(task):
    'Mark an existing task as REMOVED.  Raise KeyError if not found.'
    entry = entry_finder.pop(task)
    entry[-1] = REMOVED

def pop_task():
    'Remove and return the lowest priority task. Raise KeyError if empty.'
    while pq:
        priority, task = heappop(pq)
        if task is not REMOVED:
            del entry_finder[task]
            return task
    raise KeyError('pop from an empty priority queue')

一些注意事项:

• heappush 是高效的，因为它可以假设被插入的列表已经作为堆排序； heapify 每次调用时都必须检查所有元素

• 并不是真正删除项目，只是将它们标记为已删除，速度很快，但确实意味着如果您重置大量优先级，那么一些存储实际上会被浪费；这是否合适取决于您的用例

• 您需要为您想要使用的任何其他 heapq 函数创建类似的包装器，因为您始终需要确保 entry_finder 看起来 - up字典与heapq中的数据保持同步