python - 您可以在 Python 类型注释中指定方差吗？

Question

你能找出下面代码中的错误吗？ Mypy 不能。

from typing import Dict, Any

def add_items(d: Dict[str, Any]) -> None:
    d['foo'] = 5

d: Dict[str, str] = {}
add_items(d)

for key, value in d.items():
    print(f"{repr(key)}: {repr(value.lower())}")

当然，Python 会发现错误，这有助于告知我们 “int”对象没有属性“lower”。太糟糕了，直到运行时它才能告诉我们这一点。

据我所知，mypy 没有捕捉到这个错误，因为它允许 add_items 的 d 参数的参数是协变的。如果我们只从字典中阅读，那将是有道理的。如果我们只是阅读，那么我们希望参数是协变的。如果我们准备读取任何类型，那么我们应该能够读取字符串类型。当然，如果我们只是阅读，那么我们应该将其键入为typing.Mapping。

由于我们正在编写，我们实际上希望参数是逆变。例如，对于某人来说，传入一个 Dict[Any, Any] 是非常有意义的，因为它完全能够存储字符串键和整数值。

如果我们正在阅读和写作，除了参数不变之外别无选择。

有没有办法指定我们需要什么样的方差？更好的是，mypy 是否足够复杂，可以合理地期望它通过静态分析来确定方差，并且应该将其作为错误归档？还是 Python 中类型检查的当前状态根本无法捕获此类编程错误？

Answer 1

您的分析不正确——这实际上与方差无关，而 mypy 中的 Dict 类型实际上是不变的 w.r.t.到它的值(value)。

相反，问题在于您已将 Dict 的值声明为 Any 类型，即动态类型。这实际上意味着您希望 mypy 基本上不对与您的 Dict 值相关的任何内容进行类型检查。由于您选择退出类型检查，它自然不会发现任何与类型相关的错误。

(这是通过神奇地将 Any 放置在类型格的顶部和底部来实现的。基本上，给定某种类型 T，情况就是 Any 始终是 T 的子类型， T 始终是 Any 的子类型。Mypy 自动神奇地选择任何一种关系，不会导致错误。)

运行如下程序可以看到Dict对自己是不变的:

from typing import Dict

class A: pass
class B(A): pass
class C(B): pass

def accepts_a(x: Dict[str, A]) -> None: pass
def accepts_b(x: Dict[str, B]) -> None: pass
def accepts_c(x: Dict[str, C]) -> None: pass

my_dict: Dict[str, B] = {"foo": B()}

# error: Argument 1 to "accepts_a" has incompatible type "Dict[str, B]"; expected "Dict[str, A]"
# note: "Dict" is invariant -- see http://mypy.readthedocs.io/en/latest/common_issues.html#variance
# note: Consider using "Mapping" instead, which is covariant in the value type
accepts_a(my_dict)

# Type checks! No error.
accepts_b(my_dict)

# error: Argument 1 to "accepts_c" has incompatible type "Dict[str, B]"; expected "Dict[str, C]"
accepts_c(my_dict)

只有调用accept_b成功，符合预期的方差。

---

回答关于如何设置方差的问题——mypy 的设计使得数据结构的方差在定义时设置，并且不能在调用时真正改变。

因此，由于 Dict 被定义为不变的，因此您不能真正将事后更改为协变或不变。

有关在定义时设置方差的更多详细信息，请参阅 mypy reference docs on generics .

正如您所指出的，您可以通过使用映射来声明您想要接受 Dict 的只读版本。通常情况下，您可能想要使用任何 PEP 484 数据结构的只读版本——例如Sequence 是 List 的只读版本。

据我所知，虽然没有默认的只写版本的 Dict。但是你可以通过使用 protocols 自己拼凑一个。 ，一种有望很快成为标准化的结构化打字方法，而不是名义上的打字方法:

from typing import Dict, TypeVar, Generic
from typing_extensions import Protocol

K = TypeVar('K', contravariant=True)
V = TypeVar('V', contravariant=True)

# Mypy requires the key to also be contravariant. I suspect this is because
# it cannot actually verify all types that satisfy the WriteOnlyDict
# protocol will use the key in an invariant way.
class WriteOnlyDict(Protocol, Generic[K, V]):
    def __setitem__(self, key: K, value: V) -> None: ...

class A: pass
class B(A): pass
class C(B): pass

# All three functions accept only objects that implement the
# __setitem__ method with the signature described in the protocol.
#
# You can also use only this method inside of the function bodies,
# enforcing the write-only nature.
def accepts_a(x: WriteOnlyDict[str, A]) -> None: pass
def accepts_b(x: WriteOnlyDict[str, B]) -> None: pass
def accepts_c(x: WriteOnlyDict[str, C]) -> None: pass

my_dict: WriteOnlyDict[str, B] = {"foo": B()}

#  error: Argument 1 to "accepts_a" has incompatible type "WriteOnlyDict[str, B]"; expected "WriteOnlyDict[str, A]"
accepts_a(my_dict)

# Both type-checks
accepts_b(my_dict)
accepts_c(my_dict)

---

要回答您隐含的问题(“如何让 mypy 检测此处的类型错误/正确地键入检查我的代码？”)，答案很“简单”——只需避免使用 Any不惜一切代价。每次这样做，都是在故意在类型系统中打开一个漏洞。

例如，声明字典的值可以是任何类型的更安全的方法是使用 Dict[str, object]。现在，mypy 会将对 add_items 函数的调用标记为非类型安全。

或者，考虑使用 TypedDict如果您知道您的值(value)观将是多样化的。

您甚至可以通过启用 Disable dynamic typing 使 mypy 禁止 Any 的某些用法。命令行标志/配置文件标志系列。

也就是说，在实践中，完全禁止使用 Any 通常是不现实的。即使您可以在您的代码中满足这个理想，许多第 3 方库要么没有注释，要么没有完全注释，这意味着它们到处都使用 Any。因此，不幸的是，完全删除它们的使用往往最终需要大量额外的工作。