ios - 重现 iOS 11 笔记中的新扫描功能

Question

有谁知道如何重现 new Notes new scanning feature在 iOS 11 中？？

AVFoundation 是否用于相机？

摄像头如何检测纸张/文档/卡片的形状？

他们如何实时放置叠加层？

相机如何知道何时拍照？

什么是动画叠加层？我们如何实现这一点？

Answer 1

• 有谁知道如何重现这个？不完全是:P

• AVFoundation 是否用于相机？是的

• 摄像头如何检测纸张/文档/卡片的形状？他们正在使用 Vision Framework 进行矩形检测。在这个 WWDC 中有说明其中一名示威者的 session

• 他们如何实时放置叠加层？你应该看看上面的视频，因为他谈到在其中一个演示中做类似的事情

• 相机如何知道何时拍照？我不熟悉这个应用程序，但它肯定是在捕获 session 中触发的，不是吗？

• 那个动画叠加层是什么？我们如何实现它？对此不确定，但我想它是某种带有动画的 CALayer

• 之后的图像是否使用了 Tesseract 框架？Tesseract OCR 不是用于文本的吗？如果您正在寻找手写识别，您可能需要寻找 MNIST 模型