python - 实时艺术项目---输入: sound --- output: image (better title?)

Question

我不太确定我是否应该在这里问这个问题。
我想做一个艺术项目。
我想使用语音作为输入，图像作为输出。
图像会随着声音而变化。

我怎么能意识到这一点？因为我需要实时或 50 毫秒以下的延迟。
起初我认为使用微 Controller 会更好。
但我想计算巨大的图像，也许我的微 Controller 无法做到这一点。
例如，我想计算 10.000 个移动物体。
我可以用 windows/linux/mircocontroller 实现这一点吗？

如果我能使用 Python 那就太好了。
还是你的事情处理是一个更好的选择？

您需要更多详细信息吗？

Answer 1

您是否考虑过使用像 Pure Data 这样的图形数据流环境？ (Pd) 或 Max ? Max 是商业产品，但 Pd 是免费的。

即使您最终没有在最终项目中使用 Pd，它也是一个出色的快速原型(prototype)制作工具。虽然 Pd 的图形处理能力有限，但有一些扩展，例如 Gridflow和 Gem ，这可能对您有所帮助。当然，使用 Pd，您可以使用 [fiddle~] 对象分析传入的声音，这将为您提供各个分音的整体音高和频率/幅度，以及 [env~]，这将为您提供 RMS 幅度。然后，您可以非常轻松地将声音(音高、幅度、音色)的变化映射到图像的各种属性，例如 Gem 或 Gridflow 中的颜色、形状、元素数量等。

即使在现代桌面 GPU 上，10k 移动物体听起来也非常多!即时计算所有这些位置将消耗大量资源。我认为即使使用像 openFrameworks 这样的专用 C++ 图形库，这可能是一场斗争。您可能需要考虑一种优化策略，例如预渲染图像的各个方面，并使用实时音频控制来确定在任何给定时间显示哪些预渲染组件。这可能会产生控制 10k 个对象的错觉，而实际上大部分对象都是预渲染的。

祝你好运!