gpt4 book ai didi

javascript - 如何使用 javascript 将图像转换为音频?

转载 作者:行者123 更新时间:2023-12-02 22:32:30 27 4
gpt4 key购买 nike

我正在尝试一个想法并创建一个小网络应用程序,让我可以选择图像,将其转换为音频并播放(我知道它听起来不愉快)

所以我的问题是,任何人都可以提出一些可以帮助我的示例或现有库。

我将探索的其他领域是 Processing 和 MaxMSP 的使用,但理想情况下,我想稍后将我所做的东西打包成 Ionic 之类的东西——所以首选 Web 解决方案。

谢谢

最佳答案

德国数学家大卫希尔伯特发表了我们所说的 the Hilbert Curve 它定义了如何跟踪图像中的每个像素,并且只访问一次,而不会跳过从一个 Angular 开始到另一个 Angular 结束的任何像素。这就是您可以将 2D 图像转换为 1D 表示的方式。

在这条结果线上,您已经记录了每个像素的光强度测量值……现在,为了从这张图片合成音频,我们将人类听觉的频谱从低频到最高频率映射到这条线上……在你介绍的线上的每个像素点上一个正弦曲线振荡器以适合其位置的频率在您的线路上从左到右产生恒定的单音...同时从所有这些振荡器合成音频...这就是图像的声音

美丽的方面是它反向同样好......从任意音频到它的图像表示......它不会丢失流式音频可以转换为视频流......如果你想去这样做而不会丢失信息循环法 (audio->video->audio->...) 作为将每个像素的 RGBA 折叠成单个光强度值的简单方法变得很棘手,目的是避免丢失您真正需要的信息 multidimensional structure instead of a simple 1D line

Here is a video explaining this Hilbert Curve

这是一个很好的独立想法,计算简单,可以实时执行,以可观的音频采样率和位深度获得体面的图像分辨率......我正在积极研究这个问题,并将用代码报告我的发现 repo

关于实现细节,有一些库可以显示所提供图像的 RGBA 像素值……除了编写自己的希尔伯特曲线算法之外,它也有库……一旦你所有的频率振荡器都嗡嗡作响,你就需要对所有的它们中的一个同时将一个输出样本合成为给定样本时间点的聚合曲线高度......然后能够听到音频输出,我将使用 Web Audio API,您可以在其中将其事件循环内存缓冲区与您的聚合一起提供曲线音频......这不是一个简单的方法,但非常可行

人脑具有足够的可塑性,可以接受训练以听到别人看到的东西,这样盲人就会用它来扔掉他们的手杖!!!多么快乐……

关于javascript - 如何使用 javascript 将图像转换为音频?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39540244/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com