- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
目前我正在开发一个基于 NLP 的文本数据分析和可视化系统。
后端 (Python+Flask+AWS EC2) 处理分析,并使用 API 将结果反馈给前端 (FLASK+D3+Heroku)仅处理交互式可视化的应用程序。
现在原型(prototype)中的分析是一个基本的Python函数,这意味着在大文件上分析需要更长的时间,从而导致API数据桥接到前端期间请求超时。许多文件的分析也是在线性阻塞队列中完成的。
因此,为了扩展此原型(prototype),我需要将 Analysis(text) 函数修改为后台任务,这样它就不会阻止进一步执行,并且可以在函数完成后进行回调。输入文本是从 AWS S3 获取的,输出是一个相对较大的 JSON 格式,旨在存储在 AWS S3 中,因此 API 桥将简单地获取此 JSON,其中包含前端应用程序中所有图形的数据。 (我发现 S3 比创建大型关系数据库结构来存储持久数据更容易处理......)
我正在使用 Celery 做简单的示例,并发现它适合作为解决方案,但是我只是在 AWS Lambda 中阅读了一些内容,这在纸面上似乎是扩展方面更好的解决方案......
Analysis(text)
函数使用来自相对常见的 NLP python 包的预构建模型和函数。由于我缺乏扩展原型(prototype)的经验,我想询问您的经验和判断,哪种解决方案最适合这种情况。
谢谢:)
最佳答案
我想分享一下个人经历。我将繁重的任务转移到了 AWS Lambda,我必须承认投资返回率相当不错。例如,我的任务之一是为客户生成月度报表,然后将其邮寄给客户。每个语句的数据都被输入到 Jinja 模板中,该模板为我提供了该语句的 HTML。我使用 Weasyprint 将 HTML 转换为 Pdf 文件。然后邮寄这些 pdf 声明是最后一步。我研究了直接创建 pdf 文件的各种选项,但它们对我来说似乎不可行。
也就是说,当规模较小时,即顾客数量较少时, celery 就很棒。不过值得一提的是,在此任务期间,我观察到 CPU 使用率很高。我会为每个客户将此任务添加到 celery 队列中,celery 工作人员将从中获取任务并执行它。
但是当规模变大时, celery 就不再是一个可靠的选择。 CPU 使用率非常高(我不怪罪 celery ,但这就是我观察到的)。不过 celery 还是不错的。但请务必了解这一点,使用 celery 时,您可能会面临缩放问题。垂直缩放可能对您没有帮助。因此,随着后端的增长,您需要水平扩展才能从 celery 获得良好的性能。当队列中等待的任务很多,而worker的数量有限时,自然会有很多任务需要等待。
因此,就我而言,我将这个 CPU 密集型任务移至 AWS Lambda。因此,我部署了一个函数,可以根据客户的对账单数据生成对账单 Pdf,然后将其邮寄。 AWS Lambda 立即解决了我们的扩展问题。其次,由于这更多的是一个周期任务,而不是日常任务 - 所以我们不需要每天运行 celery。 Lambda 将在需要时启动,但在不使用时不会运行。此外,这个函数是在 NodeJS 中的,因为我发现 npm 包比我在 Python 中的解决方案更有效。所以 Lambda 也是有优势的,因为你可以利用各种编程语言的优势,但你的核心可能不会改变。另外,我个人认为 Lambda 相当便宜 - 因为免费套餐每月提供大量计算时间(GB 秒)。此外,您的 Lambda 所在的底层服务器也会在可用时更新到最新的安全补丁。正如您所看到的,我的维护成本大幅下降。
AWS Lambda 可根据需要进行扩展。此外,它们还可以为实时流处理等任务、繁重的数据处理任务或运行 CPU 密集型任务提供良好的用例。
关于python-2.7 - Celery 消息队列与 AWS Lambda 任务处理,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40173481/
对于在 AWS 云中配置基础设施,我们目前使用从 ansible 角色调用的云形成模板,但我们发现在增加基础设施的规模后,此代码在 GitHub 中变得非结构化或未模块化 Github上有意大利面条式
我一直在阅读documentation for AWS Cloudwatch events至trigger AWS Batch我不知道如何从 cloudwatch 事件触发 aws 批处理: 在 aw
我正在尝试使用入口控制器安装我的CA证书。我正在遵循这份指南。Https://docs.aws.amazon.com/eks/latest/userguide/aws-load-balancer-co
如何使用 aws cloudformation 或 aws cdk 设置 aws aurora mysql 表? 在我的设置中,我有一个使用 lambda 实现各种微服务的无服务器应用程序。数据库是无
我看到了各种使用 AWS CDK 的示例,其中一些使用 aws-cdk-lib,另一些使用 @aws-cdk/core。这些之间有什么区别,什么时候应该使用一个或另一个? 最佳答案 aws-cdk-l
我看到了各种使用 AWS CDK 的示例,其中一些使用 aws-cdk-lib,另一些使用 @aws-cdk/core。这些之间有什么区别,什么时候应该使用一个或另一个? 最佳答案 aws-cdk-l
我在 cdk 研讨会上建立了一个小的 lambda 函数 here .我正在用 typescript 编写 lambda 函数,通过管道进行部署,该管道创建了一个包含 lambda 函数的云形成堆栈。
我刚刚开始使用 AWS 服务,尤其是 AWS Lambda。有没有办法从 Lambda 代码 (Java) 中使用 AWS KMS 服务。我想使用 KMS 来解密加密的外化(从属性读取) secret
CFN 模板是否可以根据参数向 ALB 添加一些特定的安全组? 我遇到了两个安全组添加到 ALB 的情况: ALB Type: AWS::ElasticLoadBalancingV2::LoadB
例如,我有一个主要公司 AWS 账户,其安全组为 xxxxx。现在我有了我的个人 aws 安全组-yyyyy。这些帐户根本不相关。我可以将接受组-yyyyy 添加到组-xxxxx 中,从而允许我的
我有一个 Lambda 函数,它有多个 MSK 触发器配置 - 每个都针对不同的主题。 如果 Lambda 的输入 ( MSKEvent ) 可以包含多个不同的主题,则未在官方文档中找到任何信息。 官
在 AWS Glue 中创建 JDBC 连接时,有什么方法可以从 AWS secret manager 获取密码而不是手动硬编码吗? 最佳答案 我必须在我当前的项目中这样做才能连接到 Cassandr
谁能告诉我: aws-sdk/clients/appsync , 和 aws-appsync 根据文档,aws-sdk/clients/appsync使用是因为只包括 aws-sdk当我们只需要 ap
我不小心删除了我的放大前端并创建了一个新前端。如何将现有的放大后端导入新创建的放大应用项目文件夹? 我按照后端标签上的步骤操作 amplify init --appId(“您的新AMPLIFY APP
我正在使用 Java Sdk 创建粘合作业。它只有两个必需的参数 Command 和 Glue 版本。 但我需要使用自动脚本生成来创建工作。正如我们可以从控制台做的那样,我们添加数据源、AWS Glu
目前我正在使用 AWS Glue 作业将数据加载到 RedShift,但在加载之后我需要运行一些可能使用 AWS Lambda 函数的数据清理任务。有没有办法在 Glue 作业结束时触发 Lambda
简单的 aws lambda 和 aws lambda@edge 有什么区别? 最佳答案 Lambda 根据某些触发器执行函数。 Lambda 的用例非常广泛,并且与许多 AWS 服务高度集成。您甚至
关闭。这个问题是opinion-based 。目前不接受答案。 想要改进这个问题吗?更新问题,以便 editing this post 可以用事实和引文来回答它。 . 已关闭 9 个月前。 社区 9
我正在尝试使用 Python 使用 AWS-CDK 创建托管广告。以下是错误,从 JavaScriptError(resp.stack) 引发 JSIIError(resp.error)jsii.er
这两个包似乎在很大程度上做同样的事情?这两个包之间的预期区别是什么,我应该使用哪个包? 最佳答案 Pipelines 是较新的 --experimental-- (编辑:它不再在 Experiment
我是一名优秀的程序员,十分优秀!