ruby-on-rails - 如何从 url 下载每个 zip 文件并使用 rails 解压缩-6ren

ruby-on-rails - 如何从 url 下载每个 zip 文件并使用 rails 解压缩

转载作者：数据小太阳更新时间：2023-10-29 08:43:38

31

4

现在我有一个 URL，它在浏览器中填充了一个 .zip 文件列表。我正在尝试使用 Rails 下载文件，然后使用 rubyzip gem 中的 Zip::File 打开它们。目前，我正在使用 typhoeus gem 执行此操作:

response = Typhoeus.get("http://url_with_zip_files.com")

但是 response.response_body 是一个包含在字符串中的 HTML 文档。我是编程新手，所以使用最佳实践向正确的方向提示会很有帮助。

response.response_body => "<!DOCTYPE HTML PUBLIC \"-//W3C//DTD HTML 3.2 Final//EN\">\n<html>\n <head>\n  <title>Index of /mainstream/posts</title>\n </head>\n <body>\n<h1>Index of /mainstream/posts</h1>\n<table><tr><th><a href=\"?C=N;O=D\">Name</a></th><th><a href=\"?C=M;O=A\">Last modified</a></th><th><a href=\"?C=S;O=A\">Size</a></th><th><a href=\"?C=D;O=A\">Description</a></th></tr><tr><th colspan=\"4\"><hr></th></tr>\n<tr><td><a href=\"/5Rh5AMTrc4Pv/mainstream/\">Parent Directory</a></td><td>&nbsp;</td><td align=\"right\">  - </td><td>&nbsp;</td></tr>\n<tr><td><a href=\"1476536091739.zip\">1476536091739.zip</a></td><td align=\"right\">15-Oct-2016 16:01  </td><td align=\"right\"> 10M</td><td>&nbsp;</td></tr>\n<tr><td><a href=\"1476536487496.zip\">1476536487496.zip</a></td><td align=\"right\">15-Oct-2016 16:04  </td><td align=\"right\"> 10M</td><td>&nbsp;</td></tr>"

最佳答案

要分解它，您需要:

使用 Typhoeus 获取初始 HTML 索引页

  base_url = "http://url_with_zip_files.com/"
  response = Typhoeus.get(base_url)

然后使用 Nokogiri 解析该 HTML 以提取 zip 文件的所有链接(参见:extract links (URLs), with nokogiri in ruby, from a href html tags?)

doc = Nokogiri::HTML(response)
links = doc.css('a').map { |link| link['href'] }
links.map { |link| base_url + '/' + link}

# Should look like:
# links = ["http://url_with_zip_files.com/1476536091739.zip", "http://url_with_zip_files.com/1476536487496.zip" ...]

# The first link is a link to Parent Directory which you should probably drop 
# looks like: "/5Rh5AMTrc4Pv/mainstream/"

links.pop

一旦获得所有链接:然后访问所有提取的链接以使用 ruby 下载 zip 文件并解压缩它们(参见:Ruby: Download zip file and extract)

 links.each do |link|
   download_and_parse(link)
 end

 def download_and_parse(zip_file_link)
   input = Typhoeus.get(zip_file_link).body
   Zip::InputStream.open(StringIO.new(input)) do |io|
      while entry = io.get_next_entry
          puts entry.name
          parse_zip_content io.read
      end
   end
 end

如果您想使用 Typhoeus 将文件内容从 url 流式传输到内存，请参阅标题为“流式传输响应正文”的 Typhoeus 文档部分。您还可以使用 Typhoeus 并行下载所有文件，这将提高您的性能。

关于ruby-on-rails - 如何从 url 下载每个 zip 文件并使用 rails 解压缩，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/40110213/

31

4

0

文章推荐： ruby - Thor 中带连字符的子命令

文章推荐： ruby - 有成员和无成员的结构

文章推荐： ruby - 为什么 chunk_while 返回 Enumerator 对象

文章推荐： ruby - 为什么我需要将 ~/.rbenv/bin 添加到我的路径中？

url - 如何将域关联到特定应用程序 url URL？
假设我拥有域 mydomain.com，并且我在服务器上有一个 Web 应用程序，网址为 http://99.99.99.99:1234/MyApplication/startpage.somethi
url - 如何将方案和路径添加到 url.URL
我正在尝试通过以下方式更新已解析的 URL: u, _ := url.Parse(s) if u.Scheme == "" { u.Scheme = "https" } if u.Path =
url - 如何将 URL 映射到端口和修改后的 URL？
如何将 www.somesite.com/api(.*) 映射到 www.somesite.com/$1:9000？ (我需要将/api 映射到运行 @ 端口 9000 的 Play 框架应用程序)
url - 分层 URL 与平面 URL
我有一个资源结构，如航类 > 座位 > 预订，所以预订属于某个航类的某个座位: http://example.com/jdf_3prGPS4/1/jMBDy46PbNc
url - URL 路径中包含多个句点的 URL 是否有效？
我想知道以下网址是否有效。路径中的点，在主机之后: http://www.example.com/v.b.w..com 主机中的点，作为子域的一部分: http://v.b.w..co.manufa
url - 301 URL 从一个域重定向到另一个保持完整 URL
我有两个域 - crmpicco.co.uk 和 ayrshireminis.com - 如果我浏览到: www.crmpicco.co.uk/mini/new我希望能够重定向到 www.ayrshi
url-rewriting - url 重写为外部 url
我正在尝试使用 URL 重写和应用程序请求路由来重写到外部 URL。我设置了以下规则: 在规则中，“patternToMatch”是我试
url - Url Rewrite 是否只能重写为内部 url？
我已经安装了带有 SharePoint 和 Url Rewrite 模块的 IIS 7.0。是以下句子还是我配置错误才能看到这个结果？ Url Redirect 可以将 url 重定向到任何内部(在
url - URL 中 url 单词的最大大小是多少？
我想知道，为了获得良好的 SEO，您必须在 URL 中使用自然语言。您知道字符中单词或短语的最大大小吗？例如: www.me.com/this-is-a-really-long-url.htm 我问这
url - 在 URL 中使用逗号有时会破坏 URL？
有人知道在 SEO 友好 URL 中使用逗号有什么问题吗？我正在使用一些在其 SEO 友好 URL 中使用大量逗号的软件；但我 100% 肯定我见过一些程序/平台无法正确识别 URL 并在第一个逗号后
url - 描述性 URL 与基本 URL
我有一个网站，我正在为所有链接使用干净的 URL。我想知道对于简短的基本 URL 与较长的描述性 URL 有何看法。例如，如果我的网站是关于 Georgia Bulldog 足球新闻的，那么哪个网站
url - 跟踪为长 URL 生成的短 URL
我正在编写一个类似于 tinyurl 的 URL 缩短器，我想知道如何跟踪已经使用我的服务缩短的 URL？例如，tinyurl 为相同的长 URL 生成相同的小 URL，而不管是谁创建的。如
magento 获取 Base Url 、 Skin Url 、 Media Url 、 Js Url 、 Store Url 和 Current Url 以确保安全
我是 magento 的新手。我正在开发一个模块。为此，我有一些要显示链接的 css 和 js 文件。我目前有类似的链接 getSkinUrl('module_tryouts/css/jquery.
url-rewriting - URL 重写 - 重定向到不同的端口并使用映射更改 URL
我想基于 HTTP_URL 重写 URL 以重定向到不同的端口，同时保留其余的 URL 和查询字符串(如果指定)。例如， http://host/john/page.aspx 应该重定向到 http:
url - Grails URL 映射和 URL 中的斜杠字符
我遇到了以下问题: 我的 Grails (2.2.0) 应用程序具有以下 URL 映射: "/api/clientQuote/$labcode/$cliCode/$quoCode"(controlle
url - SharePoint 中 URL 类型字段的长 URL
我有一个很长的 URL，它不适合 URL 字段。它一直在修剪。该怎么办？有没有办法增加 SharePoint 2010 中的 URL 字段字符限制？或者解决方法来容纳长 URL。例如，以下 URL
url-shortener - URL 缩短器如何保证 URL 不会过期？
关闭。这个问题是off-topic .它目前不接受答案。想改进这个问题？ Update the question所以它是on-topic对于堆栈溢出。 9年前关闭。 Improve this que
url - 从文件 URL 查找应用程序脚本发布的 URL - 按发布的 Web 应用程序 URL 搜索文件
我们从客户以前的开发人员那里继承了相当多的 Google Apps 脚本项目。 Apps 脚本通过嵌入式小部件部署在 Google 网站 (sites.google.com) 的各个页面上。每当我们需
url - 绝对 url、相对 url，以及...？
我正在编写一些文档，但遇到了一些词汇问题: http://www.example.com/en/public/img/logo.gif 被称为“绝对”网址，对吗？ ../../public/img/l
url - 从文件 URL 查找应用程序脚本发布的 URL - 按发布的 Web 应用程序 URL 搜索文件
我们从客户以前的开发人员那里继承了相当多的 Google Apps 脚本项目。 Apps 脚本通过嵌入式小部件部署在 Google 网站 (sites.google.com) 的各个页面上。每当我们需

首页

博学

6Ren·AI

商城

ruby-on-rails - 如何从 url 下载每个 zip 文件并使用 rails 解压缩