- r - 以节省内存的方式增长 data.frame
- ruby-on-rails - ruby/ruby on rails 内存泄漏检测
- android - 无法解析导入android.support.v7.app
- UNIX 域套接字与共享内存(映射文件)
对于我正在制作的程序,此函数在 for 循环中作为 goroutine 运行,具体取决于传入的 url 数量(无设定数量)。
func makeRequest(url string, ch chan<- string, errors map[string]error){
res, err := http.Get(url)
if err != nil {
errors[url] = err
close(ch)
return
}
defer res.Body.Close()
body, _ := ioutil.ReadAll(res.Body)
ch <- string(body)
}
必须使用响应的整个主体,因此 ioutil.ReadAll 似乎是完美的选择,但对可以传入的 url 数量没有限制,而且 ReadAll 的性质是它全部存储在内存中它开始感觉不像金票。我是 Go 的新手,所以如果您决定回答,如果您能在您的解决方案背后给出一些解释,我们将不胜感激!
最佳答案
我在学习如何使用 Go 时得到的一个见解是,ReadAll 对于大型读者来说通常效率低下,并且就像您的情况一样,任意输入都非常大并且可能会泄漏内存。刚开始时,我曾经像这样进行 JSON 解析:
data, err := ioutil.ReadAll(r)
if err != nil {
return err
}
json.Unmarshal(data, &v)
然后,我了解到一种更有效的解析 JSON 的方法,即简单地使用 Decoder
类型。
err := json.NewDecoder(r).Decode(&v)
if err != nil {
return err
}
这不仅更加简洁,而且在内存方面和时间方面都更加高效:
Read
方法以获取所有数据和解析它。这节省了大量的分配时间并消除了 GC 的压力当然,您的问题与 JSON 无关,但是这个示例有助于说明,如果您可以直接使用 Read
并一次解析数据 block ,那就去做吧。特别是对于 HTTP 请求,解析比读取/下载更快,因此这会导致解析数据在请求主体完成到达时几乎立即就绪。
在您的情况下,您现在似乎实际上没有对数据进行任何处理,因此没有太多建议可以具体帮助您。但是 io.Reader
和 io.Writer
接口(interface)是 UNIX 管道的 Go 等效项,因此您可以在许多不同的地方使用它们:
将数据写入文件:
f, err := os.Create("file")
if err != nil {
return err
}
defer f.Close()
// Copy will put all the data from Body into f, without creating a huge buffer in memory
// (moves chunks at a time)
io.Copy(f, resp.Body)
将所有内容打印到标准输出:
io.Copy(os.Stdout, resp.Body)
将响应的主体通过管道传输到请求的主体:
resp, err := http.NewRequest("POST", "https://example.com", resp.Body)
关于http - ioutil.ReadAll 的替代方案?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52539695/
我应该编写一个函数来打印一组给定的三个数字中两个较大数字的平方和。 我对这种情况的处理相当笨拙。我没有编写返回一组 3 中最大的两个数字的函数,而是编写了函数,以便表达式减少到两个所需的数字。 # S
如果有人可以提供帮助,我将不胜感激。我一直在敲我的头一天试图让这个工作。我已经在互联网上搜索并重新阅读了手册,但我就是不明白。 guile << __EOF__ ( define heading-li
目前我正在处理一个方案问题,其中我们正在使用方案列表表示一个图。我们使用的第一个变体是表示为 的边列表图 '((x y) (y z) (x z)) 我们正在使用的图的第二个变体被称为 x 图,表示为
我正在尝试创建一个函数,该函数将两个函数作为参数并执行它们。 我尝试使用 cond ,但它只执行 action1 . (define seq-action (lambda (action1 act
我提前为我的原始英语道歉;我会尽量避免语法错误等。 两周前,我决定更新我对 Scheme(及其启示)的知识,同时实现我在手上获得的一些数学 Material ,特别是我注册的自动机理论和计算类(cla
Scheme中有没有函数支持分数的“div”操作? 意思是 - 11 格 2.75 = 4。 最佳答案 我认为你的问题的答案是:没有,但你可以定义它: #lang racket (define (di
我在scheme中实现合并排序,我必须通过定义两个辅助方法来实现:merge和split。 Merge 需要两个列表(已经按递增顺序)并将它们合并在一起。我这样做了如下: (define merge
尝试从终端加载方案文件。我创建了一个名为 test.scm 的文件,其中包含以下代码: (define (square x) (* x x)) (define (sum-of-squares x y)
我有以下代码: (define (howMany list) (if (null? list) 0 (+ 1 (howMany (cdr list))))) 如果我们执行以
我有点了解如何将基本函数(例如算术)转换为Scheme中的连续传递样式。 但如果函数涉及递归怎么办?例如, (define funname (lambda (arg0 arg1)
我正在尝试附加两个字符串列表 但我不知道如何在两个单词之间添加空格。 (define (string-concat lst1 lst2) (map string-append lst1
这个问题已经有答案了: How do I pass a list as a list of arguments in racket? (2 个回答) 已关闭 8 年前。 我有一个函数,它需要无限数量的
我对这段代码的工作方式感到困惑: (define m (list 1 2 3 '(5 8))) (let ((l (cdr m))) (set! l '(28 88))) ==>(1 2 3 (5 8
我正在为学校做一项计划作业,有一个问题涉及我们定义记录“类型”(作为列表实现)(代表音乐记录)。 我遇到的问题是我被要求创建一个过程来创建这些记录的列表,然后创建一个将记录添加到该列表的函数。这很简单
我有以下代码: (define (howMany list) (if (null? list) 0 (+ 1 (howMany (cdr list))))) 如果我们执行以
我正在尝试附加两个字符串列表 但我不知道如何在两个单词之间添加空格。 (define (string-concat lst1 lst2) (map string-append lst1
如何使用抽象列表函数(foldr、foldl、map 和 filter 编写函数),无需递归,消耗数字列表 (list a1 a2 a3 ...) 并产生交替和 a1 - a2 + a3 ...? 最
我试图找出在 Scheme 中发生的一些有趣的事情: (define last-pair (lambda (x) (if (null? (cdr x))
这个问题在这里已经有了答案: Count occurrence of element in a list in Scheme? (4 个答案) 关闭 8 年前。 我想实现一个函数来计算列表中元素出现
我正在尝试使用下面的代码获取方案中的导数。谁能告诉我哪里出错了?我已经尝试了一段时间了。 (define d3 (λ (e) (cond ((number? e) 0) ((e
我是一名优秀的程序员,十分优秀!