- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
编写代码后,当我运行我的 pgloader 脚本时,它以这种方式失败:
load database
from mysql://xxx:yyy127.0.0.1/zzz
into pgsql://xxx:yyy@localhost/zzz
including only table names matching 'TABLE'
with
data only,
create no tables, preserve index names,
batch rows = 1000,
batch size = 500 MB,
prefetch rows = 1000
-- on error stop,
set work_mem to '2048 MB', maintenance_work_mem to '4096 MB';
-- before load do $$ drop schema if exists jobs cascade; $$;
我收到此错误消息,但这是间歇性的,也就是说,它并不总是发生,而且我不确定要输入什么参数。我有足够的内存,每条记录大约 50kb。
2020-05-25T04:28:14.194000Z INFO Incomplete Foreign Key definition: constraint "fk_job_currency1" on table "jobs2_beta2.job" referencing table NIL
2020-05-25T04:28:14.194000Z INFO Incomplete Foreign Key definition: constraint "fk_job_job_category1" on table "jobs2_beta2.job" referencing table NIL
2020-05-25T04:28:14.194000Z INFO Incomplete Foreign Key definition: constraint "fk_job_organization1" on table "jobs2_beta2.job" referencing table NIL
2020-05-25T04:28:14.194000Z INFO Incomplete Foreign Key definition: constraint "fk_job_resource1" on table "jobs2_beta2.job" referencing table NIL
2020-05-25T04:28:14.194000Z INFO Incomplete Foreign Key definition: constraint "fk_job_user1" on table "jobs2_beta2.job" referencing table NIL
2020-05-25T04:28:14.198000Z SQL MySQL: sending query: -- params: db-name
-- table-type-name
-- only-tables
-- only-tables
-- including
-- filter-list-to-where-clause incuding
-- excluding
-- filter-list-to-where-clause excluding
SELECT table_name, index_name, index_type,
sum(non_unique),
cast(GROUP_CONCAT(column_name order by seq_in_index) as char)
FROM information_schema.statistics
WHERE table_schema = 'jobs2_beta2'
and (table_name = 'job')
GROUP BY table_name, index_name, index_type;
2020-05-25T04:28:14.225000Z INFO Processing source catalogs
2020-05-25T04:28:14.272000Z NOTICE Prepare PostgreSQL database.
2020-05-25T04:28:14.275000Z DEBUG CONNECTED TO #<PGLOADER.PGSQL:PGSQL-CONNECTION pgsql://ziprecruiter@localhost:5432/ziprecruiter {1006A2A683}>
2020-05-25T04:28:14.275000Z DEBUG SET client_encoding TO 'utf8'
2020-05-25T04:28:14.275000Z DEBUG SET work_mem TO '1024 MB'
2020-05-25T04:28:14.276000Z DEBUG SET maintenance_work_mem TO '4096 MB'
2020-05-25T04:28:14.276000Z DEBUG SET application_name TO 'pgloader'
2020-05-25T04:28:14.280000Z DEBUG BEGIN
2020-05-25T04:28:14.314000Z SQL DROP TABLE IF EXISTS jobs2_beta2.job CASCADE;
2020-05-25T04:28:15.316000Z SQL CREATE TABLE jobs2_beta2.job
(
id bigserial not null,
resource_id bigint not null,
url text not null,
job_title text,
html_job_description text,
text_job_description text,
last_crawl_date timestamptz,
first_indexed_date timestamptz,
job_category_id bigint not null,
currency_id bigint not null,
salary_exact double precision,
salary_is_range smallint,
salary_range_start double precision,
salary_range_end double precision,
address text,
source_program varchar(255),
organization varchar(255),
organization_count bigint,
expiration_date timestamptz,
is_sponsored smallint,
is_hidden smallint,
educational_requirements text,
experience_requirements text,
destination text,
organization_id bigint not null,
user_id bigint not null,
is_expired smallint,
salary_periodicity varchar(255),
json_schema text,
clean_job_description text,
estimated_job_category varchar(255)
);
2020-05-25T04:28:15.326000Z SQL -- params: table-names
select n, n::regclass::oid
from (values ('jobs2_beta2.job')) as t(n);
2020-05-25T04:28:15.392000Z NOTICE COPY jobs2_beta2.job
2020-05-25T04:28:15.392000Z DEBUG Reader started for jobs2_beta2.job
2020-05-25T04:28:15.405000Z DEBUG start jobs2_beta2.job 1400
2020-05-25T04:28:15.407000Z INFO COPY ON ERROR STOP
2020-05-25T04:28:15.408000Z DEBUG CONNECTED TO #<MYSQL-CONNECTION mysql://jobs_client2@127.0.0.1:3306/jobs2_beta2 {100A4E61B3}>
2020-05-25T04:28:15.408000Z SQL MySQL: sending query: SELECT `id`, `resource_id`, `url`, `job_title`, `html_job_description`, `text_job_description`, `last_crawl_date`, `first_indexed_date`, `job_category_id`, `currency_id`, `salary_exact`, `salary_is_range`, `salary_range_start`, `salary_range_end`, `address`, `source_program`, `organization`, `organization_count`, `expiration_date`, `is_sponsored`, `is_hidden`, `educational_requirements`, `experience_requirements`, `destination`, `organization_id`, `user_id`, `is_expired`, `salary_periodicity`, `json_schema`, `clean_job_description`, `estimated_job_category` FROM `job`
2020-05-25T04:28:15.416000Z DEBUG CONNECTED TO #<PGLOADER.PGSQL:PGSQL-CONNECTION pgsql://ziprecruiter@localhost:5432/ziprecruiter {100A8C11A3}>
2020-05-25T04:28:15.416000Z DEBUG SET client_encoding TO 'utf8'
2020-05-25T04:28:15.416000Z DEBUG SET work_mem TO '1024 MB'
2020-05-25T04:28:15.416000Z DEBUG SET maintenance_work_mem TO '4096 MB'
2020-05-25T04:28:15.416000Z DEBUG SET application_name TO 'pgloader'
2020-05-25T04:28:15.416000Z SQL SET search_path TO jobs2_beta2;
2020-05-25T04:28:15.417000Z INFO pgsql:copy-rows-from-queue[0]: jobs2_beta2.job (id resource_id url job_title
html_job_description
text_job_description
last_crawl_date
first_indexed_date
job_category_id currency_id
salary_exact salary_is_range
salary_range_start
salary_range_end address
source_program organization
organization_count
expiration_date is_sponsored
is_hidden
educational_requirements
experience_requirements
destination organization_id
user_id is_expired
salary_periodicity json_schema
clean_job_description
estimated_job_category)
Gen Boxed Unboxed LgBox LgUnbox Pin Alloc Waste Trig WP GCs Mem-age
0 0 0 0 0 0 0 0 42949672 0 0 0.0000
1 577 42719 0 36 5 1301487024 118415952 753961944 0 1 1.3187
2 1776 83008 25 60 65 2579123472 201863920 2000000 668 0 0.8672
3 0 0 0 0 0 0 0 2000000 0 0 0.0000
4 0 0 0 0 0 0 0 2000000 0 0 0.0000
5 0 0 0 0 0 0 0 2000000 0 0 0.0000
6 1593 1278 0 0 0 90993120 3083808 2000000 1501 0 0.0000
7 0 0 0 0 0 0 0 2000000 0 0 0.0000
Total bytes allocated = 3971603616
Dynamic-space-size bytes = 4294967296
GC control variables:
*GC-INHIBIT* = true
*GC-PENDING* = true
*STOP-FOR-GC-PENDING* = false
fatal error encountered in SBCL pid 9514(tid 0x7ffff492f700):
Heap exhausted, game over.
Welcome to LDB, a low-level debugger for the Lisp runtime environment.
ldb>
我尝试修改内存参数,有人可以就此问题提供帮助吗?
最佳答案
找到一个与“堆已耗尽,游戏结束”相关的 github 问题,可能会有帮助。
关于mysql - pgloader:堆耗尽,游戏结束。问题,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/61995894/
我想加速将数据加载到 PostgreSQL。我开始使用 pgloader https://github.com/dimitri/pgloader并想利用并行加载。我正在修改不同的参数,但我无法在我的机
编写代码后,当我运行我的 pgloader 脚本时,它以这种方式失败: load database from mysql://xxx:yyy127.0.0.1/zzz into pgs
正在将平面文件加载到 postgres 表。我需要在读取文件和加载文件时做一些转换。 Like -->Check for characters, if it is present, default s
我正在使用带有 pgloader 的加载文件,我的 MySQL 数据库中有一个特别有问题的表,其中的日期时间格式错误。我只想在迁移过程中跳过该列。我怎样才能在加载文件中做到这一点?像这样的东西: LO
我在一台由公司 IT 严格管理的 Windows 7 笔记本电脑上运行 PostgreSQL 9.6。我没有这台笔记本电脑的管理员权限,但可以通过 BeyondTrust 授予的提升权限执行“许多”操
我在 Ubuntu 上使用以下命令安装了 pgloader。 $ apt-get install pgloader 当我尝试使用以下命令将示例数据库从 mysql 移动到 postgrs create
我正在使用 pgloader 从 .csv 文件导入,该文件在双引号中包含空字符串。示例行是 12334,0,"MAIL","CA","","Sanfransisco","TX","","","" 导
我尝试了以下命令,它没有返回错误,但数据未导入到我的 postgres 数据库中。 数据库已在 Postgres 中创建。 pgloader mysql://user:password@localho
我正在尝试使用 pgloader 将 mysql 迁移到 postgres,因为我使用的是 window 所以,我安装了 pgloaderwindows linux 子系统,我使用以下命令迁移数据库
我需要将 csv 文件的内容上传到 PostgreSQL。内容不完美且包含错误,所以我不能只使用 COPY 命令,我需要跳过虚线。 所以我决定使用 pgloader-2.3.2 我有 Win8 x64
我正在尝试安装 pgloader在 centOS 6.7(64 位) 上 步骤 wget http://pgsql.tapoueh.org/pgloader/pgloader-3.0.98-21.el
我需要将一些 MySQL 数据库转换为 Postgresql。 我遇到了 pgloader脚本,它有望成为最佳解决方案,但来自 Windows 环境,我不知道如何构建它。我的服务器有 CentOS7,
我有一个 MySQL 数据库,我想将其转换为 Postgres 数据库。我发现pgloader.io做这个。我怎样才能完成这个任务? 最佳答案 创建一个文件(在 pgloader 架构中)定义数据传输
我正在尝试使用 pgloader 将数据库从 sqlite 迁移到 postgresql .我的 sqlite 数据库是 data.db,所以我试试这个 pgloader ./var/data.db
我已经在 centos 6.5 上使用 yum install 安装了 pgloader。我无法让 pgloader 加载以下文件。我在 shell 上的命令是 pgloader mysql.load
我很困惑,不明白这是怎么发生的。我用了pgloader在我的 Mac OS X 中将数据从 MySQL 迁移到 PostgreSQL 数据库。 苹果操作系统 我试过了 pgloader mysql:/
我正在尝试将包含泰语和英语的 MySQL UTF8mb4 数据库转换为 Postgresql。这似乎去好吧,直到我尝试添加 tsearch。让我概述一下所采取的步骤。 安装此泰语解析器 https:/
我尝试使用pgloader从 MySQL 5.7 迁移到 PostgreSQL 11.6在 Ubuntu 18.04 上。 pgloader -v -d mysql://mysqluser:secre
我有这样的 csv 行: "aaa"|"bbb"|"ccc"|"dddd eeeee" 我想使用 pgloader ( http://pgloader.io/ ) 或 PostgreSQL COPY
我正在尝试将我的 rails 应用程序从 mysql 迁移到 postgres。由于我们已经运行了应用程序,所以我正在使用 pgloader 将 mysql 数据移动到 postgres 数据库。但是
我是一名优秀的程序员,十分优秀!