linux - 在shell脚本中将文件从两台机器移动到四台机器

Question

我正在开发一个项目，需要将文件从一台计算机移动到另一台计算机。所有机器都是 Ubuntu 机器，运行 Ubuntu 12.04。所以我想，我可以直接 scp 文件。

现在下面是我的文本文件，它将由另一个程序生成，其中包含有关哪台机器拥有哪些文件的详细信息。

{ dbx45.dc1.host.com=[0, 1024, 4, 1028],
  dbx46.dc1.host.com=[1, 1025, 5, 1029],
  dbx47.dc1.host.com=[2, 1026, 6, 1030],
  dbx48.dc1.host.com=[3, 1027, 7, 1031] }

在上面的文本文件中，我有一组key = value对组合，其中key是客户端计算机名称，value是每台计算机负责的文件名称。例如在上面的文件中，

dbx45.dc1.host.com is the client machine responsible for 0 file name, 1024 file name, 4 file name, 1028 file name.
dbx46.dc1.host.com is the client machine responsible for 1 file name, 1025 file name, 5 file name, 1029 file name.
dbx47.dc1.host.com is the client machine responsible for 2 file name, 1026 file name, 6 file name, 1030 file name.
dbx48.dc1.host.com is the client machine responsible for 3 file name, 1027 file name, 7 file name, 1031 file name.

现在所有文件都仅驻留在这两台计算机中，如下所述。也就是说，文件是随机分布在下面两台机器上的，所以并不是只有一台机器包含所有文件。

slc4b03.dc1.host.com
chd1b02.dc2.host.com

以上两台机器中的所有文件都驻留在该文件夹中 -

/bat/data/snapshot/

文件名是这样的 -

`t1_weekly_0_200003_5.data` (this is for file 0)
`t1_weekly_1024_200003_5.data` (this is for file number 1024)
`t1_weekly_4_200003_5.data` (this is for file number 4)

and similarly for others as well.

现在的问题是

1. 读取 txt 文件并找出哪个客户端计算机负责哪些文件。
2. 然后相应地从这两台计算机中提取这些文件(如果一台计算机中不存在，那么它将存在于第二台计算机中)并将其放入 (scp) 到此路径 (/export/home/username/primary) 中的相应客户端计算机中。

我猜我可以从任何机器上运行这个 shell 脚本，因为我们只是对其进行 scp(-ing)。

我不知道如何在 shell 脚本中做到这一点？有什么想法吗？

更新:-

文件编号位于文件名内。

此文件 - t1_weekly_0_200003_5.data 用于文件 0。同样，此文件 - t1_weekly_1024_200003_5.data 用于文件 1024。

Answer 1

部分答案:只需稍加修改即可将数据结构读入 Perl(Perl 非常有能力处理)。此代码获取显示的数据文件并将其转换为此代码打印的结构:

#!/usr/bin/env perl
use strict;
use warnings;

# Slurp input into $data
my $data;
{
local $/;
$data = <>;
}
print "data = <<$data>>\n";

# Convert to eval-able format
$data =~ s/{/ \$x = {/m;
$data =~ s/}/};/m;
$data =~ s/([^ ]+)=/"$1" => /gm;
print "data = <<$data>>\n";

# Eval it
my $x;
eval $data;

# Dump the data structure
foreach my $key (keys %{$x})
{
    foreach my $val (@{$x->{$key}})
    {
        print "$key: $val\n";
    }
}

示例运行:

data = <<{ dbx45.dc1.host.com=[0, 1024, 4, 1028],
  dbx46.dc1.host.com=[1, 1025, 5, 1029],
  dbx47.dc1.host.com=[2, 1026, 6, 1030],
  dbx48.dc1.host.com=[3, 1027, 7, 1031] }
>>
data = << $x = { "dbx45.dc1.host.com" => [0, 1024, 4, 1028],
  "dbx46.dc1.host.com" => [1, 1025, 5, 1029],
  "dbx47.dc1.host.com" => [2, 1026, 6, 1030],
  "dbx48.dc1.host.com" => [3, 1027, 7, 1031] };
>>
dbx46.dc1.host.com: 1
dbx46.dc1.host.com: 1025
dbx46.dc1.host.com: 5
dbx46.dc1.host.com: 1029
dbx47.dc1.host.com: 2
dbx47.dc1.host.com: 1026
dbx47.dc1.host.com: 6
dbx47.dc1.host.com: 1030
dbx48.dc1.host.com: 3
dbx48.dc1.host.com: 1027
dbx48.dc1.host.com: 7
dbx48.dc1.host.com: 1031
dbx45.dc1.host.com: 0
dbx45.dc1.host.com: 1024
dbx45.dc1.host.com: 4
dbx45.dc1.host.com: 1028

需要考虑如何处理来自那里的数据，但至少您有一个可以确定给定计算机上保存哪些文件的结构。您可以轻松创建倒排索引，列出每个文件所在的计算机。

您可以(并且可能应该)在修改和评估数据之前添加一些数据验证，以最大限度地减少恶意用户向数据文件中注入(inject)危险内容的机会。 (许多从磁盘读取可执行代码(例如某些办公产品中的宏)的程序很容易受到恶意代码的欺骗。不要让您的程序成为其中之一!