Как запустить команду на части входного файла

Если вы решили написать его самостоятельно и говорите о текстовых файлах, вы можете использовать Perl с модулем Tie::File. Это позволяет вам работать с большими файлами в строке на месте. Это предназначено только для такого рода вещей.

Вы можете попробовать Tie::File::AnyData, если файл тоже не текстовый.

Попробуй это:

#! / Bin/ Баш

FILE=/ вар / Журнал / сообщения
CHUNKSIZE=100

ЛИНИЯ = 1
ВСЕГО =`wc -l $FILE | cut -d ' ' -f1`
while [ $LINE -le $TOTAL ]; делать
  let ENDLINE=$LINE+$CHUNKSIZE
  sed "${LINE},${ENDLINE}p" $FILE | grep -i "знак"
  let LINE=$ENDLINE+1
сделанный

Я предлагаю использовать sed для извлечения только тех частей, которые вам нужны, и передать вывод в вашу команду:

sed -n '1,1000p' yourfile | yourcommand

направит первые 1000 строк к вашей команде

sed -n '1001,2000p' yourfile | yourcommand

будет передавать следующие 1000 строк.

и т.п.

Вы можете поместить это в цикл в скрипте, если хотите.

например

#!/bin/bash
size=1000
lines=`cat $1 | wc -l`
first=1
last=$size

while [ $last -lt $lines ] ; do
    sed -n "${first},${last}p" $1 | yourcommand
    first=`expr $last + 1`
    last=`expr $last + $size`
done

last=$lines
sed -n "${first},${last}p" $1 | yourcommand

Ну, всем, кто предлагает написать собственное решение. Я могу. И я даже могу сделать это без многократного "сканирования" входного файла. Но проблема / вопрос: есть ли готовый инструмент?

Простейший подход на основе Perl может выглядеть так:

#!/usr/bin/perl -w
use strict;

my ( $lines, $command ) = @ARGV;

open my $out, '|-', $command;

my $i = 0;
while (<STDIN>) {
    $i++;
    if ($i > $lines) {
        close $out;
        open $out, '|-', $command;
        $i = 1;
    }
    print $out $_;
}

close $out;

exit;

и теперь я могу:

=> seq 1 5
1
2
3
4
5

=> seq 1 5 | ./run_in_parts.pl 3 tac
3
2
1
5
4

Изменить: только что заметил, что вы не хотите разбивать файл заранее из-за дискового пространства, это, вероятно, не будет работать для вас

Использовать сплит:

$ man split

NAME
   split - split a file into pieces

SYNOPSIS
   split [OPTION] [INPUT [PREFIX]]

DESCRIPTION
   Output fixed-size pieces of INPUT to PREFIXaa, PREFIXab, ...; default size is 1000 lines, and default PREFIX is `x'.  With no INPUT, or when INPUT is -, read standard input.

   Mandatory arguments to long options are mandatory for short options too.

   -a, --suffix-length=N
          use suffixes of length N (default 2)

   -b, --bytes=SIZE
          put SIZE bytes per output file

   -C, --line-bytes=SIZE
          put at most SIZE bytes of lines per output file

   -d, --numeric-suffixes
          use numeric suffixes instead of alphabetic

   -l, --lines=NUMBER
          put NUMBER lines per output file

   --verbose
          print a diagnostic to standard error just before each output file is opened

   --help display this help and exit

   --version
          output version information and exit

   SIZE may have a multiplier suffix: b 512, kB 1000, K 1024, MB 1000*1000, M 1024*1024, GB 1000*1000*1000, G 1024*1024*1024, and so on for T, P, E, Z, Y.