haskell - 如何(有效地)使用 Haskell 跟踪/跟踪文件，包括检测文件旋转？ (尾-F)

Question

本质上我想知道如何实现tail -F Haskell 中的 Linux 命令功能。我的目标是跟踪一个日志文件，例如一个 Web 服务器日志文件，并通过解析输入来计算各种实时统计数据。理想情况下，如果日志文件使用 logrotate 进行轮换，则不会出现中断。或类似的服务。

我对如何解决这个问题以及在存在惰性 I/O 的情况下应该考虑什么性能感到有些不知所措。任何流媒体库都与这里相关吗？

Answer 1

这是部分答案，因为它不处理 logrotate 的文件截断。 .它避免了惰性 I/O 并使用 bytestring , streaming , streaming-bytestring和 hinotify包。

一些初步进口:

{-# language OverloadedStrings #-}
module Main where

import qualified Data.ByteString
import Data.ByteString.Lazy.Internal (defaultChunkSize)
import qualified Data.ByteString.Streaming as B
import Streaming
import qualified Streaming.Prelude as S
import Control.Concurrent.QSem
import System.INotify
import System.IO (withFile,IOMode(ReadMode))
import System.Environment (getArgs)

这是“拖尾”功能:

tailing :: FilePath -> (B.ByteString IO () -> IO r) -> IO r
tailing filepath continuation = withINotify $ \i -> do
    sem <- newQSem 1
    addWatch i [Modify] filepath (\_ -> signalQSem sem)
    withFile filepath ReadMode (\h -> continuation (handleToStream sem h))
    where
    handleToStream sem h = B.concat . Streaming.repeats $ do
        lift (waitQSem sem)
        readWithoutClosing h
    -- Can't use B.fromHandle here because annoyingly it closes handle on EOF
    -- instead of just returning, and this causes problems on new appends.
    readWithoutClosing h = do
        c <- lift (Data.ByteString.hGetSome h defaultChunkSize)
        if Data.ByteString.null c
           then return ()
           else do B.chunk c
                   readWithoutClosing h

它需要一个文件路径和一个使用流式字节串的回调。

这个想法是，每次从句柄读取直到 EOF 之前，我们都会减少一个信号量，该信号量仅由文件修改时调用的回调增加。

我们可以像这样测试函数:

main :: IO ()
main = do
    filepath : _ <- getArgs
    tailing filepath B.stdout