hadoop - 如何从日志文件查看/删除控制字符

Question

我将日志文件从snort手动上载到hadoop，当我在hadoop中打开它时，它以这种未知格式显示:

“...”

当我在vi中打开它时，它以这种方式显示:

º^ _'^ @ ^ @ ^ A ^ A ^ H $
^ @ ^OàQ^FÉ-ü^ W ^ C ^ C ^Bô^ @ ^ @ ^ @ ^ @ ^ @ ^ @ ^ @ G /〜f¬!®x^ _5 ^ N©^TÓb$
^ Q5¦9 <85> ^ [ÍjEñ<83> <95> 2×@£，æcÖj<82> <8a>Ã<84>üá^Dá^ A％^B¯·B？²* ́ýµ <9e> fÐvÈ^ETiÍ<98>¹m<98> ^BOæyá5«ÕÝ8S<88>¨>à^^ûÝ^ T <87> <89>üF〜ù<9a> X <9b> 4 ^Oá％·Ú3½^ K < 8f> ^Bdº<94> rT <8e> K <94> <8e>ÅÌÄ<8d>_˱^_Ð^ W ^ OF <94> +¬ß+ _6 ^Tÿ<93>!L>²^ G < 9b> S] ^OüsK^ QzY ^ R]òß^D¯§$
^Aì＃_Öv_Ú]ì^ Z + 2»8 <9b> låñ/ ^ Ov $
<94>î·N / e *7ôø/yâ| x ^ T <80>©L <9f>Ulç(óõ^ R。<9f>÷Ë<86>“<8f>Ô<8e>üB<9f> ^^ E3 ^ Q <92>²mdRê<89>úÝý<80>Àóàzcr^ Sa0 ^ Q ^ LS <8d>ïü{DJ¬»zÉ÷ð<98>½<9c>Cxè^^ <9a> q ^ S <84>Ó？´üÓv ^LAâ3â<95>ò$ <96>¸<85>Æ(Ö<9d>Ã)<86>óI65^^®| ^ Hnp〜^？$
N¾ök\，ü«ßàÌ)^Bò<9c>£b ^Qª<8a>ãö<80> <89>ûó<91>þ¿^ <9b>põy<89>ã+ ^^^^Ü^ @} o9“W <82>·^ U <93>MϽ:ÕuGA。^ \ ^ RR ^ Q ^ X»æ<85> <9e>ñÀóð; ^ T4IJ ^WÅÝ<99> ^ N!^ºV<81> {QYÁ<9b>0¸^ Z ^ú^ T ^ U ^ [Nù¤<8e>JuCÐ<9a> 0)N6å¾í<96>'ᡨu<9e> =½<8e>tݧ¨Dºÿ< 93> <9b> ^PÓ^ K9 <92>5Èg<8b>õ8<8e>，»dÊÀA§ä^ R + ^Pɺ^ Q3(°<97>QQÚIFÉ^Nø<98> <8d>ÈÚ4gçTg9²iÛ·Ñ1<97 > <86>®^ OMu ^O²^YßÙ+ ^XÂ，<8f> ^ZÊë8h<90> +ú^ @ <9f>％ÚÃ<8d> \¹<87>ï##Lú<9e> y {ý !^ Z'bH ^ C <89>ù÷8;¾d<83> =Aæ©}¸0L<8d>Wß<9d>'L)<80> <86>×<86> ^ @Ï+ÈÔ< 89>Ó×^ Na ^ WG6 ^ G <8c>iūûÇd“{Ͻ¬<8d> ^^^ M = <82> 2H <87>r5ì1^ZÐ^ A ^WÌ<96>＃t'ý ^ Z ^ W¤öR´ÿ <8d>(ågójîÓ<91>ßÈ+ ^ _}ÆJ<93> XSJZNµãµ“<83>ñq<8d> <9f> <81> <99>Ö(¤-^SpÒ6< 9c> b <94>1ÅiU<9b>½o<91> <92> pb <8c>ã| ^Bc¾g2^FÅC¶a÷¡<8f> <83> ^ _Ï，¥g $
Å*yªu^G½'<98>îwátA^ T @Ë6_<9a>Xá<90> ^ L ^ @ y ^ @ ^ @ ^ @ y ^ @ ^ @ ^ @HZ¶^úMÄn^«2´^ H ^ @E ^ @ ^ @ k ^ @ ^ @@ ^ @？^Q¯ÄÀ¨^ E ^EÀ¨^ Eh ^ @ 5 @÷^ @ WU <81> t @ <81> <80> ^ @ ^ A ^ @ ^ B ^ @ ^ @ ^ @ ^ @ ^ Cwww ^ Hfacebook ^ Ccom ^ @ ^ @ ^ A ^ @ ^AÀ^ L ^ @ ^ E ^ @ ^ A ^ @ ^ @ ^ K <89> ^ @ ^ Q ^ Istar-mini ^Dc10rÀ^PÀ。^ @ ^ A ^ @ ^ A ^ @ ^ @ ^ @ <^ @ ^ D ^^ M] $ 6_ <9a> XD <9d> ^ L ^ @ <85> ^ @ ^ @ ^ @ <85> ^ @ ^ @ ^ @HZ¶^úMÄn^«2´^ H ^ @ E ^ @ ^ @ w ^ @ ^ @@ ^^？^Q¯¸À¨^ E ^EÀ ¨^ Eh ^ @ 5 <89>^@c¹n<õ<81><80>^@^A^@^B^@^@^@^@^Cwww^Hfacebook^Ccom^@^@^\^@^AÀ^L^@^E^@^A^@^@^K<89>^@^Q^Istar-mini^Dc10rÀ^PÀ.^@^\^@^A^@^@^@^]^@^P*^C(<80>ñ^\^@<83>úΰ^L^@^@%Þ6_<9a>Xÿ§^M^@B^@^@^@B^@^@^@HZ¶^úMÄn^_«2´^H^@E^@^@4¥^Y@^@T^F?i^_^M]$À¨^Eh^A»<8c> 3Ȩ^S<96><96>å¾<80>^P^BtU¿^@^@^A^A^H$
^FÊ^N<91>^@^OàQ6_<9a>X6ª^M^@l^@^@^@l^@^@^@HZ¶^úMÄn^_«2´^H^@E^@^@^¥^Z@^@T^F?>^_^M]$À¨^Eh^A»<8c> 3Ȩ^S<96><96>å¾<80>^X^BtØÜ^@^@^A^A^H$
^FÊ^N<91>^@^OàQ^W^C^C^@%?@´ò5ãù<99>eË<98>óQ´ÚA<97>&µuî^NÞ^P:/×:âù7é<8e>,º¡Ñ6_<9a>XCª^M^@B^@^@^@B^@^@^@Än^_«2´HZ¶^úM^H^@E^@^@4h©@^@@^F<8f>ÙÀ¨^Eh^_^M]$<8c> ^A»<96><96>è·3Ȩ=<80>^P$
ºJC^@^@^A^A^H$
^@^Oàd^FÊ^N<91>6_<9a>X^U^N^@B^@^@^@B^@^@^@HZ¶^úMÄn^_«2´^H^@E^@^@4¥^[@^@T^F?g^_^M]$À¨^Eh^A»<8c> 3Ȩ=<96><96>è·<80>^P^B^?Rd^@^@^A^A^H$
^FÊ^N¾^@^OàQ6_<9a>X¨j^N^@}^A^@^@}^A^@^@HZ¶^úMÄn^_«2´^H^@E^@^Ao¥^\@^@T^F>+^_^M]$À¨^Eh^A»<8c> 3Ȩ=<96><96>è·<80>^X^B^?í^Z^@^@^A^A^H$
^FÊ^N¾^@^OàQ^W^C^C^A6?@´ò5ãù<9a>a%YRimY78#<8c><95>$Wn<9b><85> 5^^í^?Âì<^F.÷óÉ^MØ<88>¯è<8c>deGÆ uR{û{Hì^R^Fv^]A¯<9b>öT¥^DF"úæ!·<90>º¤7I^Vy^CÏåºT^WÇé<ǧÐbÛ¦¾^@<85>^EãÞ"l^QiÂ<89>¼½^ü×A.ç1m²ÁÍ^]ùJªMwØ-?{<83>A0Bü~Ô½°ÜæÈú<9f>ðëªV<8d>^EA^Wú^Q*C+9ÙPÍy^Z><92>ó^[E¬y^]gótAº^E<8c>^MÕâ><9d>aÀ¶^@ñ>@«àÖç<97> a¼^E¤À¶Û½º5úé<8e>«<96>Ñ^ @ Nw <8f> µ {<96>Æ<91>ãÂM5å8＆〜^ E <88>»Áh·ÌÙ¼^ [¦ <9c>¢v ^ @àøo/ of C ^ [KGGH ^S0þü^QÃÕê<97>È＃Ú<95> ^ B <89>»¼c^ GRv»(Ñ°»·Yñ^ KT <9f> Po ^ \ <9e> ôÑ+×J¨<8c> 2F6 <9a>X¾j^ N ^ @ B ^ @ ^ @ ^ @ B ^ @ ^ @ ^ @Än^«2´HZ¶ ^úM^ H ^ @ E ^ @ ^ @4hª @ ^ @@ ^ F <8f>ØÀ¨^ Eh ^^ M] $ <8c> ^ A»<96> <96>è·3È©x <80> ^ P $
¸Hð^ @ ^ @ ^ A ^ A ^ H $
^ @ ^Oàq^FÊ^N¾9_<9a> XFX ^ D ^ @ L ^ @ ^ @ ^ @ L ^ @ ^ @ ^ @Än^«2´HZ¶ ^úM^ H ^ @ E ^ @ ^ @> ^ Y¯@ ^ @@ ^^ Q <95>BÀ^EhÀ¨^ E ^ E»= ^ @ 5 ^ @ *9Ã<88> ¦ ^ A ^ @ ^ @ ^ A ^ @ ^ @ ^ @ ^ @ ^ @ ^ @ ^ @ ^ Cwww ^ Hfacebook ^ Ccom ^ @ ^ @ ^ A ^ @ ^ A9 <9a>XÿY^ D ^ @ L ^ @ ^ @ ^ @ L ^ @ ^ @ ^ @Än^«2´HZ¶ ^úM ^ H ^ @ E ^ @ ^ @> ^ Y°@ ^ @@ ^ Q <95>AÀ¨^EhÀ¨^ E ^ E ^Uá^ @ 5 ^ @ * C <86> $％^ A ^ @ ^ @ ^ A ^ @ ^ @ ^ @ ^ @ ^ @ ^ @ ^ @ Cwww ^ Hfacebook ^ Ccom ^ @ ^ @ ^ \ ^ @ ^ A9 <9a> X“^ D ^ @ª^ @ ^ @ ^ @ ^ @ª^ @@ ^ @ ^ @Än^«2´HZ¶ ^úM^ H ^ @ E ^ @ ^ @ <9c> h«@ ^ @@ ^ F <8f>oÀ¨^ Eh ^^ M] $ <8c> ^ A »<96> <96>è·3È©x <80> ^ X $
º，6 ^ @ ^ @ ^ A ^ A ^ H $
^ @ ^Oâ°^F¾^N¾^ W ^ C ^ C ^ @ c ^ @ ^ @ ^ @ ^ @ ^ @ ^ @ ^ @ ^ @H²ñ<9f>À^ QU:<9a> ^ L <94>M8Ïãî·Àº <91> D <95>íZ©Tõà。$ [À^Xðo·^ Wg ^ E ^^Ú^ N ^¬<8d> / z>Ëo¾t^UÕ^P'õR^FÑþÜâ^TjÚ<98> Df( 6 <8e>¯GØúî％^X6Xòô^K¤»b <8b>`^!9 <9a> X ^^ b ^ D ^ @ <85> ^ @ ^ @ ^ @ <85> ^ @ ^ @ ^ @ HZ¶^úMÄn^«2´^ H ^ @ E ^ @ ^ @ w ^ @ ^ @@ ^ @？^QQ¸À¨^ E ^EÀ¨^ Eh ^ @ 5»= ^ @cÊø<88> ¦ <81> <80> ^ @ ^ A ^ @ ^ B ^ @ ^ @ ^ @ ^ @ ^ Cwww ^ Hfacebook ^ Ccom ^ @ ^ @ ^ A ^ @ ^AÀ^ L ^ @ ^ E ^ @ ^ A ^ @ ^ @ ^ K <87> ^ @ ^] ^ Istar-mini ^ Dc10r ^ Hfacebook ^ Ccom ^ @À。^ @ ^ A ^ @ ^ A ^ @ ^ @ ^ @:^ @ ^ D ^^ M] $ 9 _ <9a> X <92> c ^ D ^ @ <91> ^ @ ^ @ ^ @ <91> ^ @ ^ @ ^ @HZ¶^úMÄn^«2´^ H ^ @ E ^ @ ^ @ <83 > ^ @ ^ @@ ^^？^ Q́À¨ ^ E ^EÀ¨^ Eh ^ @ 5 ^Uá^ @ o!^ K $％<81> <80> ^ @ ^ A ^ @ ^ B ^ @ ^ @ ^ @ ^ @ ^ Cwww ^ Hfacebook ^ Ccom ^ @ ^ @ ^ \ ^ @ ^AÀ^ L ^ @ ^ E ^ @ ^ A ^ @ ^ @ ^ K <87> ^ @ ^] ^ Istar-mini ^ Dc10r ^ Hfacebook ^ Ccom ^ @À。^ @ ^ \ ^ @ ^ A ^ @ ^ @ ^ @ ^ [^ @ ^ P * ^ C(<80>ñ^ \ ^ @ <83>úΰ^ L ^ @ ^ @％Þ9<9a> X <9d> d ^ D ^ @？^ C ^ @ ^ @？^ C ^ @ ^ @Än^«2´HZ¶ ^úM^ H ^ @ E ^ @ ^C1h¬ @ ^ @@ ^ F <8c>ÙÀ¨^ Eh ^^ M] $ <8c> ^ A»<96> <96>é^_3È©x <80> ^ X $
º<9c> <94> ^ @ ^ @ ^ A ^ A ^ H $

可能是什么问题？
我应该在hadoop中使用特定的文件格式吗？

Answer 1

您的文件包含control characters，编辑器以不同的方式显示控制字符。

在vi编辑器中打开文件，输入命令:set list。它会显示所有控制字符，然后用人类可读的字符替换控制字符。

您可以尝试在vi中替换控制字符(％x001，％x002，％x00):

:%s/\%x001/,/g

或使用 tr命令替换

tr'\ 001''，'<输入文件名>输出文件名