在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

Linux系統下傳輸大文件的切割與合并實例分析

馬哥Linux運維 ? 來源:馬哥Linux運維 ? 作者:Escape ? 2021-07-02 11:47 ? 次閱讀

往往是因為網絡傳輸的限制,導致很多時候,我們需要在 Linux 系統下進行大文件的切割。這樣將一個大文件切割成為多個小文件,進行傳輸,傳輸完畢之后進行合并即可。

文件切割 - split

在 Linux 系統下使用 split 命令進行大文件切割很方便

命令語法

使用實例

# 行切割文件

$ split -l 300000 users.sql /data/users_

# 使用數字后綴

$ split -d -l 300000 users.sql /data/users_

# 按字節大小分割

$ split -d -b 100m users.sql /data/users_

```bash

**幫助信息**

```bash

# 幫助信息

$ split --help

Usage: split [OPTION]。。. [FILE [PREFIX]]

Output pieces of FILE to PREFIXaa, PREFIXab, 。。.;

default size is 1000 lines, and default PREFIX is ‘x’。

With no FILE, or when FILE is -, read standard input.

Mandatory arguments to long options are mandatory for short options too.

-a, --suffix-length=N generate suffixes of length N (default 2) 后綴名稱的長度(默認為2)

--additional-suffix=SUFFIX append an additional SUFFIX to file names

-b, --bytes=SIZE put SIZE bytes per output file 每個輸出文件的字節大小

-C, --line-bytes=SIZE put at most SIZE bytes of records per output file 每個輸出文件的最大字節大小

-d use numeric suffixes starting at 0, not alphabetic 使用數字后綴代替字母后綴

--numeric-suffixes[=FROM] same as -d, but allow setting the start value

-e, --elide-empty-files do not generate empty output files with ‘-n’ 不產生空的輸出文件

--filter=COMMAND write to shell COMMAND; file name is $FILE 寫入到shell命令行

-l, --lines=NUMBER put NUMBER lines/records per output file 設定每個輸出文件的行數

-n, --number=CHUNKS generate CHUNKS output files; see explanation below 產生chunks文件

-t, --separator=SEP use SEP instead of newline as the record separator; 使用新字符分割

‘’ (zero) specifies the NUL character

-u, --unbuffered immediately copy input to output with ‘-n r/。。.’ 無需緩存

--verbose print a diagnostic just before each 顯示分割進度

output file is opened

--help display this help and exit 顯示幫助信息

--version output version information and exit 顯示版本信息

The SIZE argument is an integer and optional unit (example: 10K is 10*1024)。

Units are K,M,G,T,P,E,Z,Y (powers of 1024) or KB,MB,。。. (powers of 1000)。

CHUNKS may be:

N split into N files based on size of input

K/N output Kth of N to stdout

l/N split into N files without splitting lines/records

l/K/N output Kth of N to stdout without splitting lines/records

r/N like ‘l’ but use round robin distribution

r/K/N likewise but only output Kth of N to stdout

GNU coreutils online help: 《http://www.gnu.org/software/coreutils/》

Full documentation at: 《http://www.gnu.org/software/coreutils/split》

or available locally via: info ‘(coreutils) split invocation’

文件合并 - cat

在 Linux 系統下使用 cat 命令進行多個小文件的合并也很方便

命令語法

-n: #顯示行號

-e: #以$字符作為每行的結尾

-t: #顯示TAB字符(^I)

cat [-n] [-e] [-t] [輸出文件名]

使用實例

# 合并文件

$ cat /data/users_* 》 users.sql

幫助信息

# 幫助信息

$ cat --h

Usage: cat [OPTION]。。. [FILE]。。.

Concatenate FILE(s) to standard output.

With no FILE, or when FILE is -, read standard input.

-A, --show-all equivalent to -vET

-b, --number-nonblank number nonempty output lines, overrides -n

-e equivalent to -vE

-E, --show-ends display $ at end of each line

-n, --number number all output lines

-s, --squeeze-blank suppress repeated empty output lines

-t equivalent to -vT

-T, --show-tabs display TAB characters as ^I

-u (ignored)

-v, --show-nonprinting use ^ and M- notation, except for LFD and TAB

--help display this help and exit

--version output version information and exit

Examples:

cat f - g Output f‘s contents, then standard input, then g’s contents.

cat Copy standard input to standard output.

GNU coreutils online help: 《http://www.gnu.org/software/coreutils/》

Full documentation at: 《http://www.gnu.org/software/coreutils/cat》

or available locally via: info ‘(coreutils) cat invocation’

作者: Escape

文章出處:【微信公眾號:馬哥Linux運維】

責任編輯:gt

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • Linux
    +關注

    關注

    87

    文章

    11469

    瀏覽量

    212891

原文標題:Linux 下大文件切割與合并

文章出處:【微信號:magedu-Linux,微信公眾號:馬哥Linux運維】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦
    熱點推薦

    主流版本控制工具Git vs Perforce P4:架構模式、性能、大文件管理及分支管理對比詳解

    Git vs Perforce P4,如何選型?架構模式、性能、大文件管理、分支策略四大維度對比,幫你全面了解兩者的核心差異,選擇更合適你團隊需求的版本控制系統
    的頭像 發表于 06-13 14:52 ?39次閱讀
    主流版本控制工具Git vs Perforce P4:架構模式、性能、<b class='flag-5'>大文件</b>管理及分支管理對比詳解

    Linux文件系統打包及鏡像制作,觸覺智能RK3562開發板演示

    本文介紹Linux開發板文件系統打包及鏡像制作的方法,演示Linux文件系統打包及鏡像制作,適用于想將配置好的系統環境打包成鏡像批量燒錄。觸
    的頭像 發表于 04-28 16:45 ?251次閱讀
    <b class='flag-5'>Linux</b><b class='flag-5'>文件系統</b>打包及鏡像制作,觸覺智能RK3562開發板演示

    鴻蒙文件傳輸三方庫上線開源鴻蒙社區 十行代碼實現大文件高速傳輸

    近日,華為在OpenHarmony社區上線了“super_fast_file_trans”文件傳輸三方庫(以下簡稱“SFFT”)。這一三方庫的推出,為開發者提供了一套支持大文件多線程并發分塊下載
    發表于 03-06 10:29

    低空視頻傳輸在望獲實時linux系統上的應用

    望獲實時linux系統因其高確定性和低延遲的特性,在低空視頻傳輸中扮演著關鍵角色。低空經濟涵蓋無人機物流、農業監控、低空交通管理等場景,這些場景對視頻傳輸的實時性、可靠性和高效性有極高
    的頭像 發表于 01-24 17:21 ?454次閱讀

    防止根文件系統破壞,OverlayRootfs 讓你的設備更安全

    多個文件系統合并成一個單一的視圖,在Linux系統中廣泛應用。使用OverlayRootfs的設備可以很輕松的實現:根文件系統寫保護、恢復
    的頭像 發表于 01-08 16:33 ?1243次閱讀
    防止根<b class='flag-5'>文件系統</b>破壞,OverlayRootfs 讓你的設備更安全

    Linux文件查找

    Linux文件查找 1.find查找概述 為什么要有文件查找,因為很多時候我們可能會忘了某個文件所在的位置,此時就需要通過find來查找。 find命令可以根據不同的條件來進行查找
    的頭像 發表于 12-03 17:09 ?648次閱讀

    Linux文件壓縮打包的各種姿勢

    1.文件打包與壓縮 1.什么是文件壓縮? 將多個文件或目錄合并成為一個特殊的文件。比如: 搬家…腦補畫面 img. 2.為什么要對
    的頭像 發表于 12-02 09:25 ?551次閱讀

    如何使用SFTP傳輸大文件

    在當今的數字化時代,大文件傳輸變得越來越常見。無論是企業數據遷移、遠程備份還是內容分發,都需要一種既安全又高效的文件傳輸方式。SFTP作為一種基于SSH的文件傳輸協議,提供了一種加密的傳輸
    的頭像 發表于 11-13 14:11 ?1720次閱讀

    Linux文件系統的掛載過程

    Linux文件系統(rootfs)是Linux系統中所有其他文件系統和目錄的起點,它是內核啟動時掛載的第一個
    的頭像 發表于 10-05 16:50 ?865次閱讀

    如何構建Linux文件系統

    構建Linux文件系統是一個涉及多個步驟和概念的過程,它對于Linux系統的啟動和運行至關重要。
    的頭像 發表于 10-05 16:47 ?604次閱讀

    如何更改Linux文件系統終端顯示顏色

    自己制作的簡單 Linux 文件系統,你會發現終端顯示為黑白色,很不好看
    的頭像 發表于 08-12 17:29 ?1161次閱讀
    如何更改<b class='flag-5'>Linux</b><b class='flag-5'>文件系統</b>終端顯示顏色

    如何修改buildroot和debian文件系統

    本文檔主要介紹在沒有編譯環境的情況下,如何修改buildroot和debian文件系統方法,如在buildroot文件系統中添加文件、修改目錄等文件操作,在debian
    的頭像 發表于 07-22 17:46 ?811次閱讀
    如何修改buildroot和debian<b class='flag-5'>文件系統</b>

    Linux高級文件系統管理詳解

    階的文件系統就得要學習,本章我們會介紹磁盤陣列 (RAID),及邏輯卷軸文件系統 (LVM),這些工具都可以幫助你管理與維護使用者可用的磁盤容量.
    的頭像 發表于 07-16 16:31 ?825次閱讀

    linux--sysfs文件系統

    sysfs文件系統 sysfs,全稱為System Filesystem,是一個由Linux內核實現的虛擬文件系統。它扮演著一個橋梁的角色,將內核中的設備和驅動程序信息以文件的形式呈現
    的頭像 發表于 07-08 11:37 ?1470次閱讀
    <b class='flag-5'>linux</b>--sysfs<b class='flag-5'>文件系統</b>

    esp32如何一次性讀取大文件數據?

    esp32沒有提供數據庫讀寫的例子,最近有個大文件,無法一次性讀出,請問,怎么讀取,json中一部分json數組。然后修改完了以后,在寫入進去?
    發表于 06-25 06:52
    主站蜘蛛池模板: 久久久福利 | 玖玖草在线观看 | 超薄肉色丝袜精品足j福利 超黄视频在线观看 | 久久综合九色综合欧美狠狠 | 三级精品视频在线播放 | 色婷婷色综合缴情在线 | 五月婷婷视频在线 | 卡2卡三卡四卡精品公司 | 五月天亚洲综合 | 亚洲成a人片在线观看www | 狠狠色成色综合网 | 美女被免费视频网站九色 | 国产欧美一区二区日本加勒比 | www天天操| 四虎在线电影 | 2023天天操| 操的好爽 | 2018天天拍拍拍免费视频 | 色婷婷成人网 | 拍拍拍成人免费高清视频 | 亚洲欧美在线视频免费 | 国内精品免费视频精选在线观看 | 天天天做天天天天爱天天想 | 欧美疯狂爱爱xxxxbbbb | 国产一区在线播放 | 五月天狠狠 | 亚洲成网站www久久九 | 国产成人综合久久 | 久久国产午夜精品理论篇小说 | 韩国一级网站 | 国产视频一区二 | 国产精品偷伦费观看 | 九色中文| 啪啪免费小视频 | 天天爽夜夜爽天天做夜夜做 | 国产在线视频网站 | 国产欧美亚洲精品第二区首页 | 亚洲一区二区黄色 | 毛色毛片 | 国产成在线观看免费视频 | 欧美色图亚洲激情 |