linux中怎樣把本地文件傳到hdfs上
⑴ 我用linux搭建hadoop集群,在本地我用eclipse向節點上傳文件 但是文件沒有上傳到hdfs節點上
在configuration後面一行加上conf.addResource(new Path("/home/yourname/hadoop/conf/core-site.xml"));這樣就好了。
⑵ 怎麼把本地的文件上傳到linux伺服器
SecureCRT與SshClient不同的就是,SecureCRT沒有圖形化的文件傳輸工具,不過也不影響,用命令來實現的話,其實會方便快捷很多。
第一種方式:
上傳文件只需在shell終端模擬器中輸入命令「rz」,即可從彈出的對話框中選擇本地磁碟上的文件,利用Zmodem上傳到伺服器當前路徑下。
下載文件只需在shell終端模擬器中輸入命令「sz 文件名」,即可利用Zmodem將文件下載到本地某目錄下。
通過「File Transfer」可以修改下載到本地的默認路徑。設置默認目錄:options-->session options-->file transfer。
第二種方式:用sftp
securecrt 按下ALT+P就開啟新的會話 進行ftp操作。
輸入:help命令,顯示該FTP提供所有的命令
pwd: 查詢linux主機所在目錄(也就是遠程主機目錄)
lpwd: 查詢本地目錄(一般指windows上傳文件的目錄:我們可以通過查看」選項「下拉框中的」會話選項「,如圖二:我們知道本地上傳目錄為:D:/我的文檔)
ls: 查詢連接到當前linux主機所在目錄有哪些文件
lls: 查詢當前本地上傳目錄有哪些文件
lcd: 改變本地上傳目錄的路徑
cd: 改變遠程上傳目錄
get: 將遠程目錄中文件下載到本地目錄
put: 將本地目錄中文件上傳到遠程主機(linux)
quit: 斷開FTP連接
⑶ eclipse(java api)操作hadoop hdfs,我試圖將本地文件拷貝進hdfs,目標卻是本地文件系統,不是hdfs。
恭喜啊,學習hadoop需要先學好命令啊。
想學Linux命令就去www.linuxsky.cn,裡面也可以學習腳本和svn的命令,哈哈
⑷ 我用linux搭建hadoop集群,在本地我用eclipse向節點上傳文件,請問上傳的文件在節點的什麼位置
你可以先刷新一下再看看,另外實在不行,可以用HDFS的命令,在你的線上的HDFS里找找,命令大概是hadoop fs -ls /(看根目錄下的文件/文件夾,hadoop dfs -ls /也可以),這樣你就可以看到當前的HDFS里的文件夾或者文件,再依次找找你看得見的路徑。一般是可以看見的。
⑸ 本地文件上傳到Linux伺服器的幾種方法
常見有使用:scp命令、xshell軟體里的xftp程序、U盤掛載、伺服器自帶的lrzsz程序。
一、scp使用說明:
1、把本機的文件傳給目的伺服器:
[email protected]:/super
備註:把本機get66.pcap拷貝到147這台伺服器的super目錄下,需要提供147的密碼
2、在本機上執行scp,把遠端的伺服器文件拷貝到本機上:
[email protected]:/super/dns.pcap/
備註:在本機上執行scp,把遠端伺服器的dns.pcap文件拷貝到本機的根目錄下
3、拷貝目錄下的所有文件:
scp-r/super/[email protected]:/
備註:把/super/目錄下的所有文件,拷貝到145伺服器根目錄下
二、xshell軟體里的xftp程序:
xshell這個軟體很好,強烈推薦哦!!!
裡面有個xftp小插件,可以支持文件在筆記本和伺服器互傳,這個小插件需要單獨在網上下載,直接網路搜xftp,很方便。
1、點擊xshell軟體上的xftp圖標(前提xftp已經下載好)
四、伺服器自帶的lrzsz程序
現在大多數Linux伺服器都帶有lrzsz程序,方便上傳下載文件,如果沒有,可以直接下載rpm包安裝下就好。
lrzsz安裝包鏈接:http://down.51cto.com/data/2322755
1、rz(筆記本上傳給伺服器)
1選擇筆記本上文件傳給伺服器
2、sz(伺服器上的文件拷貝給筆記本)
sz test.tar
把伺服器的test.tar拷貝給筆記本。
⑹ 關於將爬蟲爬取的數據存入hdfs
先放入linux文件裡面,然後使用hdfs命令將本地文件傳輸到hdfs即可
⑺ 怎麼把本地文件上傳到linux上
首先在Linux伺服器上設置好ssh服務,然後確保能用ssh登錄Linux伺服器。然後,如果你的系統是Windows,可以用WinSCP這個圖形界面的軟體上傳本地文件到Linux伺服器上,用WinSCP連接Linux伺服器的時候要注意選擇SCP協議。如果你的系統是Linux系統,需要上傳文件到另一個Linux伺服器(Linux伺服器也是要開ssh服務),可以用scp命令上傳本地文件,這個命令的用法可以網路一下。
⑻ linux下,如何把整個文件夾上傳到伺服器(另一台linux)
1、到官網下載mysql的rpm版。
注意事項:
Linux支持多用戶,各個用戶對於自己的文件設備有自己特殊的權利,保證了各用戶之間互不影響。多任務則是現在電腦最主要的一個特點,Linux可以使多個程序同時並獨立地運行。
⑼ 如何將本地文件上傳到linux
通過你的描述,將本地的文件上傳至linux ,可以通過如下方法來進行:
[root@localhost ss2]# rz
通過rz 命令上傳文件,相對來說是最方便的。
溫馨提示:
1、再使用rz 命令前,要對其進行安裝,如果系統沒有安裝這個命令是沒辦法使用的,具體安裝命令如下:
#查看rz 包的版本,
[root@Backup2 data]# yum provides lrzsz
lrzsz-0.12.20-36.el7.x86_64
#開始安裝
[root@Backup2 data]# yum install lrzsz-0.12.20-36.el7.x86_64 -y
2、在使用rz 命令上傳文件時,要預先規劃好,上傳文件的位置,然後在上傳文件。
3、當然上傳方式還有很多,eg:第三方軟體 crt 自帶的上傳功能也是很好用。
以上就是關於文件上傳的具體方式,由於系統環境不同,可能會有出入,如有問題可以 關注 +私信,我會第一時間回復,希望我的回答能對你有所幫助。。。。。。
⑽ 怎麼把本地文件上傳到HDFS
A 跟非HA,編程都是一樣的。
非HA怎麼上傳,HA就怎麼上傳。
只不過地址。有些不一樣。這個需要查看集群的配置文件