大數據高并發系統架構實戰方案(LVS負載均衡、Nginx、共享存儲、海量數據、隊列緩存)
  完畢
收藏課程
9999+

大數據高并發系統架構實戰方案(LVS負載均衡、Nginx、共享存儲、海量數據、隊列緩存)

隨著互聯網的發展,高并發、大數據量的網站要求越來越高。而這些高要求都是基礎的技術和細節組合而成的。本課程就從實際案例出發給大家原景重現高并發架構常用技術點及詳細...

適合人群:高級
課時數量:21課時
用到技術:LVS負載均衡、Nginx、共享存儲、海量數據
涉及項目:大數據高并發系統平臺架構

本課程為VIP6會員免費專享區課程,專享區包括300+門北風網原創實戰課程,價值15萬元以上,不斷更新,VIP6會員可任意免費學習,點此查看專享區內所有課程。
  • 課程顧問貼心解答

    為你推薦精品課程,無論就業還是升職加薪,毫無壓力。

  • 名企定制緊隨大流

    量身打造緊貼企業需求的實用性課程。

  • 系統教學把控效果

    集學、測、練為一體的學習系統為你科學的安排學習進度,提高效率。

  • 一線大師1對1指導

    課程研發團隊內一線資深講師一對一指導,手把手教學,直到學會。

  • 點播答疑完美結合

    每周2-3次直播解答,保證學員日常學習問題能得到解決。

  • 量身定制學習計劃

    告別雜亂的學習方式,我們會根據你的情況定制學習計劃。

課程簡介:

 

隨著互聯網的發展,高并發、大數據量的網站要求越來越高。而這些高要求都是基礎的技術和細節組合而成的。本課程就從實際案例出發給大家原景重現高并發架構常用技術點及詳細演練。
 

通過該課程的學習,普通的技術人員就可以快速搭建起千萬級的高并發大數據網站平臺。

 

亮點一:真實環境還原,課程采用了VM環境重現大網站集群服務器環境,真實環境還原再現。

亮點二:基礎實用,細節決定成敗,課程內容在演練過程中重點介紹各種細節,保證初級人員快速入門及高級進階。

亮點三:講師豐富的海量平臺運作經驗

 

講師tom5多年研發平臺,某大型視頻網站CTO,眾多大型網站及移動應用平臺架構經驗,并擁有多年的培訓經驗經歷。講課內容完全切合架構設計及實施人員需要。

 

第一章 概述(1課時)簡要介紹該系列課程的內容,

 

本章內容如下


主流高并發大數據應對技術介紹
CDN鏡像技術介紹
靜態化技術介紹
庫表水平及垂直拆分技術介紹
虛擬化云計算體系介紹
高并發系統架構規劃
高并發大型網站高可靠架構圖
課程安排簡介
高并發大型網站高可靠架構網絡IP規劃
搭建實戰環境的準備工作
SFTP客戶端Filezilla使用簡介
SSH客戶端SecureCRT使用簡介
Centos關閉圖形界面啟動及開啟sshd實戰
虛擬機clone后網卡重新初始化演練  
VMware使用技巧演練

 

第二章 LVS實現負載均衡軟交換實戰(5課時) 
        

本章演練的是負載均衡技術的核心,主要包括LVS的類型特點適用場景介紹,使用Piranha安裝快速搭建LVS負載均衡集群及配置,LVS負載均衡DR模式深入安裝調試,LVS調度策略及負載均衡原理詳細演練,LVS深入實踐NAT模式集群調試。

 

詳細內容如下: 

 

LVS服務器配置準備
關閉centos網卡自動管理實踐
上網網卡手動配置
yum鏡像加速
yum安裝Piranha
piranha-gui啟動
防火墻配置開通3306口
pulse啟動
piranha安裝效果驗證
nginx服務器配置安裝
主機名配置
添加nginx的yum安裝源
yum安裝nginx
nginx安裝效果驗證
防火墻配置打開80口
防火墻配置虛IP包轉發規則支持LVS的DR模式
Piranha配置DR模式詳解演練
global settings公網IP配置Primary server public ip
redundancy配置lvs服務器的冗余,
virtual servers配置Virtual IP Address和real server
主從配置scp復制
LVS安裝效果驗證
ipvsadm演練
熱備切換
LVS自服務配置啟動
Piranha相關輪詢配置參數講解及效果演示
Round robin:輪轉調度 輪詢 (最簡單的輪詢)
Weighted least-connections:加權最少連接(考慮負載、服務器性能因素)
Weighted round robin:加權最少連接(考慮服務器性能因素)
Least-connection:最少連接(考慮負載因素) 等
/etc/sysconfig/ha/lvs.cf  文件配置內容詳細講解
LVS調度策略深入及效果演示
服務器集群負載均衡簡化的整體結構講解
基于DNS的請求調度
基于前端調度器的請求調度
四層交換-通過DR實現報文轉發
四層交換-通過IP隧道實現報文轉發
四層交換-通過NAT實現報文轉發
四層交換-三種報文轉發技術比較
應用層交換-協議內部支持Http重定向
應用層交換-其他技術
基于后端服務器的請求調度
LVS三種模式比較
LVS典型NAT模式網絡拓撲圖
Clone服務器配置安裝nginx2及lvs2
Piranha配置NET模式
NAT模式效果演示
centos配置防火墻關閉,開啟轉發
centos主備LVS復制配置文件
驗證LVSNAT安裝效果
 

第三章 Nginx高級配置實戰(3課時)
 

本章演練的是靜態內容與動態內容服務器分離,主要包括Nginx基礎安裝配置,Nginx反向代理實戰進階,Nginx動靜分離URL轉發實戰,

 

詳細內容如下:


Hadoop,Tomcat的安裝環境采用debian的tomcat最小安裝版虛擬機下載并初始化
tomcat服務端口修改
主機名修改
增加首頁jsp服務器識別標志
tomcat安裝效果測試
nginx安裝默認目錄講解
nginx配置文件詳細講解
nginx配置server先后順序演練
hosts文件修改本地dns配置模擬域名訪問
Nginx調度策略演練:nginx的upstream目前支持4種方式的分配:輪詢(默認)、weight、ip_hash、fair、url_hash
Nginx調度策略-小技巧演練等:backup,down等演練
proxy_pass后的url加不加/的區別演練
Nginx對URL進行匹配語法規則講解
Nginx對URL進行匹配演練實踐
Nginx對URL進行匹配-常用規則講解
Nginx一些可用的全局變量詳解
Nginx代理后,服務端收到參數通過tomcat上編寫info.jsp詳細查看
Nginx對URL重寫語法詳解:標記,判斷文件或目錄
正則表達式語法講解
Nginx對URL重寫例子技巧演練

1.簡單例子: rewrite "/zixun/([0-9]+)(/*).html$" /zixun/$1/ last;
2.多目錄轉成參數
3.目錄對換
4.設定nginx在用戶使用ie的使用重定向到/nginx-ie目錄下
5.目錄自動加“/”
6.禁止htaccess
7.禁止多個目錄
8.文件反盜鏈并設置過期時間
9.域名跳轉
10.多域名轉向
11.三級域名跳轉
12.域名鏡向
13.某個子目錄作鏡向

 

第四章  基于共享存儲實現動態內容靜態化加速實戰(2課時)


本章演練的是基于共享存儲實現動態內容靜態化加速,主要包括NFS共享文件系統基礎安裝配置,tomcat動態內容靜態化加速實戰演練。

 

詳細內容如下:


nginx負載均衡雙機配置文件同步復制
檢查LVS及整套集群環境運行狀態(LVS+nginx+tomcat),停掉tomcat檢查
clone生成服務器安裝配置nfs服務端
centos64位yum安裝服務端nfs-utils rpcnbind
修改nfs配置文件/etc/exports服務端開放共享目錄
關閉防火墻,啟動nfs相關服務端服務
nginx服務器,tomcat服務器上nfs客戶端安裝配置并驗證共享效果
配置各nfs相關服務開機自啟動
通過詳細jsp講解演練將動態內容靜態化,提高整體系統性能。
tomcat服務器上目錄權限開放保證tomcat,nginx服務有權限讀寫
動態內容靜態化效果驗證

 

第五章 緩存平臺安裝配置使用(2課時)


本章演練的主流緩存平臺的搭建,主要包括基于memcached搭建緩存平臺安裝配置,基于緩存編程實戰演練。

 

詳細內容如下


Clone生成服務器mem配置網卡及主機名
下載memcached的rpmforge的yum源rpm安裝包
yum安裝memcached
memcached安裝效果驗證,服務自啟動配置驗證
centos、win7上安裝telnet客戶端
telnet命令幫助檢查端口11211是否可訪問
防火墻關掉11211口限制
memcached服務器運行狀態參數詳解
memcached啟動命令詳解并演練
下載Memcached java客戶端jar包
memcache客戶端測試代碼memtest.jsp詳解演練
stats items命令查看memcache中每個slab中存儲的item的一些詳細信息
stats slabs命令查看memcache中slab中內存分配的情況
memcache的增刪改讀效果演練
計數器代碼count.jsp講解實戰
部署到tomcat1和tomcat2,不同服務器jsp增加服務器識別標識,并驗證效果

 

第六章  mysql主從復制安裝配置實戰(2課時)


本章演練數據關鍵存儲主流數據庫高可靠平臺的搭建,主要包括mysql主從復制基礎安裝配置,mysql主從復制安裝配置進階及結合緩存編程實戰演練。

 

詳細內容如下


Clone生成服務器mysql1配置網卡及主機名
yum安裝mysql服務
修改mysql配置字符集utf8
配置mysqld自啟動服務并啟動驗證安裝效果
mysql設置root密碼
Mysql遺忘密碼如何重置關鍵使用技巧
Clone生成服務器mysql2修改主從配置開啟binlog
在主服務器上建立帳戶并授權slave同步權限
登錄主服務器的mysql,查詢master的狀態確定binlog文件名及pos偏移值
配置從服務器Slave指定上述主服務器binlog文件名及pos偏移值
啟動從同步復制服務并檢查從服務器復制功能狀態
詳細狀態實際講解Slave_IO_Running: Yes      //此狀態必須YES
Slave_SQL_Running: Yes    //此狀態必須YES
十分關鍵

外部訪問3306口驗證
配置防火墻打開3306口
高級配置解決mysql遠程訪問授權問題
主從服務器驗證主從復制效果
主服務器中建庫建表,插入數據
從服務器中查看同步效果
若主服務器有老數據的情況初始化步驟詳解mysqldump,source等命令使用
利用Mysql解決memcahe持久化問題
Mysql  jdbc 驅動jar包下載
Mysql測試mysqltest.jsp代碼講解
mysql授權小陷阱問題解決
計數器表建立,計數器jsp代碼修改并在原有memcache基礎上增加mysql持久化部分代碼,間隔超過10秒存一次db,并重啟memcached檢查代碼效果


第七章  海量數據平臺安裝配置實戰(2課時)

 

本章演練主流NoSql分布式數據引擎及MapReduce平臺hadoop的搭建,主要包括hadoop分布計算平臺基礎安裝配置,hadoop高級管理,HDFS分布式文件使用深入演練。

 

詳細內容如下


HDFS和MapReduce共同組成了Hadoop分布式系統體系結構的核心。HDFS集群、MapReduce分布式計算、Hadoop分布式集群運行圖詳解
Clone出hadoop服務器nameNode配置ip及hostname
修改hosts增加nameNode,dataNode的ip映射
nameNode增加hadoop用戶及用戶組并設置密碼
nameNode配置ssh自動登錄
Clone出hadoop服務器dataNode1、2配置ip及hostname
修改hosts增加nameNode,dataNode的ip映射
dataNode增加hadoop用戶及用戶組并設置密碼
dataNode1、2配置ssh自動登錄
Namenode服務端同步ssh公鑰文件到各
dataNode1、2
ssh驗證ssh自動登錄
Hadoop安裝,下載并上傳解壓縮
建立文件目錄tmp
Hadoop配置conf/core-site.xml詳解演練
Hadoop配置conf/hdfs-site.xml詳解演練
Hadoop配置conf/mapred-site.xml詳解演練
Hadoop配置conf/masters
Hadoop配置conf/slaves
復制Hadoop到slaves服務器
啟動Hadoop
首次執行,格式化HDFS文件系統hadoop namenode –format
驗證Hadoop啟動
java自帶的小工具jps查看進程
hadoop dfsadmin -report查看服務狀態
Web管理:jobtracker、tasktracker、DFS狀態查看
Hadoop無法啟動可能的原因:防火墻等
管理HDFS中的文件詳細演練

 

第八章 簡單隊列緩存平臺安裝配置實戰(2課時)

 

本章演練熱門的redis搭建簡單的隊列及緩存平臺,主要包括redis安裝配置實戰,redis實用編程詳細演練。

 

詳細內容如下


Redis是當前最熱門的高級key-value數據庫。它跟memcached類似,不過數據可以持久化,而且支持的數據類型很豐富。

基于redis搭建簡單的隊列及緩存平臺
clone服務器redis配置ip及修改主機名
下載安裝redis-2.6.11.tar.gz
編譯原代碼
編譯問題編譯環境上網yum安裝
Redis編譯安裝,在src目錄下生成5個可執行文件,redis-server、redis-cli、redis-benchmark、redis-check-aof、redis-check-dump
設置內存分配策略設置/etc/sysctl.conf 中vm.overcommit_memory = 1,允許分配所有的物理內存,而不管當前的內存狀態如何
Redis啟動并驗證
Redis遠程連接6379口
配置防火墻打開6379端口
配置指定log及db文件
配置自啟動服務腳本:/etc/init.d/redis
增加權限。配置自啟動服務redis
Redis配置文件redis.conf修改,其中daemonize: 默認情況下,redis不是在后臺運行的,需要在后臺運行,把該項的值更改為yes。
Redis常用命令:del name,exists name,ping,save,redis-cli -p 6379 save
Redis支持String類型,能存儲二進制安全的字符串,最大長度為1GB。也可用來存儲數字,并支持對數字加減操作。還支持對其部分的修改和獲取操作。
List類型操作演練
集合(Sets)類型操作演練
有序集合(Sorted Sets)類型操作演練
Hash類型操作演練
Publish/Subscribe隊列訂閱發布操作演練
數據過期設置TTL,EXPIRE等關鍵命令
Redis事務性支持操作演練 MULTI、EXEC、DISCARD等關鍵命令
Redis常用實用命令:KEYS *、randomkey、TYPE key、rename、renamenx、lastsave、client list、monitor等重要命令演練
連接操作相關的命令詳解:
quit:關閉連接(connection)
auth:簡單密碼認證 持久化
save:將數據同步保存到磁盤
bgsave:將數據異步保存到磁盤
lastsave:返回上次成功將數據保存到磁盤的Unix時戳
shundown:將數據同步保存到磁盤,然后關閉服務 遠程服務控制
info:提供服務器的信息和統計
monitor:實時轉儲收到的請求
slaveof:改變復制策略設置
config:在運行時配置Redis服務器
value操作的命令詳解
對String操作的命令詳解
對List操作的命令詳解
對Set操作的命令詳解
對Hash操作的命令詳解
支持多DB詳解演練
INFO服務信息詳解
Redis的java客戶端類包Jedis下載
修改計數器jsp代碼count_redis.jsp支持自動持久化的cache
最后總回顧整體本次系列高并發大數據架構


 

广西快三历史遗漏