Python作為一門面向?qū)ο蟮木幊陶Z(yǔ)言，簡(jiǎn)潔的語(yǔ)法使得編寫十幾行代碼即可實(shí)現(xiàn)爬蟲功能，獲取海量互聯(lián)網(wǎng)數(shù)據(jù)。使用Python來編寫爬蟲實(shí)現(xiàn)簡(jiǎn)單且效率高，同時(shí)爬取的數(shù)據(jù)可以使用Python強(qiáng)大的第三方數(shù)據(jù)處理庫(kù)來進(jìn)行分析，最重要的是學(xué)習(xí)成本低，如此之好的東西怎能不學(xué)習(xí)呢？
2020重磅升級(jí)的Python數(shù)據(jù)科學(xué)入門與網(wǎng)絡(luò)爬蟲案例實(shí)戰(zhàn)研討會(huì)開始報(bào)名啦！
原來數(shù)據(jù)的獲取不是我們想的那樣，教您玩轉(zhuǎn)Python爬蟲入門+進(jìn)階+實(shí)戰(zhàn) 。
§ 學(xué)習(xí)基礎(chǔ)Python
§ 重視遞歸思維求解能力與訓(xùn)練
§ 你可能不知道而你應(yīng)該知道的Python知識(shí)
§ 編程的藝術(shù)
§ Python網(wǎng)絡(luò)爬蟲介紹
§ 網(wǎng)絡(luò)爬蟲的流程
§ 網(wǎng)頁(yè)結(jié)構(gòu)和網(wǎng)絡(luò)協(xié)議
§ 利用requests和BeautifulSoup模塊抓取靜態(tài)網(wǎng)頁(yè)
§ 利用selenium抓取動(dòng)態(tài)頁(yè)面
講師介紹：
Allen Chen
微軟(中國(guó))有限公司 解決方案架構(gòu)師
中國(guó)青年統(tǒng)計(jì)學(xué)家協(xié)會(huì)常務(wù)理事，微軟認(rèn)證講師，2017~2018年入選微軟最有價(jià)值專家。在高級(jí)分析、數(shù)據(jù)挖掘、人工智能等領(lǐng)域有十年的經(jīng)驗(yàn)，為企業(yè)級(jí)客戶提供相關(guān)項(xiàng)目的架構(gòu)設(shè)計(jì)、咨詢培訓(xùn)、測(cè)試開發(fā)支持等服務(wù)，服務(wù)過金融、互聯(lián)網(wǎng)、通信、咨詢、航空、醫(yī)療等行業(yè)的客戶。
時(shí)間及地點(diǎn) ：
報(bào)道時(shí)間：
2020年02月11日 下午 13:00-18:00
2020年02月12日 上午 08:00-09:00
培訓(xùn)時(shí)間：
2020年02月12日~14 日
上午 09:00-12:00
下午 14:00-17:00
答疑 17:00-17:30
培訓(xùn)地點(diǎn)：北京市
參會(huì)對(duì)象：
從事金融、醫(yī)療、保險(xiǎn)、生態(tài)、衛(wèi)生、計(jì)量、統(tǒng)計(jì)、銀行、通信、環(huán)境、基金等與數(shù)據(jù)分析統(tǒng)計(jì)相關(guān)的企事業(yè)單位技術(shù)骨干、科研院所研究人員和大專院校相關(guān)專業(yè)教學(xué)人員及在校研究生、碩士、博士等相關(guān)人員，以及廣大Python愛好者。
福利升級(jí)：我們會(huì)根據(jù)學(xué)員的意愿從案例庫(kù)里來選擇案例講解，學(xué)員也可以提供自己想要抓取數(shù)據(jù)的鏈接，老師現(xiàn)場(chǎng)講解。
課程大綱：
第一天：python基礎(chǔ)語(yǔ)法和網(wǎng)絡(luò)知識(shí)簡(jiǎn)介
第一講：Python環(huán)境的搭建
1. 操作系統(tǒng)的配置
2. 安裝anaconda套件
3. Jupyter Notebook的使用
第二講：Python基礎(chǔ)語(yǔ)法
1. 基本數(shù)據(jù)結(jié)構(gòu)（列表、字典、元組）
2. 基本語(yǔ)法（條件、循環(huán)、函數(shù)、類）
第三講：數(shù)據(jù)導(dǎo)入導(dǎo)出、數(shù)據(jù)整理與變換
1. 使用Pandas模塊導(dǎo)入/導(dǎo)出數(shù)據(jù)
2. 使用Pandas篩選、整理數(shù)據(jù)，分組匯總
3. 數(shù)據(jù)變換，重編碼
第四講：可視化與描述性統(tǒng)計(jì)
1. 餅圖、柱形圖、折線圖、箱線圖
2. 在線可視化的工具
第五講：網(wǎng)絡(luò)和網(wǎng)頁(yè)基礎(chǔ)知識(shí)
1. 網(wǎng)絡(luò)協(xié)議
2. 網(wǎng)頁(yè)加載過程
3. 網(wǎng)頁(yè)結(jié)構(gòu)
4. HTML簡(jiǎn)介
5. CSS選擇器
6. Xpath
第二天：靜態(tài)網(wǎng)站的抓取
第六講：相關(guān)Python模塊
1. 用Requests模塊獲取網(wǎng)頁(yè)
2. 用BeautifulSoup模塊解析網(wǎng)頁(yè)元素
3. 用requests和Beautiful Soup寫簡(jiǎn)單的爬蟲程序
§ 案例: 爬取電影票房數(shù)據(jù)
第七講：靜態(tài)網(wǎng)站抓取的高級(jí)策略
1. 尋找目標(biāo)內(nèi)容的真正網(wǎng)址
2. 翻頁(yè)的處理
3. 提交表單后才能獲取內(nèi)容的網(wǎng)頁(yè)如何爬取
4. 如何下載文件
5. 偽造Cookie繞過網(wǎng)站反爬機(jī)制
§ 案例: 抓取北京交通委公布的交通指數(shù)
§ 案例: 批量下載上交所上市公司公告
§ 案例: 抓取全國(guó)土地交易數(shù)據(jù)
§ 案例：生態(tài)環(huán)境部網(wǎng)站全國(guó)城市空氣質(zhì)量日?qǐng)?bào)
§ 案例：大眾點(diǎn)評(píng)店鋪信息的抓取
第三天：動(dòng)態(tài)網(wǎng)站的抓取
第八講：通過API接口獲取數(shù)據(jù)
1. 什么是Ajax異步加載
2. 什么是JSON格式
3. API接口返回JSON數(shù)據(jù)時(shí)如何解析
4. API接口返回其他數(shù)據(jù)格式時(shí)如何解析
5. 從動(dòng)態(tài)地圖中抓取并解析數(shù)據(jù)
§ 案例: 從東方財(cái)富網(wǎng)抓取基金數(shù)據(jù)
§ 案例：上海醫(yī)療服務(wù)信息便民查詢系統(tǒng)網(wǎng)站
§ 案例：財(cái)政部PPP項(xiàng)目?jī)?chǔ)備清單
§ 案例：汽車消費(fèi)者投訴受理處置信息的抓取
第九講：用Selenium模擬瀏覽器獲取數(shù)據(jù)
1. Selenium的簡(jiǎn)介
2. 用Selenium結(jié)合Xpath Helper抓取數(shù)據(jù)
3. 模擬瀏覽器登錄網(wǎng)站、繞開驗(yàn)證碼
§ 案例: 中國(guó)保險(xiǎn)行業(yè)協(xié)會(huì)新聞列表的抓取
§ 案例: 抓取電商網(wǎng)站商品信息和評(píng)論
§ 案例：抓取歷史航班信息
§ 案例：微博數(shù)據(jù)的抓取
第十講：疑難問題的應(yīng)對(duì)
1. 網(wǎng)站內(nèi)容定時(shí)更新，要怎么自動(dòng)去抓取
2. 正則表達(dá)式的使用
3. 使用異常處理，讓程序更穩(wěn)健
4. 能定位到網(wǎng)頁(yè)元素但不知如何提取
5. 幾種反爬蟲機(jī)制的應(yīng)對(duì)策略
為什么要學(xué)爬蟲技術(shù)，學(xué)了以后有什么好處？
不論您是想要做市場(chǎng)調(diào)查、趨勢(shì)分析、還是想要做科研，都需要從自己機(jī)構(gòu)外部找數(shù)據(jù)，但是網(wǎng)站有千百種，從單純的下載文件，到整理成干凈的數(shù)據(jù)表，數(shù)據(jù)藏在哪里，要拿甚么鑰匙去敲門，都是透過每個(gè)精心設(shè)計(jì)的范例去學(xué)習(xí)的。拿到數(shù)據(jù)之后，不同的數(shù)據(jù)類型有不同的處理方式，最后怎么有能力說出一個(gè)故事，都是這堂課的學(xué)習(xí)主軸。
網(wǎng)上有很多爬蟲課程，為什么要選我們的課程呢？
市場(chǎng)上真的有各種爬蟲課程，各有各的特色及優(yōu)點(diǎn)，有的還是免費(fèi)的，這里我們不比較各自的不同，就說說我們有什么優(yōu)點(diǎn)吧：優(yōu)秀的講師團(tuán)隊(duì)：我們的講師不但有多年的工作經(jīng)驗(yàn)，也有豐富的教學(xué)經(jīng)驗(yàn)，不但技術(shù)過硬，也善于用通俗的語(yǔ)言講解復(fù)雜的知識(shí)點(diǎn)，更有耐心為學(xué)員解答學(xué)習(xí)過程中的問題。每次課程我們都會(huì)反復(fù)研究，花大量時(shí)間準(zhǔn)備課程材料，力求用最適合的案例和方式為學(xué)員講解。
案例教學(xué)的方法：我們從2016年開始舉辦公開的技術(shù)培訓(xùn)，也曾多次給企業(yè)做內(nèi)部培訓(xùn)，從多年的教學(xué)實(shí)踐中，我們發(fā)現(xiàn)，用傳統(tǒng)以知識(shí)點(diǎn)講解為主線，案例為輔的方式，效果并不好。學(xué)員反映，聽了后面忘前面，學(xué)了一堆東西卻不知道怎么用。經(jīng)過多次嘗試，我們摒棄了這種教學(xué)方式，采用以案例為主線，在案例中講解知識(shí)點(diǎn)的方法，在一個(gè)案例中串聯(lián)多個(gè)知識(shí)點(diǎn)，利用遺忘曲線的原理，我們用多個(gè)案例重現(xiàn)數(shù)據(jù)分析的流程，學(xué)員自然會(huì)舉一反三了。
選取有實(shí)用價(jià)值的案例：iris數(shù)據(jù)集、titanic數(shù)據(jù)、NBA比賽數(shù)據(jù)跟我們的工作和科研有什么關(guān)系？基本沒關(guān)系，那我們?cè)谥v課的時(shí)候就不會(huì)用這種數(shù)據(jù)。而且我們教的是如何使用數(shù)據(jù)分析技術(shù)，并不是教你怎么寫代碼，我們不培養(yǎng)碼農(nóng)的。所以我們選擇的案例，都是有現(xiàn)實(shí)的商業(yè)意義，或者科研價(jià)值。在講解過程中，不但告訴你代碼怎么寫，還會(huì)教你怎么解決問題，為什么要這么做。
貼心的助教制度：我們每次開課都會(huì)有助教，因?yàn)槭鞘职咽值恼n程，助教的存在，就是為了能解答您的問題，確保您有學(xué)會(huì)，滿載回家。而且我們的助教都有實(shí)戰(zhàn)經(jīng)驗(yàn)，有的來自業(yè)界，有的來自前幾批的優(yōu)秀學(xué)員，我們也歡迎您以后加入我們的助教或講師團(tuán)隊(duì)。
對(duì)課程品質(zhì)的堅(jiān)持：我們?cè)诓煌瑘?chǎng)合講解過課程的內(nèi)容，不斷調(diào)整打磨課程，即使是相近的主題，我們也會(huì)對(duì)課程內(nèi)容和案例進(jìn)行升級(jí)，挑選出最適合市場(chǎng)趨勢(shì)的案例和技術(shù)來講解，并升級(jí)了大量案例。
沒有學(xué)過Python，也可以來上課嗎？
當(dāng)然可以。我們的課程專門面向非計(jì)算機(jī)專業(yè)的學(xué)員，其實(shí)每次都有對(duì)編程一無(wú)所知的小白來參加我們的課程，他們甚至對(duì)電腦的很多知識(shí)都不甚了解，經(jīng)過兩三天的課程，不但跟下來了，還很有收獲。對(duì)Python有一點(diǎn)認(rèn)識(shí)的朋友相信一定可以得心應(yīng)手，針對(duì)完全沒有碰過Python的新手，報(bào)名之后我們會(huì)推薦您Python的基礎(chǔ)在線課程進(jìn)行課前的練習(xí)，也可以提前一天報(bào)到，參加我們的課前輔導(dǎo)。
參會(huì)費(fèi)用：
全價(jià)：3600元/人；
學(xué)生價(jià)：3000元/人（需出示學(xué)生證）
友萬(wàn)用戶（8.5折）：3060元/人
團(tuán)報(bào)價(jià)格（三人及以上8.5折）：3060元/人
注: 以上所有優(yōu)惠不疊加! 費(fèi)用均含報(bào)名費(fèi)、材料費(fèi)，差旅及食宿費(fèi)自理。
特別優(yōu)惠：轉(zhuǎn)發(fā)課程鏈接到微信朋友圈，在以上優(yōu)惠基礎(chǔ)上直減200元或領(lǐng)取價(jià)值200元（培訓(xùn)代金券一張），可憑此券參加我司主辦的任意一場(chǎng)培訓(xùn)活動(dòng)進(jìn)行抵扣，有效期為2年。本活動(dòng)優(yōu)惠截止至1月31日。（詳細(xì)轉(zhuǎn)發(fā)需求請(qǐng)聯(lián)系工作人員確認(rèn)。）
報(bào)名方式：
識(shí)別下圖二維碼立即填寫在線報(bào)名表，我們的工作人員隨后會(huì)聯(lián)系您。確認(rèn)報(bào)名后，請(qǐng)通過以下支付方式中的一種來繳費(fèi)（ 請(qǐng)保留支付憑證，拍照或截圖發(fā)給我們的工作人員。）
報(bào)名鏈接：http://uone-tech.cn/Uone-Api/web/detail.html?Id=977eda9e-1f1f-4944-be55-fcda0ca771da&flag=2
支付方式：
方式一：
對(duì)公轉(zhuǎn)賬
繳費(fèi)開戶名：北京友萬(wàn)信息科技有限公司
開戶行：中國(guó)建設(shè)銀行北京昌平支行
帳 號(hào)：11050181360009366857
方式二：現(xiàn)場(chǎng)刷（公務(wù)卡）繳費(fèi)
如現(xiàn)場(chǎng)刷卡需預(yù)繳500元留位費(fèi)至主辦方指定帳戶，現(xiàn)場(chǎng)刷卡后以現(xiàn)金方式返還。外地學(xué)員請(qǐng)于2020年2月11號(hào)提前報(bào)到，北京學(xué)員可于12號(hào)早上8:00-9:00報(bào)到，繳費(fèi)并領(lǐng)取發(fā)票和紙質(zhì)邀請(qǐng)函，以及上課教材。由于12號(hào)早上現(xiàn)場(chǎng)人比較多，鼓勵(lì)北京學(xué)員也于11號(hào)報(bào)到。
其它事項(xiàng)：
· 主辦方將提供培訓(xùn)課程所需的Python軟件；
· 請(qǐng)學(xué)員自帶筆記本電腦并提前自行安裝軟件；
· 本次課程食宿差旅費(fèi)用由學(xué)員自理，外地學(xué)員請(qǐng)?zhí)崆鞍才藕眯谐蹋?/p>
· 課程結(jié)束后，學(xué)員可申請(qǐng)由主辦方“北京友萬(wàn)信息科技有限公司”提供的結(jié)業(yè)證書。
· 請(qǐng)于課程開始前完成報(bào)名工作并及時(shí)與會(huì)務(wù)組保持溝通。
主辦機(jī)構(gòu)：
主辦方：北京友萬(wàn)信息科技有限公司協(xié)辦方：北理工大數(shù)據(jù)創(chuàng)新學(xué)習(xí)中心
聯(lián)系方式：
咨詢郵箱：marketing@uone-tech.cn
溫馨提示：按預(yù)報(bào)名順序排座位
主辦方簡(jiǎn)介：
北京友萬(wàn)信息科技有限公司，簡(jiǎn)稱：友萬(wàn)科技。英文全稱：Beijing Uone Info&Tech Co.,Ltd，簡(jiǎn)稱：Uone-Tech，是一家專注于引進(jìn)國(guó)外市場(chǎng)軟硬件產(chǎn)品的高科技企業(yè)?？偛课挥谥嘘P(guān)村昌平科技園區(qū)，是中國(guó)大陸領(lǐng)先的教育和科學(xué)軟件分銷商，該公司已在中國(guó)300多所高校建立了可靠的分銷渠道，擁有最成功的教學(xué)資源和數(shù)據(jù)管理專家。Uone-Tech將能夠有效地推廣科學(xué)軟件，促進(jìn)采購(gòu)和遵守中國(guó)當(dāng)?shù)氐牟少?gòu)慣例，同時(shí)向中國(guó)用戶提供高質(zhì)量的客戶支持和培訓(xùn)服務(wù)。
