從數(shù)據(jù)中發(fā)現(xiàn)隱藏價(jià)值之CV/NLP方向

CV方向

徐光福?ID：天靈靈地靈靈

簡(jiǎn)介：多次目標(biāo)檢測(cè)比賽第一、2018之江杯VQA比賽第二。

對(duì)于挖掘類的比賽來說，數(shù)據(jù)探索非常重要，涉及的方方面面很多 (反正我也不知道有哪些方面)，但是對(duì)于圖像類比賽來說，數(shù)據(jù)探索就相對(duì)簡(jiǎn)單一些，依然以基于虛擬仿真環(huán)境下的自動(dòng)駕駛交通標(biāo)志識(shí)別https://www.datafountain.cn/competitions/339這個(gè)比賽為例，講一下計(jì)算機(jī)視覺類比賽的數(shù)據(jù)探索。

對(duì)于計(jì)算機(jī)視覺類比賽，數(shù)據(jù)探索主要是了解數(shù)據(jù)集的屬性、特點(diǎn)，以及如何進(jìn)行一些數(shù)據(jù)預(yù)處理，例如圖像格式轉(zhuǎn)換，生成數(shù)據(jù)字典等等，為之后的數(shù)據(jù)加載做好準(zhǔn)備。

首先我們看一下交通標(biāo)志識(shí)別比賽的數(shù)據(jù)集：

1. 訓(xùn)練集和測(cè)試集都有大約20000張圖片，格式為JPG

訓(xùn)練集和測(cè)試集都有兩萬(wàn)張圖片，在一般的比賽中應(yīng)該屬于比較多的了，當(dāng)然和coco、objects365之類的數(shù)據(jù)集沒法比，格式為JPG，不像某些醫(yī)療影像的比賽，還需要做特別的格式甚至坐標(biāo)的轉(zhuǎn)換，這里不需要，算是一個(gè)不錯(cuò)的開端

2. 訓(xùn)練集和測(cè)試集的圖像大小都為固定大小，3200x1800

圖像大小固定，這也是一個(gè)好消息，相比圖像大小不一、縱橫比也很隨意的數(shù)據(jù)集來說好處理不少。但是，圖片大小3200x1800，就有點(diǎn)不一般了，前面說了，這是一個(gè)目標(biāo)檢測(cè)比賽，這么大的圖是很難直接加載并訓(xùn)練的。

面對(duì)這種大圖，通常我們有兩種選擇：縮圖和裁剪

縮小圖像對(duì)比賽尤其是目標(biāo)檢測(cè)比賽來說，通常不是一個(gè)好選擇，因?yàn)闊o(wú)數(shù)經(jīng)驗(yàn)表明，圖大往往是提高目標(biāo)檢測(cè)成績(jī)的最簡(jiǎn)單最有效的選擇。能原圖訓(xùn)練就不要縮小，如果能比原圖還大，那通常也是不錯(cuò)的選擇，很少有例外；通常不是好選擇也不意味著就不能用，在沒有其它好的辦法的情況下，縮圖也是可以接受的，總之有點(diǎn)像無(wú)奈的選擇

再說說裁剪，裁剪意味著可以用很小的尺寸實(shí)現(xiàn)近似原圖訓(xùn)練的效果，從這點(diǎn)上來說，他比起縮圖確實(shí)是占有優(yōu)勢(shì)的，缺點(diǎn)是處理起來比較麻煩，有時(shí)候甚至是很難處理，比如目標(biāo)比較密集，很容易就把很多目標(biāo)切的七零八落。所以縮圖還是裁剪，還是要根據(jù)數(shù)據(jù)集的特點(diǎn)來選擇

3. 無(wú)論訓(xùn)練集和測(cè)試集每張圖片都固定有一個(gè)、且只有一個(gè)目標(biāo)

這簡(jiǎn)直是福音了，每張圖片只有一個(gè)目標(biāo)，這裁剪起來就方便了很多，所以在縮圖和裁剪這個(gè)問題上就不用糾結(jié)了，選擇裁剪吧。對(duì)于這種單目標(biāo)的數(shù)據(jù)集來說，一個(gè)很好的選擇就是圍繞目標(biāo)進(jìn)行隨機(jī)裁剪，而且最好是以online的方式進(jìn)行，這樣每次裁剪出的東西都不一樣，極大的增加了樣本的數(shù)量。

4. 目標(biāo)為交通標(biāo)志，一共有20類，其中有左側(cè)行駛、右側(cè)行駛這類左右對(duì)稱的目標(biāo)

這個(gè)沒什么好說的，目標(biāo)相對(duì)來說比較好識(shí)別，需要注意的是既然有左右對(duì)稱的目標(biāo)，就不能直接使用左右翻轉(zhuǎn)的數(shù)據(jù)增強(qiáng)了，當(dāng)然也可以進(jìn)行一下特別的處理，比如翻轉(zhuǎn)后調(diào)整相應(yīng)的類別標(biāo)簽

5. 提供的訓(xùn)練集標(biāo)注為csv格式，每個(gè)目標(biāo)一行

對(duì)于目標(biāo)檢測(cè)來說，一般要把標(biāo)注轉(zhuǎn)換為coco的格式，這通常也是代碼的第一步，至于如何轉(zhuǎn)換，首先需要熟悉一下coco的格式，代碼方面并沒有什么難度

數(shù)據(jù)探索完成之后，已經(jīng)基本了解了數(shù)據(jù)集的屬性和特點(diǎn)，就可以開始代碼的工作了，先嘗試把數(shù)據(jù)集的標(biāo)注轉(zhuǎn)換為coco的格式，邁出代碼的第一步吧~?王博?ID：000wangbo

簡(jiǎn)介：西安電子科技大學(xué)研究生，一個(gè)不斷在CV道路上探索的小白。

數(shù)據(jù)探索在數(shù)據(jù)挖掘比賽中是特別重要的一部分。如果把我們的模型當(dāng)作柯南，那我們喂進(jìn)去的數(shù)據(jù)就是柯南的破案線索，而破案線索并不會(huì)簡(jiǎn)簡(jiǎn)單單越多越好 (數(shù)據(jù)清洗)，柯南選擇通過毛利小五郎或者服部平次揭開真相的方式也不同 (模型、超參數(shù)選擇)。

機(jī)器學(xué)習(xí)類比賽數(shù)據(jù)探索一般包含缺失值處理、異常值處理、轉(zhuǎn)非數(shù)以及繪制關(guān)聯(lián)熱力圖等等。不過今天作為cv方向嘉賓，那我就從一個(gè)比賽導(dǎo)入下如何通過數(shù)據(jù)探索拿下Top。比賽地址：

https://www.datafountain.cn/competitions/315解題方案：

https://zhuanlan.zhihu.com/p/51870164周易大佬的知乎，強(qiáng)推一波，里面有很多大賽的開源賽題任務(wù)

天空的薄云，往往是天氣晴朗的象征；而那些低而厚密的云層，常常是陰雨風(fēng)雪的預(yù)兆。我們希望選手基于大賽提供的海量云彩圖片，通過深

度學(xué)習(xí)訓(xùn)練模型，識(shí)別圖片中不同類型的云彩，預(yù)測(cè)大賽提供的測(cè)試云彩圖片。?

?這是個(gè)比較明顯的五分類的比賽，評(píng)價(jià)指標(biāo)是五類F1-score的均值。很多人看到這個(gè)題目，就趕緊上個(gè)五分類模型跑一哈然后各種數(shù)據(jù)增強(qiáng)模型融合，可能前期確實(shí)能在前排，但是最終一定拿不到Top。那我們開始數(shù)據(jù)探索，首先我們能看到這個(gè)數(shù)據(jù)的樣本不平衡，那就通過crop上采樣一些小樣本；

然后我們通過比較圖片的MD5值，發(fā)現(xiàn)竟然有好多重復(fù)的圖片，有一些的label還是矛盾的，清洗清洗！最終我們發(fā)現(xiàn)了一個(gè)驚天漏洞，test中的圖片還有大約100張左右和train里面是一樣的。

通過數(shù)據(jù)中的這些trick，我們做了不到10天就拿到了亞軍，足以看出數(shù)據(jù)探索在比賽中的重要程度了吧！最終，分享下最近一個(gè)遙感分類比賽的數(shù)據(jù)trick（通過排序能夠看到很多全黑圖片和異常圖片）：http://rscup.bjxintong.com.cn/#/theme/1?

?

NLP方向

張浩?ID：reborn_ZH

簡(jiǎn)介：CCF2018供應(yīng)鏈需求預(yù)測(cè)亞軍、2019搜狐內(nèi)容識(shí)別算法大賽季軍。

大家好，本期我將和大家交流下自然語(yǔ)言處理賽題的數(shù)據(jù)探索部分，為了更好地與實(shí)戰(zhàn)接軌，后面的部分我都將以2019年搜狐內(nèi)容識(shí)別算法大賽為例進(jìn)行講解。

比賽鏈接：2019年搜狐內(nèi)容識(shí)別算法大賽

賽題任務(wù)

給定若干文章，目標(biāo)是判斷文章的核心實(shí)體以及對(duì)核心實(shí)體的情感態(tài)度。每篇文章識(shí)別最多三個(gè)核心實(shí)體，并分別判斷文章對(duì)上述核心實(shí)體的情感傾向（積極、中立、消極三種）。

評(píng)價(jià)指標(biāo)

模型得分的計(jì)算方式：?

分?jǐn)?shù)由實(shí)體詞的F1-score以及實(shí)體情感的F1-score組成，每個(gè)樣本計(jì)算micro F1-Score，然后取所有樣本分?jǐn)?shù)的平均值。

實(shí)體詞的F1-score如下：?

實(shí)體情感的F1-score由實(shí)體_情緒的組合標(biāo)簽進(jìn)行判斷，只有實(shí)體情緒都正確才算正確的標(biāo)簽。

實(shí)體情感的F1-score如下：?

?賽題數(shù)據(jù)

數(shù)據(jù)可視化

數(shù)據(jù)可視化作為數(shù)據(jù)探索中非常重要的一步，我們利用視覺獲取的信息量，遠(yuǎn)遠(yuǎn)比別的感官要多得多。通過圖形和色彩將關(guān)鍵數(shù)據(jù)和特征直觀地傳達(dá)出來，從而實(shí)現(xiàn)對(duì)于復(fù)雜的數(shù)據(jù)的深入洞察。數(shù)據(jù)可視化則是通過一目了然地方式，獲得客觀數(shù)據(jù)層面的引導(dǎo)或者驗(yàn)證。

首先，我們對(duì)訓(xùn)練集長(zhǎng)度、實(shí)體詞位置、熱點(diǎn)詞進(jìn)行可視化，幫助我們了解訓(xùn)練集的基本信息和數(shù)據(jù)分布。?

?

從上面3個(gè)圖中可以得知，訓(xùn)練集的樣本長(zhǎng)度主要集中在500到1000之間，并且大多數(shù)樣本的實(shí)體詞在前幾個(gè)詞中就會(huì)出現(xiàn)。

接下來，我們對(duì)實(shí)體詞進(jìn)行更細(xì)致的統(tǒng)計(jì)分析，這有利于幫助我們理解數(shù)據(jù)，便于我們后面對(duì)數(shù)據(jù)進(jìn)行處理。?

???

?統(tǒng)計(jì)核心實(shí)體在新聞中出現(xiàn)的位置，在第0-100個(gè)索引（字）之間有74696個(gè)核心實(shí)體，100-200有5149個(gè)，以此類推。說明在識(shí)別實(shí)體的時(shí)候重點(diǎn)要放在文章的前部半分，不必分析整篇文章。分析前n個(gè)句子中出現(xiàn)的核心實(shí)體數(shù)以及占總實(shí)體數(shù)的百分之多少，前五個(gè)句子中出現(xiàn)了的核心實(shí)體數(shù)占所有實(shí)體數(shù)的80%多。說明我們只要將前幾句輸入到模型訓(xùn)練就可得到很好的效果。?

從數(shù)據(jù)中發(fā)現(xiàn)隱藏價(jià)值之?dāng)?shù)據(jù)挖掘方向

以上就是關(guān)于【從數(shù)據(jù)中發(fā)現(xiàn)隱藏價(jià)值之CV/NLP方向】的解答，如需了解學(xué)校/賽事/課程動(dòng)態(tài)，可至翰林教育官網(wǎng)獲取更多信息。

往期文章閱讀推薦：

2026五大奧賽中國(guó)隊(duì)斬獲四個(gè)世界第一，全員金牌收官！

【組隊(duì)招募】經(jīng)濟(jì)/數(shù)模競(jìng)賽CNEC/IEO/SIC/HiMCM…組隊(duì)報(bào)名！