• 斯坦福/伯克利第三期暑期學術課程

  • 工程導論:李培根院士

  • 科学思维与研究方法:国家教学名师 余龙江教授

2018休斯敦大學暑期實習項目(10)

作者:時間:2018-10-22點擊數:編輯:劉豔紅

綜述篇

本周是2018年華中科技大學同學來休斯敦大學進行暑期實習的第十周。在導師們和學長學姐們的指導和帶領下,大部分同學的項目已經步入正軌。在項目的進程中,我們遇到了許多困難和意想不到的發現,但通過和老師的交流,將困難化成機遇,將新發現當作突破口,我們也在逐漸成長。

個人篇

UH實習日志|李昌

本周是來到休斯頓的第10周,由于本周五要進行自己的暑期工作總結彙報,本周未進行太多的實驗工作,工作時間都在准備組會彙報。

導師在上周四回國出差,因此本周的工作也未涉及到許多實驗。主要的任務還是總結前期的工作,爲周五的彙報進行准備。總結過去的70多的天的工作,自己承擔了研究Li2DHBQ在锂離子電池作爲正極材料的充放電機理的工作。從最開始的合成方法的摸索,粉末樣品的表征,再到電池的裝配,測試和分析,自己一路過來得到了許多提升。無論是在實驗的設計到完成,還是數據的收集和分析,都得到了導師和師兄們的指導,有了許多進步。而自己最初想要學習的理論計算方面,雖然在指導我的師兄去阿貢實驗室交流之後沒有太多的進步,但自己仍然學到了許多,知道了理論計算是做什麽,該怎麽做,自己都有了一個大致的了解,也具備了一定的理論計算能力,算是入了門,但由于自己的背景和理論計算所需的相差太多,仍然需要很多知識積累和經驗來達到真正的掌握這門技能。

此外,本周五我和兩個朋友一起去了NASA進行參觀。對美國的航空航天曆史有了一些了解,對阿波羅登月的曆史有了更清晰和直觀的認識。最讓我開心的是親手觸摸了來自月球和火星的石頭!

 

UH實習日志|張紫荊

這是來到休斯頓的第十周,卻還沒有好好在休斯頓各處逛逛,剛好周末我的好朋友達維要從鳳凰城飛來休斯頓看我,于是我們一起展開了兩天的休斯頓之旅。

休斯顿可能最值得一看的地方就是NASA space center 了。NASA Johnson Space Center是美國最大的航天研究,生産及控制中心。美國的航天火箭,航天飛機都是在佛羅裏達發射的,但是所有的控制都是在這兒完成的也是1969年登月的控制中心。人類第一次登上月球的阿波羅飛船11號,就在休斯頓約翰遜航天中心升空。一個很有意思的事件是,人類在月球上說到的第一個單詞就是Houston,因爲要呼叫地面指揮中心。這裏同時也是美國載人航天飛機的研發基地和載人太空飛行基地展區面積不大,但是分爲好幾個部分,外圍的展區介紹一些天文學知識還有航空發動機等一些科學知識,展示太空飛行器的模型以及登月和曆代載人航天的宇航服。影院展廳展示美國航空航天發展記錄。周六這天還非常幸運得能夠聽到NASA的宇航員的報道,但是由于我們的時間比較緊所以錯過了報告的時間。

                     阿波羅十一號登月時的月球車


可以觸摸探測器從火星和月球帶回來的石塊

    我們一大早先來到了自然科學博物館,本來以爲這個博物館只需要一個多小時就可以逛完,但其實,我們用了三個小時才大致浏覽完。休斯頓的自然科學博物館非常值得一去,一共有四層展區。一層的主題是生命的演化,有許多古生物進化的化石,從三葉蟲到恐龍到早期智人,應有盡有。二層展示了德州,非洲的野生動物標本,和埃及美洲印第安人的文化遺迹。但是最讓作爲材料專業的我和我的小夥伴激動的是天然礦石的展區,這個戰區展示了許多美麗的天然礦石結晶。

色彩斑斓的蛋白石

    置身絢爛的礦石展區當中,感覺好像進入了一個寶藏的世界。博物館的三層是昆蟲標本站以及昆蟲微觀攝影展示,通過微觀攝影,向觀衆們表現昆蟲的翅膀,觸角,眼睛等等部位的微觀結構。第四層是工業電氣展,主要是向小朋友們科普現在和未來的能源動力的發展現狀和前景。

随后我们来到了休斯顿知名的学府莱斯大学。作为一所私立院校,莱斯大学被称为南方的哈佛,是由德克萨斯州的棉花巨富威廉马歇尔1891年创建。莱斯大学的校园非常美丽,绿树环绕校园四周,校园对面就是赫曼公园和休斯敦动物园。距离Museum of Fine Art 和Museum of Natural Science都不远。莱斯大学的建筑看起来优雅大气,同时又能感觉到历史的印记。

UH實習日志|關晨宇

 

       来休斯顿已两月有余,想来听力和口语方面应该是有了一个数量级的进步。于是抱着试试看的心态报了本周六的托福考试。自然这周就必须要重新拾起备考托福的各种资料准备一番了。

       按着脱产复习的方法,周一到周五大约每天从早上到中午都会带着耳机按1.25倍的速度精听TPO的材料。下午到晚上的时间被分配给了口语,直观上来看现在即使不准备口语的段子也不至于大脑空白想不到词,虽然效果上还是有些磕磕绊绊。但即使对independent speaking充满的信心,自己还是在综合口语这边前进得比较艰难——原来是因为平时听听力都没有记笔记的习惯,自己记笔记的能力直线下降,这对综合口语来说似乎不是什么好事情,毕竟这里听力和笔记才是口语的基础。于是整个一周花在这个上面的时间似乎比其他部分都要更多一些。周六考试的时候倒也算是磕磕绊绊讲完了吧。 写作和阅读倒是没有太多准备。因为有了之前考GRE写作时訓練了很多话题以及打字速度,这次托福至少不用担心没话写以及写不完。事实证明这样的訓練果然十分有用,两篇作文敲完之后都还剩了5到10分钟来检查拼写,字数方面也是远超题目标准字数要求。阅读方面确实没时间准备了,临考前粗粗读了两篇TPO阅读熟悉一下感觉也就罢了。总而言之,周六的托福感觉上还是比较轻松的,至于结果如何,就听认考官们的安排了。

       不过这周实验室方面还是做了一些东西的。因实验需要我们需要用氧化铝乳液打磨一个光亮的纯度为99.999%的金块,于是这个无聊又要求高的任务被无情地安排在了我头上。从1um一直打磨到0.05um,显微镜下眼看这金块上的scratch和pots一点一点消失殆尽,还是挺佩服自己的手工活儿的~

UH實習日志|趙隽逸

本周的大事件就是我有幸參加了在Rice University舉辦的 主題爲Materials Today: Materials Science for The Next Two DecadesResearch Conference. 這場會議的級別非常之高,到場做report 的嘉賓全是領域裏的大師級人物,都是google scolar引用量在五六萬以上的巨佬,以及一些領域裏的新星教授。其中flexible electronics領域的Prof. John Rogers以及Soft Materials 領域的Prof. Xuanhe Zhao是我最期待的两位教授,能够有幸见到这两位柔性电子与柔性材料領域的大佬是我梦寐以求的事情。除了这两位教授之外,还有许多其他的业界大佬,比如rice university Prof. Ajayan (引用量11)等等。

参加这次会议收获颇丰,除了见到了许多大佬,更重要的是了解到了未来二十年材料科学領域的发展动态。同时一些大佬的report也讓我對現在正在進行的項目有了很多啓發。其中來自UT-Austin Prof. Yuebing Zheng的研究方向是與我現在做的磁流體的課題非常相關, 他做的是laser beam manipulate particles並且已經發了六七篇high-quality的文章了,甚至包括nature子刊和science advance等雜志。這也不禁讓我對我現在的課題充滿了期待

同時,我發現我之前做的一個有關plasma nozzle的研究與Prof. Xuanhe Zhaonature上發的一個有關3D printing nozzle的研究的思路非常接近。都是希望利用調焦的思路來調節噴嘴噴出物的直徑,以及提高分辨率的作用。

Anyway, 超級激動超級榮幸能夠參加這次會議,收獲頗豐,不虛此行。

UH實習日志|梁子雲

這已經是我在美國的第八周。這周在緊張和忙碌中度過,在做實驗的同時准備國家獎學金的答辯。很感謝在國內幫忙答辯的同學。在這周中,我繼續用不同模型訓練我經過預處理的圖片。一方面繼續熟練自己的編程能力,另一方面繼續提高訓練准確度。

Alexnet爲例

1. AlexNet模型的特點

·           使用了非線性激活函數:ReLU

·           防止过拟合的方法:Dropout,數據擴充(Data augmentation)

·           其他:多GPU實現,LRN歸一化層的使用

1.1 使用ReLU激活函數

傳統的神經網絡普遍使用Sigmoid或者tanh等非線性函數作爲激勵函數,然而它們容易出現梯度彌散或梯度飽和的情況。
在AlexNet中,使用了ReLU (Rectified Linear Units)激励函数替代Sigmoid/tanh,由于ReLU是线性的,且导数始终为1,计算量大大减少,收敛速度会比Sigmoid/tanh快很多。

1.2 數據擴充

當訓練數據有限時,可以通過一些變換從已有的訓練數據集中生成一些新的數據,以快速地擴充訓練數據。其中,最簡單、通用的圖像數據變形的方式:水平翻轉圖像,從原始圖像中隨機裁剪、平移變換,顔色、光照變換。
AlexNet在訓練时,在數據擴充(data augmentation)这样处理:
(1)隨機裁剪,對256×256的圖片進行隨機裁剪到224×224,然後進行水平翻轉,相當于將樣本數量增加了((256-224)^2)×2=2048倍;
(2)測試的時候,對左上、右上、左下、右下、中間分別做了5次裁剪,然後翻轉,共10個裁剪,之後對結果求平均。作者說,如果不做隨機裁剪,大網絡基本上都過擬合;
(3)对RGB空间做PCA(主成分分析),然后对主成分做一个(0, 0.1)的高斯扰动,也就是对颜色、光照作变换,结果使错误率又下降了1%。

1.3 重疊池化

一般的池化(Pooling)是不重叠的,池化区域的窗口大小与步长相同。在AlexNet中使用的池化(Pooling)却是可重叠(Overlapping)的,也就是说,在池化的时候,每次移动的步长小于池化的窗口长度。AlexNet池化的大小为3×3的正方形,每次池化移动步长为2,这样就会出现重叠。重疊池化可以避免过拟合。

1.4 局部歸一化(Local Response Normalization,簡稱LRN

歸一化(normalization)的目的是“抑制”,局部歸一化就是來實現局部抑制,尤其當使用ReLU時,因爲ReLU的響應結果是無界的(可以非常大),所以需要歸一化。使用局部歸一化的方案有助于增加泛化能力。LRN的核心思想就是利用臨近的數據做歸一化。

1.5 Dropout

引入Dropout主要是爲了防止過擬合。在神經網絡中Dropout通過修改神經網絡本身結構來實現,對于某一層的神經元,通過定義的概率將神經元置爲0,這個神經元就不參與前向和後向傳播,就如同在網絡中被刪除了一樣,同時保持輸入層與輸出層神經元的個數不變,然後按照神經網絡的學習方法進行參數更新。在下一次叠代中,又重新隨機刪除一些神經元(置爲0),直至訓練結束。
Dropout也可以看成是一種模型組合,每次生成的網絡結構都不一樣,通過組合多個模型的方式能夠有效地減少過擬合,Dropout只需要兩倍的訓練時間即可實現模型組合(類似取平均)的效果,非常高效。

1.6 GPU訓練

AlexNet当时使用了GTX580的GPU进行訓練,在每个GPU中放置一半核(或神经元),将网络分布在两个GPU上进行并行计算,大大加快了AlexNet的訓練速度。

AlexNet的特點和創新之處,總結如下表:

算法

作用

ReLU、多個GPU

提高訓練速度

重疊池化

提高精度,不容易産生過擬合

局部歸一化

提高精度

數據擴充、Dropout

減少過擬合

在周末,我聽了Taylor Swift的演唱會--reputation stadium tour。我在美國俄勒岡州讀初中時,開始愛上她的歌,一晃已經過去了九年,單曲循環過她的每一首歌。用我自己的獎學金買下將近300美元的門票,度過了最難忘的一晚。

 

UH實習日志|熊雨琴

       這周,我進一步閱讀了deep lesion數據庫的文章,發現他們主要是用Faster RCNN的方法来进行訓練。Faster RCNN是目标检测领域比较新的方法,得到的结果也比较好。

        这幅图比较简单明了的说明了它的结构,Faster RCNN可以分为4个主要内容:

1. Conv layers。 Faster RCNN首先使用一组基础的conv+relu+pooling层提取image的feature maps。该feature maps被共享用于后续RPN网络和分类网络,这一部分可以理解为基础网络部分,通常使用VGG或resnet。

2. Region Proposal Networks。RPN网络用于生成region proposals。该部分判断anchors属于foreground或者background,RPN网络里面的前景和背景的网络就相当于一个‘注意力’机制,再利用bounding box regression修正anchors获得比较精确的proposals。

3. Roi Pooling。该层使用基础网络输出的feature maps和proposals(rois),生成固定大小的proposal feature maps,送入后续分类网络判定目标类别。

4. Classification。 所有的RCNN系列的方法都把检测的问题转换为对图片的局部区域的分类问题,利用proposal feature maps计算proposal的类别,同时再次bounding box regression获得检测框最终的精确位置。

Faster RCNN使用RPN来避免选择性搜索方法,它加速了訓練和测试过程,并提高了性能。

文章中最後達到的結果是81.1%的sensitivity當平均每張圖有5個FPs。

 

UH實習日志|李宛澤

      本周的主要任務仍然是繼續對整體式傳感器外殼進行測試,主要問題還是外殼經常只能被崩成兩半,而不是成爲設想中的碎片。對于這個情況,我先是將橫向和縱向上外殼薄弱線的厚度進行了調整,其次設計了一些方案試圖在外殼內部産生一個大于外殼極限的壓力,還有就是想辦法提高外殼的氣密性。說來有些可笑,我花了很大功夫來研究如何在外殼內部産生一個大壓力,還想過在殼體內部加設一個密封球殼,但是氣密性又難以保證。後來在實驗室裏找到了一台大功率氣泵,希望下周能測試下,解決這個問題,如果一切順利,我就要開始考慮如何在外殼內部設置氣源的問題了。

      另外,本周六我去考了一場托福,這周也付出了一些時間來進行准備,但是感覺並不十分理想,希望結果不要太糟吧。

 

常用系統與鏈接/LINK

湖北省武汉市洪山区珞喻路1037号 华中科技大学启明学院 邮编:430074   电话:027-87558300 027-87793421   传真:027-87793423  邮箱:qiming@hust.edu.cn