标签归档:Google

深度学习主机环境配置: Ubuntu16.04+GeForce GTX 1080+TensorFlow

Deep Learning Specialization on Coursera

接上文《深度学习主机环境配置: Ubuntu16.04+Nvidia GTX 1080+CUDA8.0》,我们继续来安装 TensorFlow,使其支持GeForce GTX 1080显卡。

1 下载和安装cuDNN

cuDNN全称 CUDA Deep Neural Network library,是NVIDIA专门针对深度神经网络设计的一套GPU计算加速库,被广泛用于各种深度学习框架,例如Caffe, TensorFlow, Theano, Torch, CNTK等。

The NVIDIA CUDA® Deep Neural Network library (cuDNN) is a GPU-accelerated library of primitives for deep neural networks. cuDNN provides highly tuned implementations for standard routines such as forward and backward convolution, pooling, normalization, and activation layers. cuDNN is part of the NVIDIA Deep Learning SDK.

Deep learning researchers and framework developers worldwide rely on cuDNN for high-performance GPU acceleration. It allows them to focus on training neural networks and developing software applications rather than spending time on low-level GPU performance tuning. cuDNN accelerates widely used deep learning frameworks, including Caffe, TensorFlow, Theano, Torch, and CNTK. See supported frameworks for more details.

首先需要下载cuDNN,直接从Nvidia官方下载链接选择一个版本,不过下载cuDNN前同样需要登录甚至填写一个简单的调查问卷: https://developer.nvidia.com/rdp/cudnn-download,这里选择的是支持CUDA8.0的cuDNN v5版本,而支持CUDA8的5.1版本虽然显示在下载选择项里,但是提示:cuDNN 5.1 RC for CUDA 8RC will be available soon - please check back again.

屏幕快照 2016-07-17 上午11.17.39

安装cuDNN比较简单,解压后把相应的文件拷贝到对应的CUDA目录下即可:

tar -zxvf cudnn-8.0-linux-x64-v5.0-ga.tgz

cuda/include/cudnn.h
cuda/lib64/libcudnn.so
cuda/lib64/libcudnn.so.5
cuda/lib64/libcudnn.so.5.0.5
cuda/lib64/libcudnn_static.a

sudo cp cuda/include/cudnn.h /usr/local/cuda/include/
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64/
sudo chmod a+r /usr/local/cuda/include/cudnn.h
sudo chmod a+r /usr/local/cuda/lib64/libcudnn*

继续阅读

From Google Research Blog: Google at ACL 2011

Deep Learning Specialization on Coursera

  自然语言处理与计算语言学的盛会ACL 2011即将在美国俄勒冈州波特兰市举行,而Google Research Blog在昨天发表了一篇“Google at ACL 2011”,给大家及时通报了今年Google在ACL 2011上的参与情况。粗略的看了一下,Google今年在ACL上发表的Paper涉及Part-of-Speech Tagging, Named Entity Recognition, Context-Free Parsing, Translation等自然语言处理的基础领域,值得NLPer们一阅。我是在Google Reader上看到的,直接看原文的话在国内可能需要“翻墙”,为了给大家节省一点“翻墙”的时间以及活跃这里的气氛,以下就全文转载了!
继续阅读

MapReduce与自然语言处理

Deep Learning Specialization on Coursera

  我接触MapReduce时间不长,属于初学者的级别,本没有资格在这里谈“MapReduce与自然语言处理”的,不过这两天刚好看了IBM developerWorks上的《用 MapReduce 解决与云计算相关的 Big Data 问题》,觉得这篇文章有两大好处:第一,它有意或无意的给了读者不仅有价值而且有脉络的关于MapReduce的参考资料;第二,虽然文中没有直接谈“自然语言处理”,但是在最后的“下一步”引申中,它给关注MapReduce在文本处理的读者列出了一份与自然语言处理相关的参考资料,这些资料,相当的有价值。因此对于“MapReduce或者并行算法与自然语言处理”,结合这篇文章以及自己的一点点经验,我尝试在这里“抛砖引玉”一把,当然,仅仅是抛砖引玉。
  MapReduce是Google定义的一套并行程序设计模式(parallel programming paradigm),由两名Google的研究员Jeffrey DeanSanjay Ghemawat在2004年时提出,二人目前均为Google Fellow。所以两位Google研究员当年的论文是MapReudce学习者的必读:

'Google 工程师发表的文章 "MapReduce: Simplified Data Processing on Large Clusters" 清楚地解释了 MapReduce 的工作方式。这篇文章导致的结果是,从 2004 年到现在出现了许多开放源码的 MapReduce 实现。'

  同时在Google Labs上,有这篇文章的摘要和HTML Slides

MapReduce is a programming model and an associated implementation for processing and generating large data sets. Users specify a map function that processes a key/value pair to generate a set of intermediate key/value pairs, and a reduce function that merges all intermediate values associated with the same intermediate key. Many real world tasks are expressible in this model, as shown in the paper.

继续阅读

诗歌翻译与统计机器翻译

Deep Learning Specialization on Coursera

  Google Research Blog前几天出了一篇文章“Poetic Machine Translation”,介绍的是Google的机器翻译学者对于“诗歌”进行尝试性的机器翻译,效果比预想要好,相关的研究成果在今年的EMNLP 2010会议上的发表了一篇论文,这个会议这几天正在举行。 继续阅读

追忆大师贾里尼克

Deep Learning Specialization on Coursera

  这是Google Research Blog上的一篇文章,英文原名“Remembering Fred Jelinek”。在Google Reader上读到的,是Google的这些研究员们对于贾里尼克老先生的一些追忆和缅怀,觉得写得很好,就转载到这里了。 继续阅读

语义网新闻一则:Google收购语义网公司Metaweb

Deep Learning Specialization on Coursera

  这几天比较重磅的消息是“Google收购语义网公司Metaweb”,关于Metaweb,这里曾在《自然语言处理公司巡礼六:Metaweb》中介绍过:Metaweb是从事语义网(Semantic Web)技术开发的风险企业,目标是开发用于Web的语义数据存储的基础结构,是曾就职于原美国网景(Netscape)、英特尔以及 AlexaInternet等公司的人才聚集在一起,于2005年7月成立,总部设在美国旧金山。 继续阅读

微软:Web N-gram Services

Deep Learning Specialization on Coursera

  微软研究院的官方网站上近期发布了一篇文章:“Microsoft Web N-gram Services",大意是邀请整个社区使用其提供的"Web N-gram services",这个服务旨在通过基于云的存储平台,推动网络搜索,自然语言处理,语音技术等相关领域,在研究现实世界的大规模网络数据时,利用该服务所提供动态数据对项目中的常规数据进行补充更新,进而有所发现和创新。 继续阅读

Beautiful Data-统计语言模型的应用三:分词8

Deep Learning Specialization on Coursera

  对于一个包含n个字符的单词来说,利用语言模型进行分词的前提是首先枚举出所有的候选切分,而segment函数中:
  candidates = ( [first] + segment( rem ) for first, rem in splits( text ) )
的作用正是如此,它包含了递归调用,因此能枚举出所有的候选切分。那么,这个函数的时间复杂度是多少呢?一个包含n个字符的字符串有2^(n-1)种不同的分词方案(在字符之间有n-1个位置,每一个位置既可以作为单词边界也可以不作为边界),因此segment函数的时间复杂度为O(2^n),难怪之前的测试当字符串比较长时就跑不出结果了! 继续阅读

Google’s Python Class SOS 续 --下载

Deep Learning Specialization on Coursera

  这是”Google’s Python Class SOS“的延续,但是首先得感谢“一盆仙人球”和“wibe"两位热心读者——”仙人球“兄提供视频,而wibe则提供emule共享——以下是Google's Python Class视频的emule下载地址,请注意wibe工作日8点至下午5点在线,目前只有这一个种子,请读者下载后尽量提供给其他人继续下载,这样可以持续维持这个课程的下载了: 继续阅读