吴文洁

Garden of Eden 自由 平等 尊重

BIG_DATA杂谈(1)-简单的hadoop伪分布式配置与测试

| Comments

前言

  • Big Data and AI’s age has coming!
  • 面对海量的数据,传统方式已无法满足用户高效地使用和处理数据了。
  • hadoop的意义非同一般,它赋予了人们面对bigdata的信心和能力,同时也开创了一个时代,
  • 它是一个可靠的、可扩展的、分布式的计算框架,给予人们PB级的计算处理能力。
  • Doug Cutting根据谷歌公司发表的MapReduce和GFS的论文自行实现而成。
  • 诞生历史:Lucene (1999) –> Nutch (2003) –> hadoop (2011)

解决android Sdk manager更新–使用JAVA SOCK代理选项

| Comments

前言

  • 我国一直努力地去做互联网的强国。1
  • android sdk manager 无法正常更新,国情如此。
  • android开发者急需新版的SDK,以跟上时代。

普通方法

  • 普遍的方法是改SDK manager的http proxy。
  • 之前用过几个地址,效果不佳,大概是失效了。

我的解决方法

  • 以linux版为例
  • 启动sdk manager 其实是执行SDK目录下/tools/android
  • 它其实是一个可执行的shell脚本。

[转]Facebook加速deep-learning研发

| Comments

引言

  • 大数据时代的到来是无可质疑的,但挖掘数据背后的秘密才更具价值。
  • 深度学习,受益于大数据的出现和大规模计算能力的提升,它是开启未来的钥匙。

文章简介

  • 转载的文章是Keith Adams的一份第八届超大数据库会议(XLDB2015)报告。
  • 报告简述了深度学习的所遇到的困难问题与解决方法。
  • 转载文章自infoq,作者张天雷,有删改。

Nginx二级目录配置–交由php处理

| Comments

nginx?

  • 10年前,一款由俄罗斯程序员开发轻量级的代理服务器出现。
  • 如今,nginx由于性能出色,应用广泛,受到了越来越多的关注。

nginx二级目录配置

  • 场景
  • 无域名
  • 访问/,显示blog主页
  • 访问/bbs(二级目录),显示php写的论坛主页

  • ngnix配置文件及详解

K-means聚类的应用

| Comments

K-means 简介

  • K-means算法(k-means clustering):一种适用于大样本的无监督式的聚类分析方法。
  • 我对算法基本原理的理解:
  • 1.随机初始化k个聚类中心,也可以指定聚类中心。
  • 2.计算样本与聚类中心的距离,将样本划分到最近的聚类中心的类里。
  • 3.划分完毕后,计算每个类新的聚类中心,可以采用不同算法计算。
  • 4.如果新的聚类中心没有变化,算法结束;如果有变化,goto 2、3。

K-means 应用

  • 由于它流行于数据挖掘领域,常用来探索未知客群的结构。
  • 在划分问题中,作为预处理工作,划分出了大致类别,然后可探究类内特性和差异。
  • 其他:可以用作一种剔除算法、向量的量化、特征学习

K-means 的 R 实践

  • 使用R语言使用K-means算法快捷方便。

R语言简介

| Comments

R?

  • 1993年R诞生了,而其前者S语言早在1975年的贝尔实验室就被研发出来了。
  • R是GNU计划的一个项目,是S的开源实现,所以亦称为GNU s。
  • R是优秀的计算、绘图、统计分析系统,此外由用户撰写的包使得其功能更为强大。

[改]Java Native Interface 播放MP3

| Comments

前言与背景

  • JAVA对多媒体的处理能力较弱,但JNI给了我们一扇逃生门(”escape hatch”)
  • JNI提供给Java调用C语言、C++或被C、C++调用的功能
  • 使得JAVA可以使用丰富的C、C++库,而且本地方法使程序运行更快

如何播放MP3呢?

  • 利用JNI调用著名的GStreamer流式多媒体框架进行播放。
  • 它采用插件(plugin)和管道(pipeline)的体系结构,可以像搭积木一样简单地创建多媒体应用。
  • 并且GStreamer提供众多插件,易于扩展,以后可以考虑用Java播放视频。