erlang语言

想着把node.js也搬上博客了,就再装逼一点来点erlang吧。
“whisper”中国版-“耳语”公司的后端语言是erlang。我与“耳语”的联系其实也是挺有意思的。 我认识一位师兄在“耳语”做运营,我参加过“耳语”的线下活动,跟技术经理王宇成聊过,那次谈话让我受益匪浅。之后我投了“耳语”的简历,再跟大牛通话过一次,那次他给了我笔试题,两道。 拿到题我立马跑去图书馆借了一本《Erlang程序设计》,花了三天把答案发了回去。大牛回邮件问我什么时间有空,再通一次电话。我回复了他,结果我等了一个礼拜也没收到电话,我甚至再给他发邮件问他我是否还有实习机会。一直没收到回复,然后就没有然后了。。。。。。

Erlang:

“是一种通用的并行程序设计语言,运作于虚拟机的解释型语言,Erlang也支持脚本方式执行。在程序设计范型上,Erlang属于多重范型编程语言,涵盖函数式、并行及分布式。循序运行的Erlang是一个及早求值, 单次赋值和动态类型的函数式编程语言。”---维基百科

面向并发?

“Erlang的并发特性源自语言本身而非操作系统。它把现实世界模拟成一系列的进程,期间仅靠交换消息进行互动,由此Erlang简化了并行编程。在Erlang的世界中,存在并行进程但是没有锁,没有同步方法,也不存在共享内存污染的可能,因为Erlang根本没有共享内存。 Eralng程序可以有几百万个超轻量级的进程组成。这些进程可惜运行在单处理器、多核处理器或者多处理网络上。”---《Erlang程序设计》

好了,这也是一门很“牛”的语言。我在入门的时候一开始没有适应“函数式编程”的习惯。 下面贴两道题: 第一道:列表交叉

-module (interleave).
-export ([main/0]).
% -compile(export_all).

%   interleave.erl 
%   主程序入口:main()  interleave:main().
%   通过修改MyList获得更多测试

loop(0,_)->
    [];
loop(Num,TempList)->
    %得到递归的列表
    N=[Tx||[_|Tx]<-TempList],
    %取子列表的头
    [Hx||[Hx|_]<-TempList]++loop(Num-1,N).

main() ->
    %MyList可以任意
    MyList=[[1,2,3],[4],[5,6,7,8]],
    io:format("Old list:~w~n",[MyList]),
    %%由最长子列表,确定循环次数 
    Num=length(lists:max(MyList)),
    NewList=loop(Num,MyList),
    io:format("New list:~w~n",[NewList]).

python代码无压力:

l=[[1,2,3],[4],[5,6,7,8]]
new_l=[]
for x in xrange(len(max(l))):
    new_l.extend(map(lambda x:x and x.pop(0),l))
print [x for x in new_l if x !=[]]

第二道:5个立方数

-module (cube).
-export ([main/0]).
% -compile(export_all).

%   cube.erl 
%   主程序入口:main()  cube:main().
%   启用进程字典 用来加快速度

split(N)->
    %将数字转成列表
    lists:map(fun(X)->X-48 end,integer_to_list(N)).

loop(Num)->
    Cube=Num*Num*Num,
    %为保证速度 启用进程字典 key--数字序列 通过排序保证相同的key 
    Key=lists:sort(split(Cube)),
    Temp=case get(Key) of
        undefined->[];
        L->L
    end,
    %在key相同的情况下 保证value列表元素的增加 
    %L是先前的列表结果 所以知道列表元素是从前面添加的
    Value=[Cube|Temp],
    if
        %length若为5 则为所求
        length(Value)==5->
            %将Value倒置就能取到最大值
            io:format("The smallest cube five permutations:~w~n",[lists:last(Value)]),
            init:stop();
        true->
            %length<5则继续增加Value的length,同时更新C(key)对应的value
            put(Key,Value),
            loop(Num+1)
    end.
 
main()->
    %节省时间 从405开始 
    loop(405).
    

node.js入门与介绍

关于“node.js”基本概念请自行Google搜索,先推荐"知乎"的一个问答使用 Node.js 的优势和劣势都有哪些? 因为最近在阅读网络编程相关,必须的弄明白服务器的相关知识,就周边的了解了一下node.js。 这个很厉害:

传统的网络服务技术,是每个新增一个连接(请求)便生成一个新的线程,这个新的线程会占用系统内存,最终会占掉所有的可用内存。而 Node.js 仅仅只运行在一个单线程中,使用非阻塞的异步 I/O 调用,所有连接都由该线程处理,在 libuv 的加分下,可以允许其支持数万并发连接(全部挂在该线程的事件循环中)。 `

关于异步:


/*
异步调用思想
*/
function Person () {
    this.think=function (callback) {
        setTimeout(function () {console.log('thinking....');callback()
        },5000);
    }
    this.answer=function () {
        console.log('I am answering other question');
    }   
}
var person=new Person();
person.think(function () {
    console.log('thinking 5 second,get the right answer!')
});
person.answer();

hello world:

/*
开启http服务器
*/
var http=require('http');
http.createServer(function (rep,res) {
    res.writeHead(200,{'Content-Type':'text/plain'});
    res.end('Hello World\n');
}).listen(1337,"127.0.0.1");

console.log('Server running at http://127.0.0.1:1337');

基础概念和知识以后再续。

《tcp/ip网络编程技术基础》阅读小记

在此本书中关于各种服务器的设计都有很清楚的解释,此书的编程实现是c语言 LINUX平台。
主要基本知识关于进程、线程,进线程通信,和SOCKET编程接口介绍。
关于各种服务器的基本设计代码在此不呈现了。
我选了两个我不太清楚的概念“线程池”和“Epoll”进行介绍。

线程池:

“一种成熟的线程使用模式。 实现有领导者与跟随者模式,半同步半异步模式。
线程池的伸缩性对性能有较大的影响。
创建太多线程,将会浪费一定的资源,有些线程未被充分使用。
销毁太多线程,将导致之后浪费时间再次创建它们。
创建线程太慢,将会导致长时间的等待,性能变差。
销毁线程太慢,导致其它线程资源饥饿。”---维基百科
本书定义:一个用来存放“线程”的对象池。在程序中,如果某个创建某种对象所需要的代价太高,同时整个对象又可以反复使用,那么往往就可以准备一个容器来保存一批这样的对象。当需要时,就从该容器中挑选一个现成的对象。

主要有两种线程:一类是监视和维护线程池尺寸-值守进程;一类是完成具体应用服务-工作线程
图片展示:

Epoll

"epoll是Linux内核为处理大批量文件描述符而作了改进的poll,是Linux下多路复用IO接口select/poll的增强版本,它能显著提高程序在大量并发连接中只有少量活跃的情况下的系统CPU利用率。另一点原因就是获取事件的时候,它无须遍历整个被侦听的描述符集,只要遍历那些被内核IO事件异步唤醒而加入Ready队列的描述符集合就行了。epoll除了提供select/poll那种IO事件的电平触发(Level Triggered)外,还提供了边沿触发(Edge Triggered),这就使得用户空间程序有可能缓存IO状态,减少epoll_wait/epoll_pwait的调用,提高应用程序效率。"---百度百科

总结一下“Epoll”相较于select的优势:
1.socket描述符数目:Epoll所支持的socket描述符上限是最大可以打开文件的数目,该数字一般远大于2048,而select调用限制的。
2.句柄:Epoll采用事件响应,而select选择句柄时则采用遍历。(句柄:一种特殊的智能指针 。当一个应用程序要引用其他系统(如数据库、操作系统)所管理的内存块或对象时,就要使用句柄)

线程间同步和通信

本文是线程同步通信的基础知识,关于线程的基本知识,可以参考“操作系统‘的教材。
主要实现代码是关于:pthread的使用,互斥锁,条件变量
互斥锁与条件变量:
普通的 mutex 只允许一个线程进入临界区,就是拿到mutex这把锁的线程,而cond 允许多个线程同时进入临界区,由它来控制,在某些条件成立的时候,来唤醒其中一个等待着的线程,或者是唤醒所有等待着的线程。
代码实现环境:linux c gcc 编译
API:posix 线程维基百科

代码1 pthread 使用

#include 
#include
#include
#include

static void wait(void)
{
time_t start_time = time(NULL);

while (time(NULL) == start_time)
{
/* do nothing except chew CPU slices for up to one second */
}
}

static void *thread_func(void *vptr_args)
{
int i;

for (i = 0; i < 20; i++)
{
fputs(" b\n", stderr);
wait();
}

return NULL;
}

int main(void)
{
int i;
pthread_t thread;

if (pthread_create(&thread, NULL, thread_func, NULL) != 0)
{
return EXIT_FAILURE;
}

for (i = 0; i < 20; i++)
{
puts("a");
wait();
}

if (pthread_join(thread, NULL) != 0)
{
return EXIT_FAILURE;
}

return EXIT_SUCCESS;
}

代码2:互斥锁:

#include 
#include

pthread_mutex_t mutex ;
void *print_msg(void *arg){
int i=0;
pthread_mutex_lock(&mutex);
for(i=0;i<15;i++){
printf("output : %d\n",i);
sleep(100);
}
pthread_mutex_unlock(&mutex);
}
int main(int argc,char** argv){
pthread_t id1;
pthread_t id2;
pthread_mutex_init(&mutex,NULL);
pthread_create(&id1,NULL,print_msg,NULL);
pthread_create(&id2,NULL,print_msg,NULL);
pthread_join(id1,NULL);
pthread_join(id2,NULL);
pthread_mutex_destroy(&mutex);
return 1;
}

代码3:条件变量:

#include 
#include
#include

pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;/*初始化互斥锁*/
pthread_cond_t cond = PTHREAD_COND_INITIALIZER;/*初始化条件变量*/

void *thread1(void *);
void *thread2(void *);

int i=1;
int main(void)
{
pthread_t t_a;
pthread_t t_b;

pthread_create(&t_a,NULL,thread2,(void *)NULL);/*创建进程t_a*/
pthread_create(&t_b,NULL,thread1,(void *)NULL); /*创建进程t_b*/
pthread_join(t_b, NULL);/*等待进程t_b结束*/
pthread_mutex_destroy(&mutex);
pthread_cond_destroy(&cond);
exit(0);
}

void *thread1(void *junk)
{
for(i=1;i<=9;i++)
{
pthread_mutex_lock(&mutex);/*锁住互斥量*/
if(i%3==0)
pthread_cond_signal(&cond);/*条件改变,发送信号,通知t_b进程*/
else
printf("thead1:%d \n",i);
pthread_mutex_unlock(&mutex);/*解锁互斥量*/
sleep(1);
}
}

void *thread2(void *junk)
{
while(i<9)
{
pthread_mutex_lock(&mutex);
if(i%3!=0)
pthread_cond_wait(&cond,&mutex);/*等待*/
printf("thread2:%d\n",i);
pthread_mutex_unlock(&mutex);
sleep(1);
}
}

底层学习路线图

上个礼拜六,与“耳语”产品经理聊天,引发了我的很多思考。
“python的垃圾回收机制底层是怎么实现的?”
----这个问题困扰了我,于是这两天,我不断搜集资料,才对此有了一点点了解。
这之后,我决定开始好好地研究一下底层。
借助chrome的应用"思维导图"我画了如下学习路线图,以此来作为学习导向。