CMOS器件的基本原理及结构 elisa的基本原理

CMOS器件的基本原理及结构

CMOS器件：就是CMOS传感器 CMOS(Complementary Metal-Oxide-Semiconductor)，中文学名为互补金属氧化物半导体，它本是计算机系统内一种重要的芯片，保存了系统引导最基本的资料。其原理是利用硅和锗这两种元素所做成的半导体，使其在CMOS上共存着带N（带-电） 和 P（带 电）级的半导体，这两个互补效应所产生的电流即可被处理芯片纪录和解读成影像。
　　　　CMOS传感器也可细分为被动式像素传感器(Passive Pixel Sensor CMOS)与主动式像素传感器(Active Pixel Sensor CMOS)。

　　CMOS传感器按为像素结构分被动式与主动式两种。
　　被动式 ：又叫无源式。它由一个反向偏置的光敏二极管和一个开关管构成。光敏二极管本质上是一个由P型半导体和N型半导体组成的PN结，它可等效为一个反向偏置的二极管和一个MOS电容并联。当开关管开启时，光敏二极管与垂直的列线（Column bus）连通。位于列线末端的电荷积分放大器读出电路（Charge integrating amplifier）保持列线电压为一常数，当光敏二极管存贮的信号电荷被读出时，其电压被复位到列线电压水平，与此同时，与光信号成正比的电荷由电荷积分放大器转换为电荷输出。
　　主动式： 主动式像素结构（Active Pixel Sensor.简称APS），又叫有源式，如图2所示. 几乎在CMOS PPS像素结构发明的同时，人们很快认识到在像素内引入缓冲器或放大器可以改善像素的性能，在CMOS APS中每一像素内都有自己的放大器。集成在表面的放大晶体管减少了像素元件的有效表面积，降低了“封装密度”，使40%～50%的入射光被反射。这种传感器的另一个问题是，如何使传感器的多通道放大器之间有较好的匹配，这可以通过降低残余水平的固定图形噪声较好地实现。由于CMOS APS像素内的每个放大器仅在此读出期间被激发，所以CMOS APS的功耗比CCD图像传感器的还小。

elisa的基本原理

ELISA的原理：
ELISA的基础是抗原或抗体的固相化及抗原或抗体的酶标记。结合在固相载体表面的抗原或抗体仍保持其免疫学活性，酶标记的抗原或抗体既保留其免疫学活性，又保留酶的活性。
进行检测时，样品中的受检物质（抗原或抗体）与固定的抗体或抗原结合。通过洗板除去非结合物，再加入酶标记的抗原或抗体，此时，能固定下来的酶量与样品中被检物质的量相关。通过加入与酶反应的底物后显色，根据颜色的深浅可以判断样品中物质的含量，进行定性或定量的分析。
由于酶的催化效率很高，间接地放大了免疫反应的结果，使测定方法达到很高的灵敏度。
1971年Engvall和Perlmann发表了酶联免疫吸附测定（enzymelinkedimmunosorbentassay, ELISA）用于IgG定量测定的文章，使得1966年用于抗原定位的酶标抗体技术发展成液体标本中微量物质的测定方法。
ELISA可用于测定抗原，也可用于测定抗体。这种测定方法中有3种必要的试剂：
1.  固相的抗原或抗体；
2.  酶标记的抗原或抗体；

3.  酶作用的底物。

根据试剂的来源和标本的性状及检测的具备条件，可设计出各种不同类型的检测方法。

Spark技术的核心是什么？优势有哪些？

Spark是基于内存，是云计算领域的继Hadoop之后的下一代的最热门的通用的并行计算框架开源项目，尤其出色的支持Interactive Query、流计算、图计算等。
Spark在机器学习方面有着无与伦比的优势，特别适合需要多次迭代计算的算法。同时Spark的拥有非常出色的容错和调度机制，确保系统的稳定运行，Spark目前的发展理念是通过一个计算框架集合SQL、Machine Learning、Graph Computing、Streaming Computing等多种功能于一个项目中，具有非常好的易用性。
目前SPARK已经构建了自己的整个大数据处理生态系统，如流处理、图技术、机器学习、NoSQL查询等方面都有自己的技术，并且是Apache顶级Project，可以预计的是2014年下半年在社区和商业应用上会有爆发式的增长。
Spark最大的优势在于速度，在迭代处理计算方面比Hadoop快100倍以上；Spark另外一个无可取代的优势是：“One Stack to rule them all”，Spark采用一个统一的技术堆栈解决了云计算大数据的所有核心问题，这直接奠定了其一统云计算大数据领域的霸主地位；

如何解释spark mllib中ALS算法的原理

整理一下自己的理解。
对于一个users-products-rating的评分数据集，ALS会建立一个user*product的m*n的矩阵
其中，m为users的数量，n为products的数量
但是在这个数据集中，并不是每个用户都对每个产品进行过评分，所以这个矩阵往往是稀疏的，用户i对产品j的评分往往是空的
ALS所做的事情就是将这个稀疏矩阵通过一定的规律填满，这样就可以从矩阵中得到任意一个user对任意一个product的评分，ALS填充的评分项也称为用户i对产品j的预测得分
所以说，ALS算法的核心就是通过什么样子的规律来填满（预测）这个稀疏矩阵
它是这么做的：
假设m*n的评分矩阵R，可以被近似分解成U*(V)T
U为m*d的用户特征向量矩阵
V为n*d的产品特征向量矩阵（(V)T代表V的转置，原谅我不会打转置这个符号。。）
d为user/product的特征值的数量

关于d这个值的理解，大概可以是这样的
对于每个产品，可以从d个角度进行评价，以电影为例，可以从主演，导演，特效，剧情4个角度来评价一部电影，那么d就等于可以认为，每部电影在这4个角度上都有一个固定的基准评分值
例如《末日崩塌》这部电影是一个产品，它的特征向量是由d个特征值组成的
d=4，有4个特征值，分别是主演，导演，特效，剧情
每个特征值的基准评分值分别为（满分为1.0）：
主演：0.9（大光头还是那么霸气）
导演：0.特效：0.剧情：0.矩阵V由n个product*d个特征值组成

对于矩阵U，假设对于任意的用户A，该用户对一部电影的综合评分和电影的特征值存在一定的线性关系，即电影的综合评分=(a1*d1 a2*d2 a3*d3 a4*d4)
其中a1-4为用户A的特征值，d1-4为之前所说的电影的特征值
参考：
协同过滤中的矩阵分解算法研究

那么对于之前ALS算法的这个假设
m*n的评分矩阵R，可以被近似分解成U*(V)T
就是成立的，某个用户对某个产品的评分可以通过矩阵U某行和矩阵V（转置）的某列相乘得到

那么现在的问题是，如何确定用户和产品的特征值？（之前仅仅是举例子，实际中这两个都是未知的变量）
采用的是交替的最小二乘法
在上面的公式中，a表示评分数据集中用户i对产品j的真实评分，另外一部分表示用户i的特征向量（转置）*产品j的特征向量（这里可以得到预测的i对j的评分）在上面的公式中，a表示评分数据集中用户i对产品j的真实评分，另外一部分表示用户i的特征向量（转置）*产品j的特征向量（这里可以得到预测的i对j的评分）
用真实评分减去预测评分然后求平方，对下一个用户，下一个产品进行相同的计算，将所有结果累加起来（其中，数据集构成的矩阵是存在大量的空打分，并没有实际的评分，解决的方法是就只看对已知打分的项）
参考：
ALS 在 Spark MLlib 中的实现
但是这里之前问题还是存在，就是用户和产品的特征向量都是未知的，这个式子存在两个未知变量

解决的办法是交替的最小二乘法
首先对于上面的公式，以下面的形式显示：
为了防止过度拟合，加上正则化参数为了防止过度拟合，加上正则化参数
首先用一个小于1的随机数初始化V首先用一个小于1的随机数初始化V
根据公式（4）求U
此时就可以得到初始的UV矩阵了，计算上面说过的差平方和
根据计算得到的U和公式（5），重新计算并覆盖V，计算差平方和
反复进行以上两步的计算，直到差平方和小于一个预设的数，或者迭代次数满足要求则停止
取得最新的UV矩阵
则原本的稀疏矩阵R就可以用R=U(V)T来表示了
以上公式内容截图来自：
基于矩阵分解的协同过滤算法

总结一下：
ALS算法的核心就是将稀疏评分矩阵分解为用户特征向量矩阵和产品特征向量矩阵的乘积
交替使用最小二乘法逐步计算用户/产品特征向量，使得差平方和最小
通过用户/产品特征向量的矩阵来预测某个用户对某个产品的评分

不知道是不是理解正确了
有几个问题想请教一下~
（1）在第一个公式中加入正则化参数是啥意思？为什么是那种形态的？
（2）固定一个矩阵U，求偏导数之后可以得到求解V的公式，为什么？

有什么关于 Spark 的书推荐

《Spark大数据处理技术》以Spark 0.9版本为基础进行编写，是一本全面介绍Spark及Spark生态圈相关技术的书籍，是国内首本深入介绍Spark原理和架构的技术书籍。主要内容有Spark基础功能介绍及内部重要模块分析，包括部署模式、调度框架、存储管理以及应用监控；同时也详细介绍了Spark生态圈中其他的和模块，包括SQL处理引擎Shark和Spark SQL、流式处理引擎Spark Streaming、图计算框架Graphx以及分布式内存文件系统Tachyon。《Spark大数据处理技术》从概念和原理上对Spark核心框架和生态圈做了详细的解读，并对Spark的应用现状和未来发展做了一定的介绍，旨在为大数据从业人员和Spark爱好者提供一个更深入学习的。
《Spark大数据处理技术》适合任何大数据、Spark领域的从业人员阅读，同时也为架构师、开发工程师和大数据爱好者展现了一个现代大数据框架的架构原理和实现细节。相信通过学《Spark大数据处理技术》，读者能够熟悉和掌握Spark这一当前流行的大数据框架，并将其投入到生产实践中去。
《Spark大数据处理：技术、应用与性能优化》根据最新技术版本，系统、全面、详细讲解Spark的各项功能使用、原理机制、技术细节、应用方法、性能优化，以及BDAS生态系统的相关技术。
通过上面两本熟悉Spark的原理架构以及应用，想深入学习的话，还有《Apache Spark源码剖析》，它全面、系统地介绍了Spark源码，深入浅出。