菜单

HTML 5 Video, Canvas, ECMAScript 6

2019年2月16日 - Html/Html5

HTML5:使用Canvas实时处理Video

2015/09/11 · HTML5 ·
Canvas

本文由 伯乐在线
cucr
翻译,唐尤华
校稿。未经许可,禁止转发!
英文出处:mozilla。欢迎插足翻译组

结合HTML5下的videocanvas的法力,你可以实时处理视频数据,为正值播放的摄像添加各类各个的视觉效果。本学科演示怎么着采纳JavaScript代码完结chroma-keying特效(也被称作“黑灰荧屏效应”)。

请看这一个实例.

HTML 5 Video, Canvas, ECMAScript 6

文档内容

正文使用的XHTML文档如下所示。

XHTML

<!DOCTYPE html PUBLIC “-//W3C//DTD XHTML 1.0 Transitional//EN”
http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"&gt; <html
xmlns=”http://www.w3.org/1999/xhtml"&gt; <head> <style> body
{ background: black; color:#CCCCCC; } #c2 { background-image:
url(foo.png); background-repeat: no-repeat; } div { float: left; border
:1px solid #444444; padding:10px; margin: 10px; background:#3B3B3B; }
</style> <script type=”text/javascript;version=1.8″
src=”main.js”></script> </head> <body
onload=”processor.doLoad()”> <div> <video id=”video”
src=”video.ogv” controls=”true”/> </div> <div> <canvas
id=”c1″ width=”160″ height=”96″/> <canvas id=”c2″ width=”160″
height=”96″/> </div> </body> </html>

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
        "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
  <head>
    <style>
      body {
        background: black;
        color:#CCCCCC;
      }
      #c2 {
        background-image: url(foo.png);
        background-repeat: no-repeat;
      }
      div {
        float: left;
        border :1px solid #444444;
        padding:10px;
        margin: 10px;
        background:#3B3B3B;
      }
    </style>
    <script type="text/javascript;version=1.8" src="main.js"></script>
  </head>
 
  <body onload="processor.doLoad()">
    <div>
      <video id="video" src="video.ogv" controls="true"/>
    </div>
    <div>
      <canvas id="c1" width="160" height="96"/>
      <canvas id="c2" width="160" height="96"/>
    </div>
  </body>
</html>

上述代码关键部分如下:

1.创造了三个canvas元素,ID分别为c1和c2。c1用以体现当前帧的原始摄像,c2是用来展现执行chroma-keying特效后的视频;c2预加载了一叶昭君态图片,将用来代表视频中的背景象部分。
2.JavaScript代码从main.js文件导入;那段脚本使用JavaScript
1.8的性状,所以在导入脚本时,第二2行中钦赐了版本。
3.当网页加载时,main.js中的processor.doLoad()方法会运行。

<html>
<head>
<title>HTML5 Video+Canvas with ECMAScript 6</title>
<script>
class Position{
    static caculate(obj){
        let x = 0, y = 0;
        if(obj.offsetLeft && obj.offsetTop){
            x = obj.offsetLeft, y = obj.offsetTop;
        }
        let p;
        if(obj.parentNode){
            p = Position.caculate(obj.parentNode);
            x = x + p.x, y = y + p.y;
        }
        return {'x': x, 'y': y};
    }
}
class Player{
    constructor(w = 640, h = 360){
        this.w = w, this.h = h;
        this.video  = document.createElement('video');
        this.canvas = document.createElement('canvas');
        //document.body.appendChild(this.player);
        document.body.appendChild(this.canvas);
        this.video.id       = 'objPlayer'
        this.video.width    = this.w;
        this.video.height   = this.h;
        this.canvas.id      = 'objCanvas'
        this.canvas.style.position  = 'absolute';
        this.canvas.width   = this.w;
        this.canvas.height  = this.h;
        let p = Position.caculate(this.video);
        this.canvas.style.left  = p.x;
        this.canvas.style.top   = p.y;
        this.canvas.style.zIndex    = 1000;
    }
    load(url){
        this.video.src = url;
    }
    play(){
        this.video.play();
    }
    capture(){
        this.canvas.getContext('2d').drawImage(this.video, 0, 0, this.w, this.h);
    }
    record(speed){
        this.timer = window.setInterval(() => {
            this.capture();
        }, 1000/speed);
    }
}

var player;
document.onreadystatechange = function(e){
    if(document.readyState == 'complete'){
        //console.log('ready');
        player = new Player(640, 360);
        player.load('/Users/Hao/Downloads/ReshmaSaujani_2016-480p.mp4');
        player.play();
        player.record(15);
    }
}
</script>
</head>
<body>
</body>
</html>

JavaScript代码

main.js中的JS代码包涵多少个章程。

初始化chroma-key

doLoad()方法在XHTML文档发轫加载时调用。这些办法的成效是为chroma-key处理代码准备所需的变量,设置一个事件侦听器,当用户起初广播摄像时大家能检测到。

JavaScript

doLoad: function() { this.video = document.getElementById(“video”);
this.c1 = document.getElementById(“c1”); this.ctx1 =
this.c1.getContext(“2d”); this.c2 = document.getElementById(“c2”);
this.ctx2 = this.c2.getContext(“2d”); let self = this;
this.video.addEventListener(“play”, function() { self.width =
self.video.videoWidth / 2; self.height = self.video.videoHeight / 2;
self.timerCallback(); }, false); },

1
2
3
4
5
6
7
8
9
10
11
12
13
doLoad: function() {
    this.video = document.getElementById("video");
    this.c1 = document.getElementById("c1");
    this.ctx1 = this.c1.getContext("2d");
    this.c2 = document.getElementById("c2");
    this.ctx2 = this.c2.getContext("2d");
    let self = this;
    this.video.addEventListener("play", function() {
        self.width = self.video.videoWidth / 2;
        self.height = self.video.videoHeight / 2;
        self.timerCallback();
      }, false);
  },

那段代码获取XHTML文档中video成分和五个canvas成分的引用,还拿到了三个canvas的图纸上下文的引用。这一个将在大家已毕chroma-keying特效时行使。

add伊芙ntListener()监听video成分,当用户按下摄像上的播放按钮时被调用。为了回应用户回放,那段代码获取摄像的宽度和高度,并且减半(大家将在推行chroma-keying效果时将录制的轻重缓急减半),然后调用timerCallback()方法来运维摄像捕捉和视觉效果计算。

定时器回调

定时器回调函数在摄像早先广播时被调用(当“播放”事件暴发时),然后负责本人周期调用,为每一帧摄像完成keying特效。

JavaScript

timerCallback: function() { if (this.video.paused || this.video.ended) {
return; } this.computeFrame(); let self = this; setTimeout(function () {
self.timerCallback(); }, 0); },

1
2
3
4
5
6
7
8
9
10
timerCallback: function() {
    if (this.video.paused || this.video.ended) {
      return;
    }
    this.computeFrame();
    let self = this;
    setTimeout(function () {
        self.timerCallback();
      }, 0);
  },

回调函数首先检查视频是或不是正在播放;要是没有,回调函数不做别的事并立时回去。

接下来调用computeFrame()方法,该方法对当前摄像帧执行chroma-keying特效。

回调函数做的最后一件事就是调用setTimeout(),来让它自身尽快地被重新调用。在实事求是环境中,你大概会依据视频的帧率来安装调用频率。

拍卖视频帧数据

computeFrame()方法,如下所示,实际上负责抓取每一帧的数据和实践chroma-keying特效。

JavaScript

computeFrame: function() { this.ctx1.drawImage(this.video, 0, 0,
this.width, this.height); let frame = this.ctx1.getImageData(0, 0,
this.width, this.height); let l = frame.data.length / 4; for (let i = 0;
i < l; i++) { let r = frame.data[i * 4 + 0]; let g = frame.data[i
* 4 + 1]; let b = frame.data[i * 4 + 2]; if (g > 100 && r >
100 && b < 43) frame.data[i * 4 + 3] = 0; }
this.ctx2.putImageData(frame, 0, 0); return; }

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
computeFrame: function() {
    this.ctx1.drawImage(this.video, 0, 0, this.width, this.height);
    let frame = this.ctx1.getImageData(0, 0, this.width, this.height);
    let l = frame.data.length / 4;
 
    for (let i = 0; i < l; i++) {
      let r = frame.data[i * 4 + 0];
      let g = frame.data[i * 4 + 1];
      let b = frame.data[i * 4 + 2];
      if (g > 100 && r > 100 && b < 43)
        frame.data[i * 4 + 3] = 0;
    }
    this.ctx2.putImageData(frame, 0, 0);
    return;
  }

当它被调用后,video成分将显得近年来的录制帧数据,如下所示:

图片 1

在第3行,摄像帧被复制到第2个canvas
ctx1的图纸上下文中,中度和增幅值钦命为大家事先封存的帧大小的1/2。注意,您可以透过传递video成分到绘图上下文的drawImage()方法来绘制当前视频帧。其结果是:

图片 2

第三行代码通过调用第一个canvas上下文的getImageData()方法,来博取原始图像数据当前录制帧的一个副本。它提供了本来的三十六人像素图像数据,那样大家就可见举行操作。第6行代码通过将帧图像数据的里程度除以4,来测算图像的总像素数。

第六行代码循环扫描全体像素,获取每种像素的红、绿、蓝值,同时和预订义的背景观进行比较,那个背景象将用foo.png中导入的背景图像替换。

被检测成背景的每2个像素,将它的阿尔法值替换为零,评释该像素是截然透明的。结果,最后的图像背景有个别是百分百晶莹剔透的,那样在第23行代码,把它被绘制到目的的上下文中时,效果是内容叠加到静态背景上。

因而发出的图像看起来像那样:

图片 3

在摄像播放时往往那样做,那样一帧接一帧处理,呈现出chroma-key的特效。

请看这些实例。

1 赞 1 收藏
评论

关于笔者:cucr

图片 4

乐乎博客园:@hop_ping
个人主页
·
作者的稿子
·
17

图片 5

相关文章

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图