opencv调用摄像头采集图像,java调用摄像头拍照并保存

2022-07-31 10:03:32 分类：java 阅读()

　　opencv调用摄像头采集图像,java调用摄像头拍照并保存

　　00-1010环境准备制作主界面整体结构，介绍核心代码和知识点，讲解如何在JPanel中显示摄像头的图像。OpenCV调用相机用相机拍照。完整代码OpenCV util。JavaImageutils。爪哇咖啡。JavaVideoPanel。JavaTakePhotoProcess。AFaceRecognize.java JAV(core main class)随着我们对Mat的环境和基本使用越来越熟练，Java Swing也逐渐熟悉起来。今天开始进入OpenCV驱动相机的几个使用场景。

　　00-1010 1.准备好USB外置摄像头。我这里用的有两种，一种是普通的罗技相机，一种是双目相机(以后做活检用)；

　　2.Eclipse版本2021-12；

　　3.JDK 11，因为我们写swing要用Window Builder窗体设计器的插件。在Eclipse版本2021-12中，我们必须使用JDK11和；

　　4.用Windows10环境编程。当然，我们也可以使用Mac，但如果相机是在Mac下用JAVA驱动的，就有这样一个问题：即你不能在eclipse中直接调用相机，它会报告“此应用程序已崩溃，因为它试图访问隐私敏感数据，而没有使用说明”或

　　OpenCV:无权捕获视频(状态0)，请求.OpenCV:无法从其他线程旋转主运行循环，请设置OPENCV _ av foundation _ SKIP _ AUTH=1以禁用授权请求并在您的应用程序中执行它。OpenCV:摄像机无法正确初始化

　　这种错误，这些错误都是Mac OS的权限问题导致的，也就是说你没有权限在Mac下调用Mac的一些内置设备。如果你用XCode写Swift，那么你可以通过info.plist解决这个问题但是由于java main函数是在eclipse中启动的，所以在eclipse中运行和驱动Mac外设的问题目前在Mac OS下还无法解决。如果您在Mac OS中，要运行OpenCV Java并驱动相机，您必须将项目制作成可执行的jar包，并在命令窗口中使用类似java -jar的命令启动它。启动时，您的Mac OS将提示您授权此命令窗口。请点击【是】并用指纹或密码授权，然后在命令窗口再次运行java -jar opencv应用程序，就可以在Mac OS下用java驱动相机了。所以给我们的编码调试带来了很大的不便，这也是我们使用Windows S10开发opencv java的主要原因。

　　

目录

 

　　我们的主界面是Java Swing的一个JFrame应用，看起来是这样的。

　　

环境准备

 

　　我们将屏幕分为上下两个区域，布局为1024*768，自由布局，点击关闭按钮关闭程序：

　　setDefaultCloseOperation(JFrame。EXIT _ ON _ CLOSE)；setBounds(100，100，1024，768)；content pane=new JPanel()；content pane . set border(new empty border(5，5，5，5))；setContentPane(内容窗格)；content pane . set layout(null)；上部区域

　　我们使用一个名为cameraGroup的JPanel进行分组，这个JPanel也是一个自由布局。

　　JPanel camera group=new JPanel()；cameraGroup.setBounds(10，10，988，580)；content pane . add(camera group)；cameraGroup.setLayout(空)；然后，在这个cameraGroup中，从左到右放置了另外两个JPanel:

　　摄像机视频预览

　　view其中的videoCamera是自定义的JPanel

　　

protected static VideoPanel videoCamera = new VideoPanel();

它是用来显示摄像头开启时不断的把摄像头内取到的图像刷到JPanel上显示用的，代码如下：

 

　　

package org.mk.opencv; import java.awt.*;import java.awt.image.BufferedImage;import javax.swing.*; import org.mk.opencv.util.ImageUtils;import org.mk.opencv.util.OpenCVUtil;import org.opencv.core.Mat; public class VideoPanel extends JPanel { private Image image; public void setImageWithMat(Mat mat) { image = OpenCVUtil.matToBufferedImage(mat); this.repaint(); } public void SetImageWithImg(Image img) { image = img; } public Mat getMatFromImage() { Mat faceMat = new Mat(); BufferedImage bi = ImageUtils.toBufferedImage(image); faceMat = OpenCVUtil.bufferedImageToMat(bi); return faceMat; } @Override protected void paintComponent(Graphics g) { super.paintComponent(g); if (image != null) g.drawImage(image, 0, 0, image.getWidth(null), image.getHeight(null), this); } public static VideoPanel show(String title, int width, int height, int open) { JFrame frame = new JFrame(title); if (open == 0) { frame.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE); } else { frame.setDefaultCloseOperation(JFrame.DISPOSE_ON_CLOSE); } frame.setSize(width, height); frame.setBounds(0, 0, width, height); VideoPanel videoPanel = new VideoPanel(); videoPanel.setSize(width, height); frame.setContentPane(videoPanel); frame.setVisible(true); return videoPanel; }}

下部区域

 

　　下部区域我们放置了一个buttonGroup。这个buttonGroup用的是网袋布局，上面放置三个按钮。

　　

JPanel buttonGroup = new JPanel();buttonGroup.setBounds(65, 610, 710, 35);contentPane.add(buttonGroup);buttonGroup.setLayout(new GridLayout(1, 0, 0, 0));

今天我们就要实现photoButton里的功能。

 

　　说完了布局下面进入核心代码讲解。

　　

 

　　

核心代码与知识点讲解

（最后会上全代码）

 

　　

 

　　

JPanel中如何显示摄像头的图像

JPanel这种组件一般是套在JFrame的contentPanel里的（这是用图形化设计器生成的JFrame自带的一个用来盛其它组件的容器）。

 

　　contentPane大家可以认为是一种容器。它一般是这样的一层关系：

　　JFrame（我们的主类）->contentPane->我们自己的上半部JPanel->videoCamera(JPanel)。

　　在Java Swing里有一个方法叫repaint()方法，这个方法 一旦被调用，这个组件的子组件内的

　　

protected void paintComponent(Graphics g)

都会自动被依次调用一遍。

 

　　因此，我们才自定义了一个JPanel叫VideoPanel，然后我们覆写了它里面的paintComponent方法

　　

 @Override protected void paintComponent(Graphics g) { super.paintComponent(g); if (image != null) g.drawImage(image, 0, 0, image.getWidth(null), image.getHeight(null), this); }

这样，我们在我们的主类FaceRecognize里在通过摄像头得到了图像后把图像通过VideoPanel里的setImageWithMat方法set后，马上调用FaceRecognize自自的repaint方法，然后父事件一路向下传导，依次逐级把子组件进行刷新-子组件的paintComponent都会被触发一遍。

 

　　摄像头得到图像显示在videoCamera区域的过程就是：

　　不断通过FaceRecognize类里通过摄像头读到Mat对象；把Mat对象set到VideoPanel里；不断调用FaceRecognize里的repaint方法迫使VideoPanel里刷新出摄像头拍的内容；每显示一次，sleep(50毫秒）；为了取得良好的刷新、连续不断的显示效果，你可以把上述方法套在一个单线程内。

　　

 

　　

OpenCV调用摄像头

OpenCV是使用以下这个类来驱动摄像头的。

 

　　

private static VideoCapture capture = new VideoCapture();

然后打开摄像头，读入摄像头内容如下

 

　　

capture.open(0);Scalar color = new Scalar(0, 255, 0);MatOfRect faces = new MatOfRect();if (capture.isOpened()) { logger.info(">>>>>>video camera in working"); Mat faceMat = new Mat(); while (true) { capture.read(faceMat); if (!faceMat.empty()) { faceCascade.detectMultiScale(faceMat, faces); Rect[] facesArray = faces.toArray(); if (facesArray.length >= 1) { for (int i = 0; i < facesArray.length; i++) { Imgproc.rectangle(faceMat, facesArray[i].tl(), facesArray[i].br(), color, 2); videoPanel.setImageWithMat(faceMat); frame.repaint(); } } } else { logger.info(">>>>>>not found anyinput"); break; } Thread.sleep(80); }}

通过上述代码我们可以看到我上面描述的4步。

 

　　capture.open(0)代表读取你的计算机当前连接的第1个摄像头，如果在mac上运行这一句一些mac都带有内嵌摄像头的，因此这一句代码就会驱动mac的默认内置摄像头；if(capture.isOpened())，必须要有，很多网上教程跳过了这一步检测，导致摄像头一直不出内容其实最后才知道是摄像头驱动有误或者坏了，而不是代码问题，最终耗费了太多的排错时间，其实结果是换一个摄像头就好了；while(true)后跟着capture.read(faceMat)，这一句就是不断的读取摄像头的内容，并把摄像头的内容读到一个Mat对象中去；前面说了，为了让这个过程更顺滑、丝滑，我把这个过程套到了一个单线程里让它单独运行以不阻塞Java Swing的主界面。同时用绿色的方框把人脸在画面里框出来。为此我制作了一个函数如下：

　　

 public void invokeCamera(JFrame frame, VideoPanel videoPanel) { new Thread() { public void run() { CascadeClassifier faceCascade = new CascadeClassifier(); faceCascade.load(cascadeFileFullPath); try { capture.open(0); Scalar color = new Scalar(0, 255, 0); MatOfRect faces = new MatOfRect(); // Mat faceFrames = new Mat(); if (capture.isOpened()) { logger.info(">>>>>>video camera in working"); Mat faceMat = new Mat(); while (true) { capture.read(faceMat); if (!faceMat.empty()) { faceCascade.detectMultiScale(faceMat, faces); Rect[] facesArray = faces.toArray(); if (facesArray.length >= 1) { for (int i = 0; i < facesArray.length; i++) { Imgproc.rectangle(faceMat, facesArray[i].tl(), facesArray[i].br(), color, 2); videoPanel.setImageWithMat(faceMat); frame.repaint(); // videoPanel.repaint(); } } } else { logger.info(">>>>>>not found anyinput"); break; } Thread.sleep(80); } } } catch (Exception e) { logger.error("invoke camera error: " + e.getMessage(), e); } } }.start(); }

配合上我们的main方法就是这样用的：

 

　　

 public static void main(String[] args) { FaceRecognize frame = new FaceRecognize(); frame.setVisible(true); frame.invokeCamera(frame, videoCamera); }

 

　　

使用摄像头拍照

这一章节我们在OpenCV Java入门四 认出这是一张脸里其实已经讲过了，就是把一个Mat输出到一个jpg文件中。

 

　　在本篇章节中，我们为了做得效果好一点会做这么几件事：

　　等比例把摄像头拿到的Mat对象缩到videoPreview上；把摄像头当前的Mat输出到外部文件；把上述过程也套到了一个单线程里以不阻塞主类的显示界面；等比例缩放图片

　　位于ImageUtils类，它得到一个Mat，然后转成java.awt.Image对象；

　　再利用Image里的AffineTransformOp根据ratio（图像原比例）基于指定尺寸（宽：165, 高：200）的等比例缩放。再把Image转成BufferedImage；

　　再把BufferedImage转回Mat给到FaceRecognize主类用来作VideoPanel的显示来显示到我们的preview区域，而preview区域其实也是用到了VideoPanel这个类来声明的；

　　为此我们对photoButton进行事件编程

　　

JButton photoButton = new JButton("Take Photo"); photoButton.addActionListener(new ActionListener() { public void actionPerformed(ActionEvent e) { logger.info(">>>>>>take photo performed"); StringBuffer photoPathStr = new StringBuffer(); photoPathStr.append(photoPath); try { if (capture.isOpened()) { Mat myFace = new Mat(); while (true) { capture.read(myFace); if (!myFace.empty()) { Image previewImg = ImageUtils.scale2(myFace, 165, 200, true);// 等比例缩放 TakePhotoProcess takePhoto = new TakePhotoProcess(photoPath.toString(), myFace); takePhoto.start();// 照片写盘 videoPreview.SetImageWithImg(previewImg);// 在预览界面里显示等比例缩放的照片 videoPreview.repaint();// 让预览界面重新渲染 break; } } } } catch (Exception ex) { logger.error(">>>>>>take photo error: " + ex.getMessage(), ex); } } });

TakePhotoProcess是一个单线程，代码如下：

 

　　

package org.mk.opencv.sample; import org.apache.log4j.Logger;import org.opencv.core.Mat;import org.opencv.core.Scalar;import org.opencv.imgcodecs.Imgcodecs; public class TakePhotoProcess extends Thread { private static Logger logger = Logger.getLogger(TakePhotoProcess.class); private String imgPath; private Mat faceMat; private final static Scalar color = new Scalar(0, 0, 255); public TakePhotoProcess(String imgPath, Mat faceMat) { this.imgPath = imgPath; this.faceMat = faceMat; } public void run() { try { long currentTime = System.currentTimeMillis(); StringBuffer samplePath = new StringBuffer(); samplePath.append(imgPath).append(currentTime).append(".jpg"); Imgcodecs.imwrite(samplePath.toString(), faceMat); logger.info(">>>>>>write image into->" + samplePath.toString()); } catch (Exception e) { logger.error(e.getMessage(), e); } } }

另外两个按钮trainButton和"identifyButton"我们留到后面2个篇章里去讲，我们一步一步来，这样大家才能夯实基础。

 

　　最终这个FaceRecognize运行起来，然后点击photoButton后的效果如下图所示：

　　

 

　　

完整代码

 

　　

OpenCVUtil.java

package org.mk.opencv.util; import java.awt.Image;import java.awt.image.BufferedImage;import java.awt.image.DataBufferByte;import java.util.ArrayList;import java.util.LinkedList;import java.util.List;import java.io.File; import org.apache.log4j.Logger;import org.opencv.core.CvType;import org.opencv.core.Mat; public class OpenCVUtil { private static Logger logger = Logger.getLogger(OpenCVUtil.class); public static Image matToImage(Mat matrix) { int type = BufferedImage.TYPE_BYTE_GRAY; if (matrix.channels() > 1) { type = BufferedImage.TYPE_3BYTE_BGR; } int bufferSize = matrix.channels() * matrix.cols() * matrix.rows(); byte[] buffer = new byte[bufferSize]; matrix.get(0, 0, buffer); // 获取所有的像素点 BufferedImage image = new BufferedImage(matrix.cols(), matrix.rows(), type); final byte[] targetPixels = ((DataBufferByte) image.getRaster().getDataBuffer()).getData(); System.arraycopy(buffer, 0, targetPixels, 0, buffer.length); return image; } public static List<String> getFilesFromFolder(String folderPath) { List<String> fileList = new ArrayList<String>(); File f = new File(folderPath); if (f.isDirectory()) { File[] files = f.listFiles(); for (File singleFile : files) { fileList.add(singleFile.getPath()); } } return fileList; } public static String randomFileName() { StringBuffer fn = new StringBuffer(); fn.append(System.currentTimeMillis()).append((int) (System.currentTimeMillis() % (10000 - 1) + 1)) .append(".jpg"); return fn.toString(); } public static List<FileBean> getPicFromFolder(String rootPath) { List<FileBean> fList = new ArrayList<FileBean>(); int fileNum = 0, folderNum = 0; File file = new File(rootPath); if (file.exists()) { LinkedList<File> list = new LinkedList<File>(); File[] files = file.listFiles(); for (File file2 : files) { if (file2.isDirectory()) { // logger.info(">>>>>>文件夹:" + file2.getAbsolutePath()); list.add(file2); folderNum++; } else { // logger.info(">>>>>>文件:" + file2.getAbsolutePath()); FileBean f = new FileBean(); String fileName = file2.getName(); String suffix = fileName.substring(fileName.lastIndexOf(".") + 1); File fParent = new File(file2.getParent()); String parentFolderName = fParent.getName(); f.setFileFullPath(file2.getAbsolutePath()); f.setFileType(suffix); f.setFolderName(parentFolderName); fList.add(f); fileNum++; } } File temp_file; while (!list.isEmpty()) { temp_file = list.removeFirst(); files = temp_file.listFiles(); for (File file2 : files) { if (file2.isDirectory()) { // System.out.println("文件夹:" + file2.getAbsolutePath()); list.add(file2); folderNum++; } else { // logger.info(">>>>>>文件:" + file2.getAbsolutePath()); FileBean f = new FileBean(); String fileName = file2.getName(); String suffix = fileName.substring(fileName.lastIndexOf(".") + 1); File fParent = new File(file2.getParent()); String parentFolderName = fParent.getName(); f.setFileFullPath(file2.getAbsolutePath()); f.setFileType(suffix); f.setFolderName(parentFolderName); fList.add(f); fileNum++; } } } } else { logger.info(">>>>>>文件不存在!"); } // logger.info(">>>>>>文件夹共有:" + folderNum + ",文件共有:" + fileNum); return fList; } public static BufferedImage matToBufferedImage(Mat matrix) { int cols = matrix.cols(); int rows = matrix.rows(); int elemSize = (int) matrix.elemSize(); byte[] data = new byte[cols * rows * elemSize]; int type; matrix.get(0, 0, data); switch (matrix.channels()) { case 1: type = BufferedImage.TYPE_BYTE_GRAY; break; case 3: type = BufferedImage.TYPE_3BYTE_BGR; // bgr to rgb byte b; for (int i = 0; i < data.length; i = i + 3) { b = data[i]; data[i] = data[i + 2]; data[i + 2] = b; } break; default: return null; } BufferedImage image2 = new BufferedImage(cols, rows, type); image2.getRaster().setDataElements(0, 0, cols, rows, data); return image2; } public static Mat bufferedImageToMat(BufferedImage bi) { Mat mat = new Mat(bi.getHeight(), bi.getWidth(), CvType.CV_8UC3); byte[] data = ((DataBufferByte) bi.getRaster().getDataBuffer()).getData(); mat.put(0, 0, data); return mat; }}

 

　　

ImageUtils.java

package org.mk.opencv.util; import java.awt.Color;import java.awt.Graphics;import java.awt.Graphics2D;import java.awt.GraphicsConfiguration;import java.awt.GraphicsDevice;import java.awt.GraphicsEnvironment;import java.awt.HeadlessException;import java.awt.Image;import java.awt.Transparency;import java.awt.geom.AffineTransform;import java.awt.image.AffineTransformOp;import java.awt.image.BufferedImage;import java.io.File;import java.io.IOException; import javax.imageio.ImageIO;import javax.swing.ImageIcon; import org.opencv.core.Mat; public class ImageUtils { /** * 几种常见的图片格式 */ public static String IMAGE_TYPE_GIF = "gif";// 图形交换格式 public static String IMAGE_TYPE_JPG = "jpg";// 联合照片专家组 public static String IMAGE_TYPE_JPEG = "jpeg";// 联合照片专家组 public static String IMAGE_TYPE_BMP = "bmp";// 英文Bitmap（位图）的简写，它是Windows操作系统中的标准图像文件格式 public static String IMAGE_TYPE_PNG = "png";// 可移植网络图形 public static String IMAGE_TYPE_PSD = "psd";// Photoshop的专用格式Photoshop /** * 缩放图像（按高度和宽度缩放） * * @param srcImageFile 源图像文件地址 * @param result 缩放后的图像地址 * @param height 缩放后的高度 * @param width 缩放后的宽度 * @param bb 比例不对时是否需要补白：true为补白; false为不补白; */ public final synchronized static Image scale2(Mat mat, int height, int width, boolean bb) throws Exception { // boolean flg = false; Image itemp = null; try { double ratio = 0.0; // 缩放比例 // File f = new File(srcImageFile); // BufferedImage bi = ImageIO.read(f); BufferedImage bi = OpenCVUtil.matToBufferedImage(mat); itemp = bi.getScaledInstance(width, height, bi.SCALE_SMOOTH); // 计算比例 // if ((bi.getHeight() > height) (bi.getWidth() > width)) { // flg = true; if (bi.getHeight() > bi.getWidth()) { ratio = Integer.valueOf(height).doubleValue() / bi.getHeight(); } else { ratio = Integer.valueOf(width).doubleValue() / bi.getWidth(); } AffineTransformOp op = new AffineTransformOp(AffineTransform.getScaleInstance(ratio, ratio), null); itemp = op.filter(bi, null); // } if (bb) {// 补白 BufferedImage image = new BufferedImage(width, height, BufferedImage.TYPE_INT_RGB); Graphics2D g = image.createGraphics(); g.setColor(Color.white); g.fillRect(0, 0, width, height); if (width == itemp.getWidth(null)) g.drawImage(itemp, 0, (height - itemp.getHeight(null)) / 2, itemp.getWidth(null), itemp.getHeight(null), Color.white, null); else g.drawImage(itemp, (width - itemp.getWidth(null)) / 2, 0, itemp.getWidth(null), itemp.getHeight(null), Color.white, null); g.dispose(); itemp = image; } // if (flg) // ImageIO.write((BufferedImage) itemp, "JPEG", new File(result)); } catch (Exception e) { throw new Exception("scale2 error: " + e.getMessage(), e); } return itemp; } public static BufferedImage toBufferedImage(Image image) { if (image instanceof BufferedImage) { return (BufferedImage) image; } // 此代码确保在图像的所有像素被载入 image = new ImageIcon(image).getImage(); // 如果图像有透明用这个方法// boolean hasAlpha = hasAlpha(image); // 创建一个可以在屏幕上共存的格式的bufferedimage BufferedImage bimage = null; GraphicsEnvironment ge = GraphicsEnvironment.getLocalGraphicsEnvironment(); try { // 确定新的缓冲图像类型的透明度 int transparency = Transparency.OPAQUE; // if (hasAlpha) { transparency = Transparency.BITMASK; // } // 创造一个bufferedimage GraphicsDevice gs = ge.getDefaultScreenDevice(); GraphicsConfiguration gc = gs.getDefaultConfiguration(); bimage = gc.createCompatibleImage(image.getWidth(null), image.getHeight(null), transparency); } catch (HeadlessException e) { // 系统不会有一个屏幕 } if (bimage == null) { // 创建一个默认色彩的bufferedimage int type = BufferedImage.TYPE_INT_RGB; // int type = BufferedImage.TYPE_3BYTE_BGR;//by wang // if (hasAlpha) { type = BufferedImage.TYPE_INT_ARGB; // } bimage =&n      

	  
	  
	  
	  
	  
	  
        
郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。
标签：

相关文章阅读

  • win10有录像功能吗,win10录屏打开摄像头
  • c#虚拟摄像头,C#摄像头
  • c#虚拟摄像头,C#摄像头,C# 利用AForge实现摄像头信息采集
  • ,,JavaScript 如何在浏览器中使用摄像头
  • iPhone12promax摄像头介绍,iPhone14摄像头
  • 双摄像头测距离原理,测距摄像头的测距原理怎么设置,单目摄像头测距原理
  • 雨课堂期末考试有摄像头吗,雨课堂考试怎么开摄像头吗
  • 相机标定外参怎么得出,摄像头内外参标定的参数,相机的内外参数标定
  • 腾讯会议能否看到学生屏幕,腾讯课堂学生开摄像头其他同学能看见吗
  • 笔记本win10怎么打开摄像头拍照,win10摄像头怎么拍照
  • 树莓派控制摄像头拍照,树莓派连接摄像头教程
  • 树莓派摄像头实时监控,树莓派实现目标检测
  • 摄像头移动检测算法软件,摄像头移动检测算法有哪些
  • 笔记本摄像头倒置怎么解决,笔记本摄像头倒着是怎么回事
  • 单目摄像头像测距,双目摄像机测量距离准确吗,双目摄像头测距范围
    • 留言与评论（共有 条评论）
       
    验证码：