Research Progress on Rapid Detection of Unsound Kernels Based on Visible Light and Advanced Imaging Technology
-
摘要: 粮食中不完善粒的存在会降低粮食质量,影响粮食加工产品的品质,并且不完善粒的含量会影响粮食在国家规定的收购标准中的质量等级评定,造成经济损失。传统的检测方法包括人工检测法和化学试剂法等,这些方法存在主观性强、耗时较长等问题,难以满足目前前沿研究向快速、准确检测发展的主要趋势。可见光成像技术操作简便且成像速度较快、但其无法识别粮食内部的特征信息。具有高分辨率和快速检测等优势的先进成像技术也成为粮食不完善粒检测领域的重要研究热点之一。本文综述了用于粮食不完善粒检测的成像技术,包括可见光成像、X射线、热成像、高光谱和多光谱成像以及太赫兹成像等,对这些技术的优缺点进行讨论和比较。分别从粮食的视觉外观和内部特征信息两方面进行介绍,总结了成像技术与机器学习方法结合在粮食不完善粒检测方面的研究进展。最后提出现阶段存在的问题并进行讨论,对未来改进方向进行展望,为粮食不完善粒检测的创新应用提供重要参考。Abstract: The presence of unsound kernels in grain reduces its quality and adversely affects processed grain products. The content of unsound kernels also impacts the quality grading of grain according to national purchase standards, leading to economic losses. Traditional detection methods such as manual inspection and chemical reagents are subjective, time-consuming, and do not align with current trends favoring rapid and precise detection. Visible light imaging technology offers fast operation and imaging speed but cannot discern internal grain characteristics. Advanced imaging technologies with high resolution and rapid detection capabilities have thus become pivotal in the field of unsound kernel detection. This paper reviews various imaging techniques utilized for detecting unsound kernels in grain, including visible light imaging, X-ray, thermal imaging, hyperspectral and multispectral imaging, and terahertz imaging. It discusses and compares the strengths and weaknesses of these techniques. The paper introduces the visual appearance and internal feature information of grain separately, highlighting the research progress in combining imaging techniques with machine learning methods for unsound kernel detection. Finally, it outlines current challenges and discusses future directions for improvement, aiming to provide valuable insights for innovative applications in unsound kernel detection in grain.
-
粮食是人类主要的食物来源之一,是民众、社会和国家稳定的基础,对人类的生活具有重要意义。然而粮食流通的环节较多、耗费的时间较长,在种植、收购、储存和运输等过程中会受到温度和储存环境等客观因素的影响。这些因素会造成粮食发生一系列质的变化[1],如环境水分和湿度升高会导致粮食发生霉变和发芽、虫蚀或运输等过程中的磕碰会导致粮食出现破损、温度过低会导致粮食产生冻伤等现象。这些由于不同因素而受到一定损伤、但同时还具有使用价值的颗粒被称为不完善粒。国家标准中对不完善粒的定义为:不完善粒是对有虫蚀、病斑、生芽、霉变、破损、冻伤、烘伤或未熟等缺陷,但仍有食用价值的粮食、油料颗粒的统称[2]。不完善粒的比例是衡量粮食质量品质的重要参考指标。因此在粮食流通的过程中,不完善粒的检测对于提高粮食的质量、减少经济和生产损失有着十分重要的意义。
传统的人工检测法[3]通过人的视觉、嗅觉、味觉和听觉等[4]感官特征对粮食及其原料的特性进行唤起、测量、分析和解释。我国从2008年开始陆续发布实施国标GB/T 22504《粮油检验 粮食感官检验辅助图谱》[5−7],对样品不完善粒等感官检验指标做出了粒质特征的图示。国标法推荐使用手动法或电动筛选器法对粮食样品进行筛选,通过人工识别的方式进行判断,最后推算出不完善粒的具体含量[2]。但这种方式主观性强、过程繁琐,难以满足现代对快速、无损检测的需求[8],因此人工检测法通常作为识别不完善粒的一种辅助性检测方法。目前也有不少学者利用声学[9−12]和化学[13−15]等检测方式开展关于不完善粒的检测研究,通过对声波在时域的分析,或通过研究声波和介质之间相互变化的规律寻找声波和介质特性之间的关系[16]。这种方式虽然检测速度快,不受人工主观因素的影响,但它过于依赖声传播介质,而且受噪声影响较大,无法避免检测过程中的噪声干扰,导致检测精度较低。而化学检测法虽然可以实现对粮食中真菌污染和霉菌毒素等的快速检测[17],但重复性较差、在整个检测过程中使用的辅助试剂可能会对环境造成污染。随着计算机技术的不断发展,可见光成像技术可以通过粮食的外观特征(颜色、纹理等)信息实现粮食不完善粒的快速和实时检测,但其无法识别粮食的内部特征信息。伴随着成像技术的不断创新,各种快速、无损和非侵入性检测的技术得到了应用,如X射线、热成像、高光谱和多光谱以及太赫兹成像等成为了粮食不完善粒检测的主要手段,可以同时检测到粮食外观和内部成分的特征信息,实现全面检测,避免漏检发生。这些成像技术产生了大量复杂的数据,而机器学习方法可以实现自动分析和处理。传统的机器学习方法在获取粮食图像后,通过提取颜色、形状等特征进行分类检测。但人工提取特征过程复杂、特征之间存在关联[18]。随着机器学习的发展,深度学习方法具有自主学习、提取能力强[19]等优势,能使网络自动学习不完善粒表征的图像特征,可以实现粮食不完善粒的快速、准确检测,在粮食质量和食品安全等领域的应用越来越广。
基于成像技术在粮食不完善粒检测领域已取得的一定成果及应用,本文阐述了成像技术结合机器学习方法在不完善粒检测中的相关研究,探讨了当前粮食不完善粒检测面临的挑战,对不完善粒检测的未来进行展望,以期为实现不完善粒的准确检测提供参考。
1. 相关技术理论
1.1 可见光成像技术
可见光的波长范围大约从380~750 nm,位于人类视觉可见的范围内。可见光成像技术利用自然光或人造光照射物体,通过捕获物体反射或者发射的光并将其转换为电子信号[20],是一种非接触式成像技术,可以提供样品的纹理和颜色等外部特征信息,检测到样品表面的细小缺陷,但容易受到光照条件的影响。这种技术通常分为两种类型:一种是通过人工提供光源照射物体,然后利用反射或散射光进行成像的主动型成像技术;另一种是不需要外部光源,利用物体自身发出的光进行成像的被动型成像技术。可见光成像技术是最为常见和广泛应用的成像技术之一,被广泛用于农产品检测[21]、医学领域[22]和视频监控[23]等各个领域。
1.2 先进成像技术
随着现代智能化的发展,“快速”和“大规模”已经成为粮食不完善粒检测的必然发展方向。传统的彩色成像技术提供了种子的颜色、大小、形状、表面结构和纹理等信息,可以通过粮食的外观特征实现对不完善粒的检测识别,但其没有提供关于粮食样品内部特征组成的相关信息[24],针对粮食内部发生的虫害、芽变和霉变等特征无法进行快速识别。因此需要比简单的相机具有更高分辨率的成像技术。根据电磁波谱(主要包括微波到X射线波长)中不同波长的光学特性可以分为X射线、热成像、高光谱和多光谱以及太赫兹成像等,如图1所示,这些快速检测技术在农业和粮食无损、无创传感领域产生了重大影响。
1.2.1 X射线成像
X射线是频率位于3×1016~3×1020 Hz之间的高能电磁辐射,相较于长波射线更容易穿透材料,可用于生成粮食内部结构的图像。根据光子能量的不同,X射线可以分为软X射线和硬X射线,软X射线相较于硬X射线波长较长、光子能量较低,可用于较薄样品的透射测量[26]。通过在待测样品一侧使用X射线源,光源发射到样品上会随着物质的密度和元素组成而衰减[27],到达探测器后形成图像。这种方式具有快速和非破坏性等特点,因此被广泛应用于医疗诊断[28]、食品安全[29]等领域。但X射线检测只能提供多个断面的重叠投影,而X射线计算机断层扫描(X-CT)兼具了X射线成像和显微成像技术的优势[30],可以重建断层摄影或三维图像,是一种无损、高分辨率的技术,可以在不需要样品制备的情况下对内部结构进行三维成像和分析,在谷物科学领域具有很大的应用潜力[31]。
1.2.2 热成像
热成像是一种基于粮食发射的红外辐射来监测温度的无损技术,提供有关尺寸、热分布以及结构特征的信息[32]。热成像系统主要由焦透镜、红外传感器、图像处理和采集系统等组件构成。它独立于外部光源,通过光电技术检测样品热辐射的红外线特定波段信号,将该信号转换成人类视觉可以分辨的图像和图形,同时通过进一步的计算得到温度值[33]。热成像具有非接触和非破坏性等特点,与传统的温度探测器相比处理速度较快,可以根据热图像获得温度分布,同时没有辐射危害,被广泛应用于医学[34]、食品工业和农业[35]等相关领域,在粮食质量评价中具有重要的应用价值,但热成像技术只能识别粮食是否被侵染,而不能识别粮食内部侵染所处阶段。
1.2.3 高光谱和多光谱成像
与常规成像方式相比,高光谱成像可将成像和光谱学相结合来获取样品连续的空间信息和光谱信息[36],典型的高光谱成像系统由光谱仪、摄像机、照明装置、移动平台和安装有数据处理软件的计算机组成。系统通过在每个图像像素处获取几百个离散的波长数据点,形成以三维数据矩阵形式排列的超立方体,包含了2个空间维度和1个光谱维度[37]。高光谱成像是一种多窄波段的无损检测技术,可以同时检测样品的内部和外部品质,具有快速、无损检测等优势,同时由于其“图谱合一”的特性可以获取样品的物理性质和化学组成,并且能够同时扫描和分析多个样本,可以满足农业生产中批量检测的要求,在医学诊断[38]、食品安全和农产品检测[39−40]等方面也得到了快速发展。但高光谱成像的仪器扫描时间约为10 s,无法满足在线实时检测的需求[41],同时需要更多的时间和更复杂的算法对高维数据进行处理。而多光谱成像是光谱成像的一种形式,通过简化高光谱图像数据中的特征信息,使用了相对较少的波长。与传统的宽带成像技术相比,可以提供丰富的探测目标信息[42],是一种非破坏性的技术,可以同时获取化学和空间信息。多光谱成像系统简单,降低了成本,提高了速度,在农业[43−44]、医学[45−46]、遥感[47−49]和环境监测[50−51]等其他领域有广泛的应用。
1.2.4 太赫兹成像
随着光谱成像技术的发展,太赫兹成像技术逐渐成为研究热点。太赫兹(Terahertz,THz)波是介于微波和红外光之间的电磁波谱,频率范围在0.1~10 THz之间[52]。它具有能量低、对大多数介质材料穿透能力强,能够检测到物体内部缺陷以及通信传输能力大等特点[53−56]。这些特性使得太赫兹技术在农产品安全检测[57−58]、储粮品质检测、药物和生物医药[59−60]、通信[61]以及国防和安全[62−63]等领域有广泛应用,可以实现对生物分子的诊断与无损检测。太赫兹成像系统可以分为脉冲太赫兹波成像与连续波太赫兹成像[64]。成像原理为当光源照射到样品上时,通过采集样品不同位置的透射和反射信号中包含的振幅和相位等信息,最后进行数据处理和分析,得到待测样品的太赫兹图像,图像中的每个像素点都包含了一条光谱信息[65]。常见的成像方式包括太赫兹时域光谱成像、太赫兹雷达扫描成像和近场成像等[25]。
1.3 机器学习理论
机器学习是人工智能的分支领域,通过使用大量的数据和算法,使计算机系统能够自动学习和适应,从而实现预测、分类、聚类和优化等任务。现阶段机器学习技术已经在不完善粒检测方面有了一定的研究成果。传统的机器学习方法利用成像设备采集样品图像,根据颜色、形状、面积、纹理等外部特征通过人工提取特征,研究图像处理和识别方法,构建识别模型,实现对粮食不完善粒的快速、准确检测。机器学习算法可以分为三类:监督学习、无监督学习和强化学习。监督学习是指在输入和输出已知的情况下,训练机器学习的模型,可以分为分类和回归两种。目前应用于粮食不完善粒检测中常见的分类算法有支持向量机(Support Vector Machines,SVM)[66]、决策树(Decision Tree,DT)和随机森林(Random Forest,RF)[67]等,回归通常是指预测连续变量的值,常见的回归算法包括线性回归、岭回归和神经网络[68]等。无监督学习是指在没有标签的情况下去训练机器学习的模型,可以分为聚类和降维两种,常见的聚类算法包括K-means[69]、层次聚类[70]等,降维指把数据从高维空间映射到低维空间,常见的降维算法包括主成分分析(Principal Components Analysis,PCA)[71]、线性判别分析(Linear Discriminant Analysis,LDA)[72]等方法。
传统的机器学习方法通过人工的方式提取特征,这种方式提取的特征较为复杂且依赖于先验知识,特征之间存在关联,会导致特征冗余[18]。通过高光谱等成像技术获取的图像通常包含数百个光谱波段,传统的机器学习方法可能无法构建理想的模型。而深度学习是人工智能领域的新突破,是机器学习的一种特定方法,它建立在人工神经网络(Artificial Neural Network,ANN)的基础上,通过多层的神经网络结构进行模型训练和学习[73]。相比传统的机器学习算法,深度学习具有更强大的表达能力和自动学习能力,能够从大规模数据中提取丰富、高层次的特征,不需要依赖于人工提取,并在复杂的任务中取得优秀的性能。随着深度学习的快速发展,如卷积神经网络(Convolutional Neural Networks,CNN)[74]、生成对抗网络(Generative Adversarial Network,GAN)[75]和循环神经网络(Recurrent Neural Network,RNN)[76]等在计算机视觉、复杂数据处理等各个领域得到了广泛的应用和研究,在粮食信息获取和农产品外部或内部质量属性检测方面取得了突破。
2. 可见光成像技术在粮食不完善粒外观检测中的应用
粮食质量是保障粮食安全和促进农业经济发展的重要基础,而粮食不完善粒的检测是确保粮食质量的重要环节。不完善粒在形态、颜色和纹理等外部特征上存在一定的差异,研究人员利用相机获取待检测样品的数字图像后提取图像中的数字信息,最后结合机器学习算法进行处理提取适当的特征参数,从而构建识别模型,可以实现样品的定量和定性分析,这一方法在粮食外观特征研究领域具有重要应用价值。早在1993年,Ni等[77]开发了一种基于机器视觉的检测系统,利用玉米粒的形态特征成功区分了完善粒和破损粒。近年来,许多研究者在这一领域进行了较多的应用研究,如表1所示。Olgun等[78]通过SVM分类器的研究来评价密集尺度不变特征的性能,提出一种能够对小麦粒实现高准确率分类的自动化系统,总体准确率可达88.33%。针对人工分选效率低等问题,孟繁佳等[79]设计了一种用于玉米种子实时检测的分选装置,提出一种基于HSV颜色空间划分的玉米种子识别算法,实现玉米种子完善粒和霉变粒的精确分选。Chen等[80]采集大豆种子掉落过程的图像序列,针对图2中出现的问题,采用SVM和K-means聚类算法组成的先验聚类算法对图像中的粘连种子进行分割,其计算细节如图3所示。基于强制邻居关联准则对序列图像中特定大豆种子的形态进行关联,避免重复计数,从多个角度获取形状特征。采用SVM结合多视角形状特征实现对大豆种子完善粒和破损粒的准确分类,但处理效率降低。
表 1 基于视觉外观的粮食不完善粒检测应用Table 1. Application of visual appearance based detection of incomplete grain grains图像获取方式 检测类别 模型/算法 检测结果 不足 参考 线扫描彩色相机拍摄 完善粒
破损粒K-means、ResNet、CNN 提出一种嵌入深度CNN分类器的玉米自动检测机,采用一种新的K-means引导曲率方法对玉米粒进行预处理,在测试图像数据集中的准确率达到98.2%。 仅使用两张二维图像来描述三维物体会丢失一些空间信息;曲率法只针对两种双接触情况,实际应用过程中可能有更复杂的案列。 Ni等[84]
(2019)相机拍摄 完善粒
虫蚀粒ANN、ELM 采用基于人工蜂群(ABC)优化的ANN和极限学习机(ELM)算法对受损小麦粒进行分类,平均绝对误差分别为0.00174和0.00433。 样本数据集较少;模型评价指标较少,不能全面评估模型性能。 Sabanci等[85]
(2020)工业摄像机
拍摄完善粒
破损粒SVM、K-means 能够准确分割粘连种子,采用SVM结合多视角形状特征实现对大豆种子完善粒和破损粒的准确分类。 振动台与视场的距离影响进入视场的种子的初始速度,可能影响获得的种子形态数量。 Chen等[80]
(2022)工业摄像机
拍摄完善粒
破碎粒
生芽粒
破损粒
霉变粒
病斑粒GoogleNet、ResNet、DenseNet和ShuffleNet 改变模型深度、宽度、下采样方式、卷积顺序和注意机制,建立Res24_D_CBAM_Atrous模型,能够实现对小麦6种不完善粒的识别,精确度可达94%。 检测设备的自动化水平有待提高;未分割更复杂的粘连情况;不完善粒数据集规模较小,标准化水平不高。 Gao等[86]
(2022)相机拍摄 完善粒
破损粒MSRCR、CNN 实现大豆种子正常、受损、异常和不可分类的四级分类, F-score值分别约为95.97%、97.41%、97.25%和96.14%。 数据集小,分类精度略低于其他分类模型。 Lin等[83]
(2023)工业相机拍摄 完善粒
破损粒
生芽粒
霉变粒
杂质VggNet-16-W、ResNet34-W、EfficientNet-b2-W和DenseNet121-W 提出了一种基于深度学习的小麦籽粒识别方法,实现了对小麦完善粒、破损粒、杂质、生芽粒和霉变粒的准确识别,识别率最高可达96%。 模型只针对单粒小麦图像,且因不完善粒的数据量不足导致模型的泛化能力较差 Han等[87]
(2023)针对传统机器学习方法存在特征提取能力弱、计算开销大以及耗时较长等问题,Zhao等[81]设计了一个机器视觉系统,构建了包含生芽、结痂、霉变和完善小麦的基准数据集并提出WGNet检测框架,通过使用稀疏网络修剪和混合关注模块来解决退化问题。但拍摄图像不全面,无法检测小麦底部缺陷。Shen等[82]通过把特征金字塔网络(Feature Pyramid Network,FPN)改为自下而上的金字塔网络并且在特征提取网络和金字塔网络之间加入注意力机制模块,提出了改进Mask-RCNN算法,实现了对小麦的生芽粒、破损粒等5种不完善粒的准确识别,准确率和召回率分别为86%和91%,但仍存在识别精度低,数据集不够充分等问题。Lin等[83]提出一种基于深度学习的大豆种子在线分类方法。通过MSRCR对光照不均匀的大豆种子图像进行分割,根据颜色、形状、质地等分为4类,如图4所示,之后构建CNN实现正常、受损、异常和不可分类大豆种子的四分类。
专业相机获取图像结合机器学习算法检测粮食不完善粒可替代传统人工和化学方法,实现高效非接触检测。该方法能捕捉粮食的细小裂纹和表面缺陷,并具备实时成像能力,有助于提高生产效率和检测速度。在针对粮食害虫检测时,该方法可以检测害虫的活性状态并识别其生长阶段,具有广泛的应用前景。然而,这种方法无法有效检测粮食内部的虫蚀、霉变和早期发芽缺陷,也不能通过表面孔洞判断粮食是否受到害虫侵害,可能导致漏检情况,无法实现不完善粒的全面检测。此外,传统机器学习方法的优化过程复杂繁琐,对数据质量要求高,数据中存在噪声等干扰会影响模型的训练效果。尽管深度学习方法提升了模型的识别精度和检测效率,但其过多的模型参数可能导致数据冗余,影响模型的可靠性和稳定性。
3. 先进成像技术在粮食不完善粒内部特征信息检测中的应用
3.1 基于X射线和X-CT的粮食不完善粒检测
粮食早期发芽和内部虫蚀侵染等发生在粮食内部的不完善现象通过外观特征难以区分,而X射线成像和X-CT技术可以获得粮食样品的二维和三维图像,依据完善和不完善粮食之间的内部结构或X射线衰减(吸收和透射)特性的差异来检测,具有较强的穿透能力和检测效率,检测时不会影响粮食种子发芽或造成染色体损伤,在描述样品的内部差异和量化样品的几何特征方面具有一定的优势,能够客观、非破坏性的对粮食的内部结构进行高质量的可视化研究。Neethirajan等[88]通过软X射线系统成像发现发芽小麦的芽核均可见白色斑点。Narvankar等[89]采用软X射线成像系统对健康小麦和感染了常见贮藏真菌黑曲霉、白霜曲霉和青霉菌的小麦进行扫描,提取了34个图像特征作为统计判别分类器和反向传播神经网络(Back Propagation Neural Network,BPNN)分类器的输入,结果表明两类判别分类器对真菌侵染小麦粒的分类率为92.2%~98.9%。针对储存中的粮食受到害虫侵染会造成质量下降等问题,Boniecki等[90]通过X射线成像技术发现被粮仓象鼻虫造成内部损伤的小麦籽粒的视觉代表特征,选择一个结构为三层感知器的最优人工神经网络对小麦的完善粒和虫蚀粒实现快速准确的识别,但构建ANN网络所需要的特征需要手动识别和提取。
随着X射线成像技术的不断发展和应用,Srivastava等[91]利用X射线显微计算机断层扫描仪获取不同贮藏天数的水稻图像,利用PCA分析了图像纹理特征与侵染情况随时间变化的关系,将健康和感染S. oryzae的稻谷成功分组,准确率为88.34%。Zhou等[31]基于X-CT的无损成像方法获取高分辨的二维层析图像,经过降噪后采用局部均值滤波和交互式阈值分割算法进行预处理后重建图像,实现小麦内部不同发育阶段玉米象虫形态结构的三维可视化,结果如图5所示,随着时间的增加,小麦粒内的某些昆虫参数和籽粒空洞增加,在22 d时孔洞约占小麦内核的21%,但扫描重建单个侵染颗粒需5 h且现有的图像分割算法无法完成自动分割。
X射线成像和X-CT具有良好的穿透能力,都是基于受侵染和健康粮食之间的内部结构或X射线衰减特性的差异[92]来识别的。X-CT技术通过高分辨率的三维图像识别粮食内部微观结构,实现结构随时间变化的监测。基于X射线和X-CT的粮食不完善粒检测能够解释样品内部密度的变化。然而,X射线成像不能观察到粮食中虫卵的存在,图像缺乏直观可解释性,增加了模型训练和解释的难度。检测时需要昂贵的设备和专业的操作技能,且对操作人员有辐射危害,限制了它的具体应用[87]。通过这两种方式获取的数据通常具有高维度和复杂特征,在处理和分析时耗费大量的时间和计算资源。
3.2 基于热成像的粮食不完善粒检测
粮食颗粒由于不完善粒的产生表面的温度会发生剧烈变化。例如被虫蚀的小麦颗粒的表面温度要高于健康的小麦粒,而热成像技术基于粮食发出的红外辐射来确定各种质量特征,可以从热图像中区分。相较于可见光成像具有更快的处理速度,为不完善粒检测提供了一种潜在的非接触式成像方式。Vadivambal等[93]采用一种主动热成像系统,获取小麦的热图像,利用LDA、二次判别分析和ANN分类器对完善粒和生芽粒图像中的温度特征进行分析,结果如图6所示,发芽受损粒由于呼吸和释放的热能高于完善粒,因此两者的温度数据具有明显差异。Khairunniza-Bejo等[94]通过热成像技术,将热图的平均像元与高温产生像元值的时间对比,发现侵染水稻的平均像元值比完善的水稻要高,这是由于真菌引起的呼吸速率和产热差异造成的,证明了红外热成像系统可用于检测储存水稻中的真菌感染。Francesconi等[95]使用无人机的热红外和RGB成像方式获取数据,采用PCA方法进行分类,成功检测出硬粒小麦的镰刀菌头枯病。霜冻事件会造成粮食产生冻伤粒,降低粮食的品质和价值。Shammi等[96]提出一种可以自动检测小麦霜冻过程中结晶和过冷的新技术,通过红外热成像获取数据,采用极端梯度提升、RF、CNN和ResNet-50等机器学习方法,确定田间种植小麦植株中霜冻形成的关键阶段和相关温度,但没有考虑小麦的损害程度。
热成像技术根据温度差异可以检测样品内部的质量特征,但在检测微小缺陷时,其较低的空间分辨率可能降低检测精度。热成像数据格式特殊,易受环境噪声干扰,需要优化模型并采取有效的数据预处理和特征提取方法以提高检测精度和稳定性。相比其他成像方式,热成像系统受硬件限制严重,且需要稳定的环境温度才能获取样品的整个表面图像,因此需要控制成像环境,研究精度更高、成本更低的红外探测器用于大规模的粮食检测中。
3.3 基于高光谱和多光谱成像的粮食不完善粒检测
不完善粒在不同波段下具有不同的光谱特征。高光谱成像可以捕获数百张不同波长的图像并提供相关光谱特征,既能反映粮食样品的外部特征,也能分析粮食的内部品质,实现全面的空间分析。它具有高分辨率、特殊的定位能力和准确的检测能力,能够实现无接触且非破坏性的粮食检测。近年来诸多学者将其结合机器学习算法进行了大量的研究,如表2所示。Zhang等[97]提出了一种基于多角度近红外高光谱数据的模型标定方法,采集小麦4个侧面的高光谱图像进行预处理和特征提取后结合机器学习模型构建模型,对小麦完善粒和稻水象甲造成的虫蚀粒的识别准确率可达97%。Sun等[98]从花生粒在1000~2030 nm波段的高光谱图像中提取光谱数据,采用逐次投影算法(Successive Projections Algorithm,SPA)选择有效波长,分别与偏最小二乘判别分析(Partial Least Squares Discriminant Analysis,PLS-DA)、SVM和LDA结合构建3种分类模型,其中基于SPA-LDA的模型在训练集和预测集的准确率最高,对花生的完善粒和霉变粒的识别准确率达到了100%。Zhu等[99]利用高光谱成像技术获取随机放置小麦的生芽粒和完善粒的高光谱数据,通过预处理技术校正图像、去除噪声等过程如图7所示,提取两种小麦的平均光谱看出小麦完善粒的平均光谱低于生芽粒,提取特征后与不同类型的CNN结合建立模型进行检测,结果表明3D CNN模型表现最好,准确率、精密度和召回率等评价指标分别达到98.40%、98.36%和98.45%。
表 2 多光谱和高光谱成像技术结合机器学习在粮食不完善粒检测中的应用Table 2. Application of combining multispectral and hyperspectral imaging techniques with machine learning in detecting unsound kernels in grain图像获取方式 检测类别 模型/算法 检测结果 不足 参考 多光谱成像 热损伤粒
破损粒
其他杂质PCA、PLS-DA 建立PLS-DA模型,在区分完善和不完善粒玉米方面表现良好,交叉验证的决定系数和分类准确率分别在0.35~0.99和83%~100%之间。 使用的预制仪器的分类精度和稳健性低于专门针对谷物技术应用的多光谱仪器。 Sendin等[100]
(2018)近红外高光谱成像 完善粒
赤霉病粒LDA、SVM 光谱样品中的籽粒可以随机排列;基于四个波长(1100、1197、1308和1394 nm)下每个颗粒的内部像元,建立了完善粒和霉病粒的线性判别分析模型;一次成像过程可以对数百粒进行处理,将处理时间缩短到每粒毫秒级。 对外观模糊不清样品的判别准确性不高。 Delwiche等[103]
(2019)高光谱成像 完善粒
赤霉病粒PCA、DCNN 基于光谱特征、图像特征以及两者的融合特征建立RF模型,确定最优特征数据集。基于最优特征数据集建立深度卷积神经网络,其中最准确预测赤霉病严重程度的DCNN模型的R2=0.97,RMSE=3.78。 DCNN对处理器硬件要求高,需要强大的CPU支持;不同品种、地点和年份的小麦对模型的影响需要进一步研究。 Zhang等[104]
(2020)近红外高光谱成像 生芽粒 CARS、SPA、LDA、SVM、DF 获得小麦籽粒两侧的高光谱图像,将LDA和SVM与一种特殊的深度学习模型(DF)相结合建立分类模型。结果显示使用逆侧光谱数据的建模效果略好于腹侧光谱数据。 在数据采集过程中,每颗小麦粒必须从一边翻转到另一边后固定在同一位置,耗时且繁琐。 Zhang等[105]
(2020)高光谱成像 虫蚀粒
破损粒
生芽粒
未熟粒
热损伤粒
冻伤粒
霉变粒PLS-DA 为南非玉米产业提供一种准确且经济实惠的近红外光谱成像白玉米分级自动化分析技术。同时对南非玉米分级立法规定的17个类别和子类别进行分类。 人工分级的准确性难以确定,并且难以与替代方法进行准确
比较。Sendin等[106]
(2021)高光谱成像 AFB1污
染粒SGS、SNV、SVM 提取并综合了AFB1污染花生的光谱特征、颜色特征和质地特征,采用SVM方法对验证集的分类准确率为94%。 获取的光谱信息较少;纹理特征提取算法单一。 He等[107]
(2021)高光谱成像 完善粒
虫蚀粒SNV、SPA、LDA 提出一种基于多角度近红外高光谱数据的模型标定方法,构建SNV-SPA-LDA混合模型的分类准确率为97%。 只针对小麦粒表面有虫孔的样品,未考虑粮食内部存在虫卵或幼虫的数据。 Zhang等[97]
(2021)高光谱成像 霉变粒 SPA、LDA 采用SPA选择有效波长,建立LDA模型,对花生霉变粒在验证集上的识别准确率为100%。 研究样本数量较少,对模型的分类精度影响较大。 Sun等[98]
(2021)多光谱成像 ZEN污染 BPNN、PLS-DA、SVM、GA、PCA GA-BPNN是玉米中ZEN的最佳定性和定量检测方法,污染程度检测的最佳准确率达93.33%。 − Liu等[101]
(2022)多光谱成像 完善粒
霉变粒
破损粒Faster-RCNN、SSD、YOLO 提出一种将分水岭分割算法与Corn-seed-Net模型相结合的端到端玉米种子目标检测模型,降低了网络的复杂度,可以准确获取目标的位置,同时不用对图像进行手工标注。 网络结构有待进一步优化 Wang等[108]
(2022)近红外高光谱成像 完善粒
生芽粒
霉变粒
赤霉病粒CNN、SVM、DT 提出一种基于深度卷积生成对抗网络(DCGAN)和近红外高光谱成像技术的小麦不健全籽粒识别新方法。DCGAN方法能够为不平衡数据集生成可靠的数据样本,提高分类器的性能。 GAN参数设置和网络架构构建复杂;检测模型的准确率有待
提高。Li等[109]
(2022)高光谱成像 完善粒
破损粒SSFE-FCNN 提出一种新的光谱-空间特征提取增强全连接神经网络(SSFE-FCNN)分类方法,优于SVM和目前流行的神经网络方法,在糯玉米像素分类中的总体准确率高达98.09%。误检率和漏检率分别为2.08%和1.96%。 通过对HSI中的每个像素进行分类来检测机械损伤,限制了测试过程中的速度;糯玉米品种影响机械损伤检测; Liu等[110]
(2023)高光谱成像 完善粒
生芽粒CNN 提取随机放置小麦(轻微发芽与完善粒)的平均光谱,结合3D CNN模型的检测结果最好,准确率、精密度和召回率等评价指标分别达到98.40%、98.36%和98.45%。 随着训练数据的增加,模型的计算量和复杂度提高。 Zhu等[99]
(2023)高光谱成像 真菌感染 SPA、PCA、PLS-DA、RF、SVM、CNN-RB 采用PLS-DA、RF、SVM和卷积神经网络(CNN-RB)建立了不同融合策略的分类模型,其中基于光谱特征的建模性能优于基于颜色和纹理特征的建模性能。 受样品种类、数量以及仪器采集光谱范围的限制,模型的有效性和稳定性需进一步优化。 Xu等[111]
(2023)多光谱成像 完善粒
生芽粒PLS-DA、SO-PLS-LDA、SO-CovSel-LDA 利用PLS-DA、多块序贯正交偏最小二乘线性判别分析(SO-PLS-LDA)和序贯正交协方差选择线性判别分析(SO-CovSel-LDA)的化学计量学方法建立分类模型,将波段数量减少到8和5,分类结果在99%以上。 必须根据外壳平台的规格设计和建造使用本研究中所示特定波段的多光谱仪器;每年收获前需要对仪器重新校准。 Orth等[102]
(2023)上述研究表明,高光谱成像技术能准确检测粮食样品的内部和外部品质。然而,该技术的成像设备较为昂贵,因此用于研发中成本较大,目前仅停留在实验室阶段;此外,检测过程容易受到环境影响导致结果不够稳定;同时高光谱数据量较大,在数据处理过程中耗时较长,不能满足实时检测的要求。
针对高光谱成像时成本较高的问题,Sendin等[100]在紫外、可见光和近红外区域进行成像,建立PLS-DA模型,图像的采集时间和分析时间较短,同时可以区分出玉米的完善粒和不完善粒。Liu等[101]采用多光谱成像仪获得样品在19个不同波长的光谱图像,利用遗传算法(Genetic Algorithm,GA)和BPNN选择玉米中与玉米赤霉烯酮(Zearalenone,ZEN)含量最相关的波长,对ZEN污染程度的检测准确率为93.33%,预测集的相关系数、均方根误差、残差预测偏差和偏差分别达到0.95、3.66、5.39和1.55 μg/kg。Orth等[102]提出了一种基于可见光/近红外和短波红外成像传感器的大麦籽粒预发芽和未发芽数据融合方法,利用多块序贯正交偏最小二乘线性判别分析(SO-PLS-LDA)的化学计量学方法建立分类模型,准确率达到99.88%,为不完善粒检测提出一种新颖的方法。
3.4 基于太赫兹成像的粮食不完善粒检测
由于分子的低频转动和旋转跃迁,太赫兹成像技术可以获取粮食在太赫兹波段的吸收、散射和折射等多个物理参数信息。与微波辐射相比太赫兹的波长更短,可以提供更好的空间分辨率,同时不会对人体和粮食产生辐射危害,具有高效快速、非破坏性检测和实时监测等优势。这些优势使得太赫兹成像技术成为一种可行的方法,可以用于粮食不完善粒的快速、准确和可靠检测,其结合机器学习在粮食不完善粒检测中的应用如表3所示。Sun等[112]采用太赫兹透射成像系统对葵花籽的虫蚀、破损和完善粒的太赫兹数据进行扫描并在在0.5~2.0 THz成功区分,采用阈值分割对太赫兹图像进行处理,与RGB图像之间建立饱满度模型,得到独立预测集的决定系数和均方根误差分别为0.91%和4%。刘翠玲等[113]利用太赫兹时域透射成像技术获取图像后,利用形态学滤波算法滤波后通过K-均值聚类算法进行图像分割,实现对葵花籽破损粒、虫蚀粒、空壳粒的无损绿色检测。为了解决太赫兹图像在采集过程中由光源功率波动等因素造成的图像噪声大等问题,Jiang等[114]采用太赫兹三维光谱成像系统获取不同霉变程度的小麦图像如图8所示,可以看出小麦粒内部的区别,同时提出一种G-RRDB图像去噪模型,通过对图像去噪突出细节特征。针对传统太赫兹图像采集耗时的问题,Li等[115]将THz时域谱进行傅里叶变换后分析频谱的最大峰和特征峰确定特征频率,得到单频图像,实现对南瓜籽质量的快速检测。
表 3 太赫兹成像技术结合机器学习在粮食不完善粒检测中的应用Table 3. Application of terahertz imaging technology combined with machine learning in detecting unsound kernels in grain图像获取方式 检测类别 模型/算法 检测结果 不足 参考 太赫兹透射成像 完善粒
虫蚀粒
破损粒自适应阈值判断法 建立太赫兹图像和RGB图像之间的饱满度模型,预测集的RMSEP达4%。 样本的数据量只有80粒小麦;实时太赫兹成像的速度和分辨率有待提高。 Sun等[112]
(2020)太赫兹时域透射成像 破损粒
虫蚀粒
空壳粒形态学滤波和K-means 结合形态学滤波和K-均值图像分割方法实现葵花籽内部品质的带壳无损检测。 对图像进行分割时籽仁最中间部分被分割到与背景同类。 刘翠玲等[113]
(2020)太赫兹光谱成像 完善粒
霉变粒
生芽粒CBDNet、ResNet-50 提出一种CBDNet-V太赫兹光谱图像增强模型,解决由于成像系统和背景噪声等原因造成的太赫兹原始光谱图像质量差、特征不突出的问题。 小麦样本的数据量较少。 Jiang等[116]
(2022)太赫兹光谱成像 霉变粒 D-BLS、SVM、BPNN、CNN 提出一种基于去噪宽度学习(D-BLS)的霉变小麦太赫兹光谱图像识别方法,准确率达到93.13%。 D-BLS相较于传统BLS耗时较长。 葛宏义等[117]
(2023)太赫兹三维光谱成像 完善粒
霉变粒G-RRDB 提出一种太赫兹图像去噪模型G-RRDB,与基线模型和与DAB模块结合的基线模型得到的去噪图像相比,分别提高了1.7%和0.2% 所提出的模型的参数数量与基线模型相比增多。 Jiang等[114]
(2023)太赫兹时域光谱成像 完善粒
破损粒K-means 结合THz-TDS成像技术和K-means图像分割方法,实现南瓜籽内部破损的高效、准确检测。 单频图像在检测精度上存在一定
误差。Li等[115]
(2023)太赫兹时域光谱成像 完善粒
霉变粒
虫蚀粒
生芽粒BLS、R-F-BLS 提出一种R-F-BLS的分类模型,通过去噪、卷积特征提取和图像细节突出显着提高了图像处理质量,分类准确率达到了94.68%。 没有针对隐蔽物下的样品识别。 Jiang等[118]
(2024)通过太赫兹成像技术实现对部分粮食不完善粒的检测识别,利用其“图谱合一”和对物质的穿透特性可以检测样品的内部及底部缺陷,从而提高识别的准确性。但其样品内部结构的复杂性和多样性可能会导致数据深度特征提取和分析困难,影响预测模型的准确性和鲁棒性;而太赫兹波对水敏感,采集到的图像易受到环境干扰;同时数据种类和样本数量不足可能影响机器学习算法的分类和识别效果。
4. 存在问题与展望
4.1 存在问题
4.1.1 数据集标准化不足阻碍不完善粒深度广度分析
在现代粮食科学领域,数据集的完整性和标准化对利用机器学习技术进行不完善粒的识别至关重要。可见光成像获取的图像数据多但只能检测外观,而先进成像技术虽然能检测内部特征,但数据较少且不统一。现阶段粮食质量检测中的数据来源零散且缺乏检测标准,难以实现统一管理和控制。从深度分析角度来看,识别粮食不完善粒需要对数据集中的精细特征进行深入探究。数据的量化指标直接影响模型挖掘的信息深度。目前数据主要来源于研究人员自己采集的图像,可能存在噪声和系统误差等问题影响模型检测准确性。数据增强技术有助于提升模型的泛化能力,但不能补偿数据在特征维度上的不足。从广度分析角度来看,构建高泛化和高精度的识别模型需要整合多种类型和来源的数据。现有数据来源单一,模型可能无法应对实际情况的多样性,容易出现过拟合等现象。
4.1.2 多元因素综合制约检测精度提升
某些不完善粒图像可能具有隐蔽的外部形态特征,可见光成像技术难以捕捉这些边缘轮廓信息,影响检测精度。太赫兹成像等先进技术虽然能较为全面的检测粮食,但易受环境等因素的干扰。例如:热成像受背景温度影响;高光谱和多光谱成像受光照和传感器性能影响;太赫兹成像受噪声和光散射影响,同时系统灵敏度和分辨率限制降低了图像质量。这些因素会降低模型的性能和检测精度。结合机器学习方法构建模型时,模型过于简单无法捕捉某些隐蔽特征,从而降低泛化能力和检测精度。这些因素可能会导致粮食分类错误,影响农民和生产者的经济效益,严重时影响消费者的健康安全。
4.1.3 模型与设备智能程度不足影响检测效率
先进成像技术产生的大量数据增加了数据处理和分析的计算负担,现有粮食不完善粒检测模型处理大规模数据集的速度较慢,无法满足实时检测和反馈需求,影响田间管理和收获的及时性,导致生产效率下降。检测过程中使用的图像采集设备智能化程度不高,难以适应复杂多变的检测场景,增加了粮食质量控制的难度。同时图像预处理步骤繁琐,难以自动化执行且模型结构过于复杂进一步降低了实时性能,加剧了模型的时间和空间复杂度,难以满足实际应用场景的高效性和灵活性需求。
4.2 展望
4.2.1 构建标准数据集促进不完善粒全面分析
为提高粮食质量检测的准确性和标准化,未来可以根据国家标准分类构建包含多种产地和品种的粮食样品数据库。该数据库应包含通过可见光成像与各种先进成像技术获取的图像数据,覆盖虫蚀、未熟、霉变、病斑、生芽、破损、冻伤和烘伤等各类不完善粒样品,涵盖不完善粒的外观和内部特征信息,并标注导致不完善情况的各种因素(如机械破损),以促进对不完善粒的全面分析。通过增强数据集的完整性,实现对不完善粒高效、准确的定量和定性分析,提升粮食安全检测的标准化水平,全面控制和保障粮食质量,同时提高农业生产的稳定性和效率,推动机器学习及其他先进技术在粮食质量控制领域的应用。
4.2.2 多维策略优化提升检测准确性
太赫兹超材料器件具有超高检测灵敏度,是由亚波长尺寸的金属或介质材料单元周期性阵列组成的人工结构[119]。借助超表面可突破光学衍射极限,实现超分辨成像和纳米激光器等器件的开发和集成。未来可结合太赫兹超材料器件,突破衍射极限,提高检测速度和准确性;通过改进硬件系统,例如开发出更高灵敏度、更低成本的探测器,提升分辨率和成像质量;通过使用高效滤波和信号处理方法减少噪声、光散射等环境干扰对原始数据信号和图像的影响;考虑多模态融合,结合多种成像技术(如可见光成像与太赫兹成像技术相结合)和传感器信息,通过多源数据融合显著提高检测模型性能,实现粮食质量全面且系统性的评估;优化模型的参数,构建更简便、精准的不完善粒检测模型,增强对不同检测样品的适用性和检测精度,提高模型泛化能力。实现不完善粒的精准检测,有效降低食品质量安全隐患,保障消费者的健康安全并减少因质量问题带来的经济损失,推动粮食产业的高质量发展。
4.2.3 结合AI实现实时智能检测
研究高效的数据处理算法,采用并行或分布式计算技术,加快数据处理速度,提高粮食不完善粒检测的数据分析效率;研究有效的预处理方法和简洁高效的模型架构,保证检测的实时性;结合人工智能技术,将智能算法集成至图像采集平台,实现图像信息的自动融合处理。引入优化的数据增强和迁移学习技术,提高模型对不同粮食种类和不完善粒特征的自适应能力,实现更高效精准的粮食品质检测;也可结合物联网技术开发智能检测系统,实时采集和传输数据,提升检测的实时性和智能化水平。形成集用户管理、数据库管理、数据读取、预处理和分析等功能于一体的人机交互平台,满足粮食不完善粒在线、实时且快速的检测需求,推动农业技术的进步和创新,助力现代农业的可持续发展,全面促进粮食质量控制的进步。
5. 结论
粮食中不完善粒的存在会导致粮食质量下降和安全隐患,对不完善粒的检测是评估粮食品质的有效手段,对于保障粮食安全意义重大。研究者们采用一系列的检测方法并取得了显著成就。传统的人工和化学等检测方法对设备要求较少,但操作繁琐、耗时耗力,难以实现自动化,且易出现漏检情况。通过不断创新和技术进步,将成像技术与机器学习算法相结合,为粮食不完善粒检测带来了新的突破。这些方法具有更高的检测速度和准确性,能够全面检测粮食的外观和内部信息,避免漏检现象的发生。然而,这些技术也存在一定的局限性,如数据集标准化不足阻碍不完善粒深度广度分析、硬件和环境等因素制约检测精度以及模型与设备智能程度不足影响检测效率等。本文综述了将成像技术结合机器学习方法应用于粮食不完善粒快速检测的研究现状,指出了当前检测中面临的挑战,并针对这些问题进行了展望,以期为粮食不完善粒的检测创新应用提供有益参考。
-
表 1 基于视觉外观的粮食不完善粒检测应用
Table 1 Application of visual appearance based detection of incomplete grain grains
图像获取方式 检测类别 模型/算法 检测结果 不足 参考 线扫描彩色相机拍摄 完善粒
破损粒K-means、ResNet、CNN 提出一种嵌入深度CNN分类器的玉米自动检测机,采用一种新的K-means引导曲率方法对玉米粒进行预处理,在测试图像数据集中的准确率达到98.2%。 仅使用两张二维图像来描述三维物体会丢失一些空间信息;曲率法只针对两种双接触情况,实际应用过程中可能有更复杂的案列。 Ni等[84]
(2019)相机拍摄 完善粒
虫蚀粒ANN、ELM 采用基于人工蜂群(ABC)优化的ANN和极限学习机(ELM)算法对受损小麦粒进行分类,平均绝对误差分别为0.00174和0.00433。 样本数据集较少;模型评价指标较少,不能全面评估模型性能。 Sabanci等[85]
(2020)工业摄像机
拍摄完善粒
破损粒SVM、K-means 能够准确分割粘连种子,采用SVM结合多视角形状特征实现对大豆种子完善粒和破损粒的准确分类。 振动台与视场的距离影响进入视场的种子的初始速度,可能影响获得的种子形态数量。 Chen等[80]
(2022)工业摄像机
拍摄完善粒
破碎粒
生芽粒
破损粒
霉变粒
病斑粒GoogleNet、ResNet、DenseNet和ShuffleNet 改变模型深度、宽度、下采样方式、卷积顺序和注意机制,建立Res24_D_CBAM_Atrous模型,能够实现对小麦6种不完善粒的识别,精确度可达94%。 检测设备的自动化水平有待提高;未分割更复杂的粘连情况;不完善粒数据集规模较小,标准化水平不高。 Gao等[86]
(2022)相机拍摄 完善粒
破损粒MSRCR、CNN 实现大豆种子正常、受损、异常和不可分类的四级分类, F-score值分别约为95.97%、97.41%、97.25%和96.14%。 数据集小,分类精度略低于其他分类模型。 Lin等[83]
(2023)工业相机拍摄 完善粒
破损粒
生芽粒
霉变粒
杂质VggNet-16-W、ResNet34-W、EfficientNet-b2-W和DenseNet121-W 提出了一种基于深度学习的小麦籽粒识别方法,实现了对小麦完善粒、破损粒、杂质、生芽粒和霉变粒的准确识别,识别率最高可达96%。 模型只针对单粒小麦图像,且因不完善粒的数据量不足导致模型的泛化能力较差 Han等[87]
(2023)表 2 多光谱和高光谱成像技术结合机器学习在粮食不完善粒检测中的应用
Table 2 Application of combining multispectral and hyperspectral imaging techniques with machine learning in detecting unsound kernels in grain
图像获取方式 检测类别 模型/算法 检测结果 不足 参考 多光谱成像 热损伤粒
破损粒
其他杂质PCA、PLS-DA 建立PLS-DA模型,在区分完善和不完善粒玉米方面表现良好,交叉验证的决定系数和分类准确率分别在0.35~0.99和83%~100%之间。 使用的预制仪器的分类精度和稳健性低于专门针对谷物技术应用的多光谱仪器。 Sendin等[100]
(2018)近红外高光谱成像 完善粒
赤霉病粒LDA、SVM 光谱样品中的籽粒可以随机排列;基于四个波长(1100、1197、1308和1394 nm)下每个颗粒的内部像元,建立了完善粒和霉病粒的线性判别分析模型;一次成像过程可以对数百粒进行处理,将处理时间缩短到每粒毫秒级。 对外观模糊不清样品的判别准确性不高。 Delwiche等[103]
(2019)高光谱成像 完善粒
赤霉病粒PCA、DCNN 基于光谱特征、图像特征以及两者的融合特征建立RF模型,确定最优特征数据集。基于最优特征数据集建立深度卷积神经网络,其中最准确预测赤霉病严重程度的DCNN模型的R2=0.97,RMSE=3.78。 DCNN对处理器硬件要求高,需要强大的CPU支持;不同品种、地点和年份的小麦对模型的影响需要进一步研究。 Zhang等[104]
(2020)近红外高光谱成像 生芽粒 CARS、SPA、LDA、SVM、DF 获得小麦籽粒两侧的高光谱图像,将LDA和SVM与一种特殊的深度学习模型(DF)相结合建立分类模型。结果显示使用逆侧光谱数据的建模效果略好于腹侧光谱数据。 在数据采集过程中,每颗小麦粒必须从一边翻转到另一边后固定在同一位置,耗时且繁琐。 Zhang等[105]
(2020)高光谱成像 虫蚀粒
破损粒
生芽粒
未熟粒
热损伤粒
冻伤粒
霉变粒PLS-DA 为南非玉米产业提供一种准确且经济实惠的近红外光谱成像白玉米分级自动化分析技术。同时对南非玉米分级立法规定的17个类别和子类别进行分类。 人工分级的准确性难以确定,并且难以与替代方法进行准确
比较。Sendin等[106]
(2021)高光谱成像 AFB1污
染粒SGS、SNV、SVM 提取并综合了AFB1污染花生的光谱特征、颜色特征和质地特征,采用SVM方法对验证集的分类准确率为94%。 获取的光谱信息较少;纹理特征提取算法单一。 He等[107]
(2021)高光谱成像 完善粒
虫蚀粒SNV、SPA、LDA 提出一种基于多角度近红外高光谱数据的模型标定方法,构建SNV-SPA-LDA混合模型的分类准确率为97%。 只针对小麦粒表面有虫孔的样品,未考虑粮食内部存在虫卵或幼虫的数据。 Zhang等[97]
(2021)高光谱成像 霉变粒 SPA、LDA 采用SPA选择有效波长,建立LDA模型,对花生霉变粒在验证集上的识别准确率为100%。 研究样本数量较少,对模型的分类精度影响较大。 Sun等[98]
(2021)多光谱成像 ZEN污染 BPNN、PLS-DA、SVM、GA、PCA GA-BPNN是玉米中ZEN的最佳定性和定量检测方法,污染程度检测的最佳准确率达93.33%。 − Liu等[101]
(2022)多光谱成像 完善粒
霉变粒
破损粒Faster-RCNN、SSD、YOLO 提出一种将分水岭分割算法与Corn-seed-Net模型相结合的端到端玉米种子目标检测模型,降低了网络的复杂度,可以准确获取目标的位置,同时不用对图像进行手工标注。 网络结构有待进一步优化 Wang等[108]
(2022)近红外高光谱成像 完善粒
生芽粒
霉变粒
赤霉病粒CNN、SVM、DT 提出一种基于深度卷积生成对抗网络(DCGAN)和近红外高光谱成像技术的小麦不健全籽粒识别新方法。DCGAN方法能够为不平衡数据集生成可靠的数据样本,提高分类器的性能。 GAN参数设置和网络架构构建复杂;检测模型的准确率有待
提高。Li等[109]
(2022)高光谱成像 完善粒
破损粒SSFE-FCNN 提出一种新的光谱-空间特征提取增强全连接神经网络(SSFE-FCNN)分类方法,优于SVM和目前流行的神经网络方法,在糯玉米像素分类中的总体准确率高达98.09%。误检率和漏检率分别为2.08%和1.96%。 通过对HSI中的每个像素进行分类来检测机械损伤,限制了测试过程中的速度;糯玉米品种影响机械损伤检测; Liu等[110]
(2023)高光谱成像 完善粒
生芽粒CNN 提取随机放置小麦(轻微发芽与完善粒)的平均光谱,结合3D CNN模型的检测结果最好,准确率、精密度和召回率等评价指标分别达到98.40%、98.36%和98.45%。 随着训练数据的增加,模型的计算量和复杂度提高。 Zhu等[99]
(2023)高光谱成像 真菌感染 SPA、PCA、PLS-DA、RF、SVM、CNN-RB 采用PLS-DA、RF、SVM和卷积神经网络(CNN-RB)建立了不同融合策略的分类模型,其中基于光谱特征的建模性能优于基于颜色和纹理特征的建模性能。 受样品种类、数量以及仪器采集光谱范围的限制,模型的有效性和稳定性需进一步优化。 Xu等[111]
(2023)多光谱成像 完善粒
生芽粒PLS-DA、SO-PLS-LDA、SO-CovSel-LDA 利用PLS-DA、多块序贯正交偏最小二乘线性判别分析(SO-PLS-LDA)和序贯正交协方差选择线性判别分析(SO-CovSel-LDA)的化学计量学方法建立分类模型,将波段数量减少到8和5,分类结果在99%以上。 必须根据外壳平台的规格设计和建造使用本研究中所示特定波段的多光谱仪器;每年收获前需要对仪器重新校准。 Orth等[102]
(2023)表 3 太赫兹成像技术结合机器学习在粮食不完善粒检测中的应用
Table 3 Application of terahertz imaging technology combined with machine learning in detecting unsound kernels in grain
图像获取方式 检测类别 模型/算法 检测结果 不足 参考 太赫兹透射成像 完善粒
虫蚀粒
破损粒自适应阈值判断法 建立太赫兹图像和RGB图像之间的饱满度模型,预测集的RMSEP达4%。 样本的数据量只有80粒小麦;实时太赫兹成像的速度和分辨率有待提高。 Sun等[112]
(2020)太赫兹时域透射成像 破损粒
虫蚀粒
空壳粒形态学滤波和K-means 结合形态学滤波和K-均值图像分割方法实现葵花籽内部品质的带壳无损检测。 对图像进行分割时籽仁最中间部分被分割到与背景同类。 刘翠玲等[113]
(2020)太赫兹光谱成像 完善粒
霉变粒
生芽粒CBDNet、ResNet-50 提出一种CBDNet-V太赫兹光谱图像增强模型,解决由于成像系统和背景噪声等原因造成的太赫兹原始光谱图像质量差、特征不突出的问题。 小麦样本的数据量较少。 Jiang等[116]
(2022)太赫兹光谱成像 霉变粒 D-BLS、SVM、BPNN、CNN 提出一种基于去噪宽度学习(D-BLS)的霉变小麦太赫兹光谱图像识别方法,准确率达到93.13%。 D-BLS相较于传统BLS耗时较长。 葛宏义等[117]
(2023)太赫兹三维光谱成像 完善粒
霉变粒G-RRDB 提出一种太赫兹图像去噪模型G-RRDB,与基线模型和与DAB模块结合的基线模型得到的去噪图像相比,分别提高了1.7%和0.2% 所提出的模型的参数数量与基线模型相比增多。 Jiang等[114]
(2023)太赫兹时域光谱成像 完善粒
破损粒K-means 结合THz-TDS成像技术和K-means图像分割方法,实现南瓜籽内部破损的高效、准确检测。 单频图像在检测精度上存在一定
误差。Li等[115]
(2023)太赫兹时域光谱成像 完善粒
霉变粒
虫蚀粒
生芽粒BLS、R-F-BLS 提出一种R-F-BLS的分类模型,通过去噪、卷积特征提取和图像细节突出显着提高了图像处理质量,分类准确率达到了94.68%。 没有针对隐蔽物下的样品识别。 Jiang等[118]
(2024) -
[1] CHEN Z X, WU W F, DOU J P, et al. Design and analysis of a radio-frequency moisture sensor for grain based on the difference method[J]. Micromachines,2021,12(6):708. doi: 10.3390/mi12060708
[2] 国家市场监督管理总局. GB/T 5494-2019, 粮油检验 粮食、油料的杂质、不完善粒检验[S]. 北京:中国标准出版社. [State Administration for Market Regulation. GB/T 5494-2019 Inspection of grain and oils—Determination of foreign matter and unsound kernels of grain and oilseeds[S]. Beijing:Standards Press of China, 2019.] State Administration for Market Regulation. GB/T 5494-2019 Inspection of grain and oils—Determination of foreign matter and unsound kernels of grain and oilseeds[S]. Beijing: Standards Press of China, 2019.
[3] STARR G, BREDIE W L P, HANSEN Å S. Sensory profiles of cooked grains from wheat species and varieties[J]. Journal of Cereal Science,2013,57(3):295−303. doi: 10.1016/j.jcs.2012.11.014
[4] SIDEL J L, STONE H. The role of sensory evaluation in the food industry[J]. Food Quality and Preference,1993,4(1−2):65−73. doi: 10.1016/0950-3293(93)90314-V
[5] 国家市场监督管理总局. GB/T 22504.1-2008, 粮油检验 粮食感官检验辅助图谱 第1部分:小麦[S]. 北京:中国标准出版社. [State Administration for Market Regulation. GB/T 22504.1-2008, Grain and oil inspection auxiliary chart for sensory inspection of grain part 1:wheat[S]. Beijing:Standards Press of China, 2019.] State Administration for Market Regulation. GB/T 22504.1-2008, Grain and oil inspection auxiliary chart for sensory inspection of grain part 1: wheat[S]. Beijing: Standards Press of China, 2019.
[6] 国家市场监督管理总局. GB/T 22504.2-2018, 粮油检验 粮食感官检验辅助图谱 第2部分:玉米[S]. 北京:中国标准出版社. [State Administration for Market Regulation. GB/T 22504.2-2018, Grain and oil inspection auxiliary chart for sensory inspection of grain part 2:corn[S]. Beijing:Standards Press of China, 2019.] State Administration for Market Regulation. GB/T 22504.2-2018, Grain and oil inspection auxiliary chart for sensory inspection of grain part 2: corn[S]. Beijing: Standards Press of China, 2019.
[7] 国家市场监督管理总局. GB/T 22504.3-2018, 粮油检验 粮食感官检验辅助图谱 第3部分:稻谷[S]. 北京:中国标准出版社. [State Administration for Market Regulation. GB/T 22504.3-2018. Grain and oil inspection auxiliary chart for sensory inspection of grain part 3:rice[S]. Beijing:Standards Press of China, 2019.] State Administration for Market Regulation. GB/T 22504.3-2018. Grain and oil inspection auxiliary chart for sensory inspection of grain part 3: rice[S]. Beijing: Standards Press of China, 2019.
[8] TSUZUKI W, SUZUKI Y, YAMADA S, et al. Effect of oxygen absorber on accumulation of free fatty acids in brown rice and whole grain wheat during storage[J]. LWT-Food Science and Technology,2014,58(1):222−229. doi: 10.1016/j.lwt.2014.02.015
[9] 应义斌, 蔡东平, 何卫国, 等. 农产品声学特性及其在品质无损检测中的应用[J]. 农业工程学报,1997(3):213−217. [YING Yibin, CAI Dongping, HE Weiguo, et al. Acoustic properties of fresh agricultural products and its application in non-destructive quality evaluation[J]. Transactions of the Chinese Society of Agricultural Engineering,1997(3):213−217.] doi: 10.3321/j.issn:1002-6819.1997.03.045 YING Yibin, CAI Dongping, HE Weiguo, et al. Acoustic properties of fresh agricultural products and its application in non-destructive quality evaluation[J]. Transactions of the Chinese Society of Agricultural Engineering, 1997(3): 213−217. doi: 10.3321/j.issn:1002-6819.1997.03.045
[10] GUO M, MA Y T, YANG X L, et al. Detection of damaged wheat kernels using an impact acoustic signal processing technique based on Gaussian modelling and an improved extreme learning machine algorithm[J]. Biosystems Engineering,2019,184:37−44. doi: 10.1016/j.biosystemseng.2019.04.022
[11] SUN X H, GUO M, MA M, et al. Identification and classification of damaged corn kernels with impact acoustics multi-domain patterns[J]. Computers and Electronics in Agriculture,2018,150:152−161. doi: 10.1016/j.compag.2018.04.008
[12] YANG X J, GUO M, LYU Q S, et al. Detection and classification of damaged wheat kernels based on progressive neural architecture search[J]. Biosystems Engineering,2021,208:176−185. doi: 10.1016/j.biosystemseng.2021.05.016
[13] PEARSON T C, CETIN A E, TEWFIK A H, et al. Feasibility of impact-acoustic emissions for detection of damaged wheat kernels[J]. Digital Signal Processing,2007,17(3):617−633. doi: 10.1016/j.dsp.2005.08.002
[14] LIU J W, YANG M L, HE M X, et al. Rapid and selective detection of AFB1 by direct mass spectrometry using immunoaffinity paper substrate[J]. Microchemical Journal,2024,196:109439. doi: 10.1016/j.microc.2023.109439
[15] GAB-ALLAH M A, CHOI K, KIM B. Accurate determination of type B trichothecenes and conjugated deoxynivalenol in grains by isotope dilution–liquid chromatography tandem mass spectrometry[J]. Food Control,2021,121:107557. doi: 10.1016/j.foodcont.2020.107557
[16] BUERANO J, ZALAMEDA J, RUIZ R S. Microphone system optimization for free fall impact acoustic method in detection of rice kernel damage[J]. Computers and Electronics in Agriculture,2012,85:140−148. doi: 10.1016/j.compag.2012.04.014
[17] LU D, JIANG H, ZHANG G Y, et al. An in situ generated prussian blue nanoparticle-mediated multimode nanozyme-linked immunosorbent assay for the detection of aflatoxin B1[J]. ACS Applied Materials & Interfaces,2021,13(22):25738−25747.
[18] KOKLU M, OZKAN I A. Multiclass classification of dry beans using computer vision and machine learning techniques[J]. Computers and Electronics in Agriculture,2020,174:105507. doi: 10.1016/j.compag.2020.105507
[19] KHOEI T T, SLIMANE H O, KAABOUCH N. Deep learning:Systematic review, models, challenges, and research directions[J]. Neural Computing & Applications,2023,35(31):23103−23124.
[20] YANG K X, YANG W, CHEN Z S, et al. A review on infrared and visible image fusion algorithms based on neural networks[J]. Journal of Visual Communication and Image Representation, 2024:104179.
[21] FENG L, WU B H, ZHU S S, et al. Application of visible/infrared spectroscopy and hyperspectral imaging with machine learning techniques for identifying food varieties and geographical origins[J]. Frontiers in Nutrition,2021,8:680357. doi: 10.3389/fnut.2021.680357
[22] WADA T, KIKUCHI K, OBARA M, et al. Improvement of image quality for bright-blood image in VISIBLE (volume isotropic simultaneous interleaved bright-and black-blood examination) by using k-space reordering and startup echoes[J]. Magnetic Resonance Imaging, 2024.
[23] TORABI A, MASSE G, BILODEAU G A. An iterative integrated framework for thermal–visible image registration, sensor fusion, and people tracking for video surveillance applications[J]. Computer Vision and Image Understanding,2012,116(2):210−221. doi: 10.1016/j.cviu.2011.10.006
[24] BANGA K S, KOTWALIWALE N, MOHAPATRA D, et al. Techniques for insect detection in stored food grains:An overview[J]. Food Control,2018,94:167−176. doi: 10.1016/j.foodcont.2018.07.008
[25] 卢雪晶, 葛宏义, 蒋玉英, 等. 太赫兹技术在农产品检测中的应用研究进展[J]. 光谱学与光谱分析,2022,42(11):3330−3335. [LU Xuejing, GE Hongyi, JIANG Yuying, et al. Application progress of terahertz technology in agriculture detection[J]. Spectroscopy and Spectral Analysis,2022,42(11):3330−3335.] LU Xuejing, GE Hongyi, JIANG Yuying, et al. Application progress of terahertz technology in agriculture detection[J]. Spectroscopy and Spectral Analysis, 2022, 42(11): 3330−3335.
[26] ZHANG G X. Machine learning in X-ray imaging and microscopy applications[J]. Advanced X-ray Imaging of Electrochemical Energy Materials and Devices, 2021:205−221.
[27] TEMPELAERE A, DE KETELAERE B, HE J, et al. An introduction to artificial intelligence in machine vision for postharvest detection of disorders in horticultural products[J]. Postharvest Biology and Technology,2023,206:112576. doi: 10.1016/j.postharvbio.2023.112576
[28] VATS S, SHARMA V, SINGH K, et al. Incremental learning-based cascaded model for detection and localization of tuberculosis from chest x-ray images[J]. Expert Systems with Applications,2024,238:122129. doi: 10.1016/j.eswa.2023.122129
[29] OLAKANMI S, KARUNAKARAN C, JAYAS D. Applications of X-ray micro-computed tomography and small-angle X-ray scattering techniques in food systems:A concise review[J]. Journal of Food Engineering,2023,342:111355. doi: 10.1016/j.jfoodeng.2022.111355
[30] 张红涛, 裴震宇, 张晓东, 等. 基于Micro-CT的麦粒内害虫侵染研究[J]. 农业工程学报,2019,35(3):274−280. [ZHANG Hongtao, PEI Zhenyu, ZHANG Xiaodong, et al. Research on changes of insect infestation in wheat grain for Micro-computed tomography[J]. Transactions of the Chinese Society of Agricultural Engineering,2019,35(3):274−280.] doi: 10.11975/j.issn.1002-6819.2019.03.034 ZHANG Hongtao, PEI Zhenyu, ZHANG Xiaodong, et al. Research on changes of insect infestation in wheat grain for Micro-computed tomography[J]. Transactions of the Chinese Society of Agricultural Engineering, 2019, 35(3): 274−280. doi: 10.11975/j.issn.1002-6819.2019.03.034
[31] ZHOU Y, HUI Y B, FENG L F, et al. A method for reconstructing the internal morphological structure of wheat kernels upon Sitophilus zeamais infestation[J]. Journal of Stored Products Research,2020,88:101676. doi: 10.1016/j.jspr.2020.101676
[32] ELMASRY G, ELGAMAL R, MANDOUR N, et al. Emerging thermal imaging techniques for seed quality evaluation:Principles and applications[J]. Food Research International,2020,131:109025. doi: 10.1016/j.foodres.2020.109025
[33] ALI M M, HASHIM N, ABD AZIZ S, et al. Emerging non-destructive thermal imaging technique coupled with chemometrics on quality and safety inspection in food and agriculture[J]. Trends in Food Science & Technology,2020,105:176−185.
[34] GOMATHI P, MUNIRAJ C, PERIASAMY P S. Digital infrared thermal imaging system based breast cancer diagnosis using 4D U-Net segmentation[J]. Biomedical Signal Processing and Control,2023,85:104792. doi: 10.1016/j.bspc.2023.104792
[35] TEET S E, HASHIM N. Recent advances of application of optical imaging techniques for disease detection in fruits and vegetables:A review[J]. Food Control,2023,152:109849. doi: 10.1016/j.foodcont.2023.109849
[36] MAHESH S, JAYAS D S, PALIWAL J, et al. Hyperspectral imaging to classify and monitor quality of agricultural materials[J]. Journal of Stored Products Research,2015,61:17−26. doi: 10.1016/j.jspr.2015.01.006
[37] WANG Y, OU X, HE H J, et al. Advancements, limitations and challenges in hyperspectral imaging for comprehensive assessment of wheat quality:An up-to-date review[J]. Food Chemistry:X,2024,21:101235.
[38] LI G, CHENG L Y, LIU S Y, et al. Non-invasive detection of haemoglobin, platelets, and total bilirubin using hyperspectral cameras[J]. Talanta,2023,260:124634. doi: 10.1016/j.talanta.2023.124634
[39] HE H J, SUN D W. Hyperspectral imaging technology for rapid detection of various microbial contaminants in agricultural and food products[J]. Trends in Food Science & Technology,2015,46(1):99−109.
[40] WANG C Y, LIU B H, LIU L P, et al. A review of deep learning used in the hyperspectral image analysis for agriculture[J]. Artificial Intelligence Review,2021,54(7):5205−5253. doi: 10.1007/s10462-021-10018-y
[41] YAN L, XIONG C W, QU H, et al. Non-destructive determination and visualisation of insoluble and soluble dietary fibre contents in fresh-cut celeries during storage periods using hyperspectral imaging technique[J]. Food Chemistry,2017,228:249−256. doi: 10.1016/j.foodchem.2017.02.010
[42] QIN J, CHAO K, KIM M S, et al. Hyperspectral and multispectral imaging for evaluating food safety and quality[J]. Journal of Food Engineering,2013,118(2):157−171. doi: 10.1016/j.jfoodeng.2013.04.001
[43] ZHANG Y L, ZHAO D H, LIU H C, et al. Research hotspots and frontiers in agricultural multispectral technology:Bibliometrics and scientometrics analysis of the Web of Science[J]. Frontiers in Plant Science,2022,13:955340. doi: 10.3389/fpls.2022.955340
[44] STRZEPEK K, SALACH M, TRYBUS B, et al. Quantitative and qualitative analysis of agricultural fields based on aerial multispectral images using neural networks[J]. Sensors,2023,23(22):9251. doi: 10.3390/s23229251
[45] SHAIK N E K, WIDDICOMBE B, SUN D C, et al. Longwave infrared multispectral image sensor system using aluminum-germanium plasmonic filter arrays[J]. Nano Research,2023,16(7):10018−10025. doi: 10.1007/s12274-023-5669-z
[46] KOTTNER S, SCHULZ M M, BERGER F, et al. Beyond the visible spectrum - applying 3D multispectral full-body imaging to the VirtoScan system[J]. Forensic Science, Medicine and Pathology,2021,17:565−576. doi: 10.1007/s12024-021-00420-x
[47] CHAMUNDEESWARI G, SRINIVASAN S, BHARATHI S P, et al. Optimal deep convolutional neural network based crop classification model on multispectral remote sensing images[J]. Microprocessors and Microsystems,2022,94:104626. doi: 10.1016/j.micpro.2022.104626
[48] ZHAO Y, ZHANG X C, FENG W M, et al. Deep learning classification by ResNet-18 based on the real spectral dataset from multispectral remote sensing images[J]. Remote Sensing,2022,14(19):4883. doi: 10.3390/rs14194883
[49] TAO C X, MENG Y Z, LI J J, et al. MSNet:Multispectral semantic segmentation network for remote sensing images[J]. GIScience & Remote Sensing,2022,59(1):1177−1198.
[50] DUNKER S, BOYD M, DURKA W, et al. The potential of multispectral imaging flow cytometry for environmental monitoring[J]. Cytometry Part A,2022,101(9):782−799. doi: 10.1002/cyto.a.24658
[51] SARA D, MANDAVA A K, KUMAR A, et al. Hyperspectral and multispectral image fusion techniques for high resolution applications:A review[J]. Earth Science Informatics,2021,14(4):1685−1705. doi: 10.1007/s12145-021-00621-6
[52] DANIEL M. Device physics:A terahertz modulator[J]. Nature,2006,444:560−561. doi: 10.1038/444560a
[53] OH S J, KANG J, MAENG I, et al. Nanoparticle-enabled terahertz imaging for cancer diagnosis[J]. Opt Express,2009,17(5):3469−3475. doi: 10.1364/OE.17.003469
[54] ZEITLER J A, SHEN Y, BAKER C, et al. Analysis of coating structures and interfaces in solid oral dosage forms by three dimensional terahertz pulsed imaging[J]. Journal of Pharmaceutical Sciences,2007,96(2):330−340. doi: 10.1002/jps.20789
[55] RUSSE I S, BROCK D, KNOP K, et al. Validation of terahertz coating thickness measurements using X-ray microtomography[J]. Molecular Pharmaceutics,2012,9(12):3551−3559. doi: 10.1021/mp300383y
[56] SCHERGER B, REUTER M, SCHELLER M, et al. Discrete terahertz beam steering with an electrically controlled liquid crystal device[J]. Journal of Infrared, Millimeter, and Terahertz Waves,2012,33(11):1117−1122. doi: 10.1007/s10762-012-9927-5
[57] LIU Y, PU H B, LI Q, et al. Discrimination of Pericarpium Citri reticulatae in different years using Terahertz Time-Domain spectroscopy combined with convolutional neural network[J]. Spectrochimica Acta Part A:Molecular and Biomolecular Spectroscopy,2023,286:122035. doi: 10.1016/j.saa.2022.122035
[58] JIANG Y Y, LI G M, LÜ M, et al. Determination of potassium sorbate and sorbic acid in agricultural products Using THz time-domain spectroscopy[J]. Chinese Physics B,2020,29(9):098705. doi: 10.1088/1674-1056/ab9f25
[59] ZHANG J, LI S, LE W D. Advances of terahertz technology in neuroscience:Current status and a future perspective[J]. iScience,2021,24(12):103548. doi: 10.1016/j.isci.2021.103548
[60] AFSAH-HEJRI L, AKBARI E, TOUDESHKI A, et al. Terahertz spectroscopy and imaging:A review on agricultural applications[J]. Computers and Electronics in Agriculture,2020,177:105628. doi: 10.1016/j.compag.2020.105628
[61] AMODU O A, JARRAY C, BUSARI S A, et al. THz-enabled UAV communications:Motivations, results, applications, challenges, and future considerations[J]. Ad Hoc Networks,2023,140:103073. doi: 10.1016/j.adhoc.2022.103073
[62] YANG X, WU T, ZHANG L, et al. CNN with spatio-temporal information for fast suspicious object detection and recognition in THz security images[J]. Signal Processing,2019,160:202−214. doi: 10.1016/j.sigpro.2019.02.029
[63] MA J, SHRESTHA R, ADELBERG J, et al. Security and eavesdropping in terahertz wireless links[J]. Nature,2018,563(7729):89−93. doi: 10.1038/s41586-018-0609-x
[64] CONG M Y, LI W, LIU Y, et al. Biomedical application of terahertz imaging technology:A narrative review[J]. Quantitative Imaging in Medicine and Surgery,2023,13(12):8768. doi: 10.21037/qims-23-526
[65] GE H Y, SUN Z Y, JIANG Y Y, et al. Recent advances in THz detection of water[J]. International Journal of Molecular Sciences,2023,24(13):10936. doi: 10.3390/ijms241310936
[66] CHAUHAN V K, DAHIYA K, SHARMA A. Problem formulations and solvers in linear SVM:A review[J]. Artificial Intelligence Review,2019,52(2):803−855. doi: 10.1007/s10462-018-9614-6
[67] SPEISER J L, MILLER M E, TOOZE J, et al. A comparison of random forest variable selection methods for classification prediction modeling[J]. Expert Systems with Applications,2019,134:93−101. doi: 10.1016/j.eswa.2019.05.028
[68] AWAIS M, NAQVI S, ZHANG H, et al. AI and machine learning for soil analysis:An assessment of sustainable agricultural practices[J]. Bioresources and Bioprocessing,2023,10(1):90. doi: 10.1186/s40643-023-00710-y
[69] KANUNGO T, MOUNT D M, NETANYAHU N S, et al. An efficient k-means clustering algorithm:Analysis and implementation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(7):881−892. doi: 10.1109/TPAMI.2002.1017616
[70] MURTAGH F, CONTRERAS P. Algorithms for hierarchical clustering:An overview, II[J]. Wiley Interdisciplinary Reviews:Data Mining and Knowledge Discovery,2017,7(6):e1219. doi: 10.1002/widm.1219
[71] JIA W K, SUN M L, LIAN J, et al. Feature dimensionality reduction:A review[J]. Complex & Intelligent Systems,2022,8(3):2663−2693.
[72] ESTEKI M, SHAHSAVARI Z, SIMAL-GANDARA J. Use of spectroscopic methods in combination with linear discriminant analysis for authentication of food products[J]. Food Control,2018,91:100−112. doi: 10.1016/j.foodcont.2018.03.031
[73] ALBAHAR M. A survey on deep learning and its impact on agriculture:Challenges and opportunities[J]. Agriculture,2023,13(3):540. doi: 10.3390/agriculture13030540
[74] LIU Y, PU H, SUN D W. Efficient extraction of deep image features using convolutional neural network (CNN) for applications in detecting and analysing complex food matrices[J]. Trends in Food Science & Technology,2021,113:193−204.
[75] GOODFELLOW I, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial networks[J]. Communications of the ACM,2020,63(11):139−144. doi: 10.1145/3422622
[76] SHERSTINSKY A. Fundamentals of recurrent neural network (RNN) and long short-term memory (LSTM) network[J]. Physica D:Nonlinear Phenomena,2020,404:132306. doi: 10.1016/j.physd.2019.132306
[77] NI B C, PAULSEN M R, LIAO K, et al. An automated corn kernel inspection system using machine vision[C]//American Society of Agricultural Engineers Meeting. 1993.
[78] OLGUN M, ONARCAN A O, ÖZKAN K, et al. Wheat grain classification by using dense SIFT features with SVM classifier[J]. Computers and Electronics in Agriculture,2016,122:185−190. doi: 10.1016/j.compag.2016.01.033
[79] 孟繁佳, 罗石, 孙红, 等. 玉米种子实时检测分选装置设计与试验[J]. 农业机械学报,2021,52(3):153−159,177. [MENG Fanjia, LUO Shi, SUN Hong, et al. Design and experiment of real-time detection and sorting device for maize seeds[J]. Transactions of the Chinese Society for Agricultural Machinery,2021,52(3):153−159,177.] doi: 10.6041/j.issn.1000-1298.2021.03.016 MENG Fanjia, LUO Shi, SUN Hong, et al. Design and experiment of real-time detection and sorting device for maize seeds[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(3): 153−159,177. doi: 10.6041/j.issn.1000-1298.2021.03.016
[80] CHEN Z Q, FAN W J, LUO Z, et al. Soybean seed counting and broken seed recognition based on image sequence of falling seeds[J]. Computers and Electronics in Agriculture,2022,196:106870. doi: 10.1016/j.compag.2022.106870
[81] ZHAO W Y, LIU S Y, LI X Y, et al. Fast and accurate wheat grain quality detection based on improved YOLOv5[J]. Computers and Electronics in Agriculture,2022,202:107426. doi: 10.1016/j.compag.2022.107426
[82] SHEN R, ZHEN T, LI Z H. Segmentation of unsound wheat kernels based on improved mask RCNN[J]. Sensors,2023,23(7):3379. doi: 10.3390/s23073379
[83] LIN W, SHU L, ZHONG W, et al. Online classification of soybean seeds based on deep learning[J]. Engineering Applications of Artificial Intelligence,2023,123:106434. doi: 10.1016/j.engappai.2023.106434
[84] NI C, WANG D, VINSON R, et al. Automatic inspection machine for maize kernels based on deep convolutional neural networks[J]. Biosystems Engineering,2019,178:131−144. doi: 10.1016/j.biosystemseng.2018.11.010
[85] SABANCI K. Detection of sunn pest detection of sunn pest-damaged wheat grains using artificial bee colony optimization‐based artificial intelligence techniques[J]. Journal of the Science of Food and Agriculture,2020,100(2):817−824. doi: 10.1002/jsfa.10093
[86] GAO H, ZHEN T, LI Z H. Detection of wheat unsound kernels based on improved ResNet[J]. IEEE Access,2022,10:20092−20101. doi: 10.1109/ACCESS.2022.3147838
[87] HAN K E, ZHANG N, XIE H, et al. An improved strategy of wheat kernel recognition based on deep learning[J]. Dyna,2023,98(1):91−97. doi: 10.6036/10686
[88] NEETHIRAJAN S, JAYAS D S, WHITE N D G. Detection of sprouted wheat kernels using soft X-ray image analysis[J]. Journal of Food Engineering,2007,81(3):509−513. doi: 10.1016/j.jfoodeng.2006.11.020
[89] NARVANKAR D S, SINGH C B, JAYAS D S, et al. Assessment of soft X-ray imaging for detection of fungal infection in wheat[J]. Biosystems Engineering,2009,103(1):49−56. doi: 10.1016/j.biosystemseng.2009.01.016
[90] BONIECKI P, PIEKARSKA-BONIECKA H, ŚWIERCZYŃSKI K, et al. Detection of the granary weevil based on X-ray images of damaged wheat kernels[J]. Journal of Stored Products Research,2014,56:38−42. doi: 10.1016/j.jspr.2013.11.001
[91] SRIVASTAVA S, MISHRA G, MISHRA H N. Application of an expert system of X-ray micro computed tomography imaging for identification of Sitophilus oryzae infestation in stored rice grains[J]. Pest Management Science,2020,76(3):952−960. doi: 10.1002/ps.5603
[92] ZHU L J, MA Q, CHEN J, et al. Current progress on innovative pest detection techniques for stored cereal grains and thereof powders[J]. Food Chemistry,2022,396:133706. doi: 10.1016/j.foodchem.2022.133706
[93] VADIVAMBAL R, CHELLADURAI V, JAYAS D S, et al. Detection of sprout-damaged wheat using thermal imaging[J]. Applied Engineering in Agriculture,2010,26(6):999−1004. doi: 10.13031/2013.35900
[94] KHAIRUNNIZA-BEJO S, JAMIL N. Preliminary study on detection of fungal infection in stored paddy using thermal image[J]. International Proceedings of Chemical, Biological and Environmental Engineering,2013,60(2013):19−23.
[95] FRANCESCONI S, HARFOUCHE A, MAESANO M, et al. UAV-based thermal, RGB imaging and gene expression analysis allowed detection of Fusarium head blight and gave new insights into the physiological responses to the disease in durum wheat[J]. Frontiers in Plant Science,2021,12:628575. doi: 10.3389/fpls.2021.628575
[96] SHAMMI S, SOHEL F, DIEPEVEEN D, et al. Machine learning-based detection of frost events in wheat plants from infrared thermography[J]. European Journal of Agronomy,2023,149:126900. doi: 10.1016/j.eja.2023.126900
[97] ZHANG L, SUN H, LI H, et al. Identification of rice-weevil (Sitophilus oryzae L.) damaged wheat kernels using multi-angle NIR hyperspectral data[J]. Journal of Cereal Science,2021,101:103313. doi: 10.1016/j.jcs.2021.103313
[98] SUN X, LIU J J, SUN J F, et al. Visual detection of moldy peanut kernels based on the combination of hyperspectral imaging technology and chemometrics[J]. Journal of Food Process Engineering,2021,44(11):e13864. doi: 10.1111/jfpe.13864
[99] ZHU J, LI H, RAO Z H, et al. Identification of slightly sprouted wheat kernels using hyperspectral imaging technology and different deep convolutional neural networks[J]. Food Control,2023,143:109291. doi: 10.1016/j.foodcont.2022.109291
[100] SENDIN K, MANLEY M, WILLIAMS P J. Classification of white maize defects with multispectral imaging[J]. Food Chemistry,2018,243:311−318. doi: 10.1016/j.foodchem.2017.09.133
[101] LIU W, DENG H Y, SHI Y L, et al. Application of multispectral imaging combined with machine learning methods for rapid and non-destructive detection of zearalenone (ZEN) in maize[J]. Measurement,2022,203:111944. doi: 10.1016/j.measurement.2022.111944
[102] ORTH S H, MARINI F, FOX G P, et al. Multiblock spectral imaging for identification of pre-harvest sprouting in Hordeum vulgare[J]. Microchemical Journal,2023,191:108742. doi: 10.1016/j.microc.2023.108742
[103] DELWICHE S R, RODRIGUEZ I T, RAUSCH S R, et al. Estimating percentages of fusarium-damaged kernels in hard wheat by near-infrared hyperspectral imaging[J]. Journal of Cereal Science,2019,87:18−24. doi: 10.1016/j.jcs.2019.02.008
[104] ZHANG D Y, CHEN G, YIN X, et al. Integrating spectral and image data to detect Fusarium head blight of wheat[J]. Computers and Electronics in Agriculture,2020,175:105588. doi: 10.1016/j.compag.2020.105588
[105] ZHANG L, SUN H, RAO Z, et al. Non-destructive identification of slightly sprouted wheat kernels using hyperspectral data on both sides of wheat kernels[J]. Biosystems Engineering,2020,200:188−199. doi: 10.1016/j.biosystemseng.2020.10.004
[106] SENDIN K, MANLEY M, MARINI F, et al. Hierarchical classification pathway for white maize, defect and foreign material classification using spectral imaging[J]. Microchemical Journal,2021,162:105824. doi: 10.1016/j.microc.2020.105824
[107] HE X M, YAN C, JIANG X S, et al. Classification of aflatoxin B1 naturally contaminated peanut using visible and near-infrared hyperspectral imaging by integrating spectral and texture features[J]. Infrared Physics & Technology,2021,114:103652.
[108] WANG L B, LIU J Y, ZHANG J, et al. Corn seed defect detection based on watershed algorithm and two-pathway convolutional neural networks[J]. Frontiers in Plant Science,2022,13:730190. doi: 10.3389/fpls.2022.730190
[109] LI H, ZHANG L, SUN H, et al. Discrimination of unsound wheat kernels based on deep convolutional generative adversarial network and near-infrared hyperspectral imaging technology[J]. Spectrochimica Acta Part A:Molecular and Biomolecular Spectroscopy,2022,268:120722. doi: 10.1016/j.saa.2021.120722
[110] LIU F S, FU J, ZHAO R Q. Pixel-wise mechanical damage detection of waxy maize using spectral–spatial feature extraction and hyperspectral image[J]. Computers and Electronics in Agriculture,2023,209:107853. doi: 10.1016/j.compag.2023.107853
[111] XU P, FU L X, XU K, et al. Investigation into maize seed disease identification based on deep learning and multi-source spectral information fusion techniques[J]. Journal of Food Composition and Analysis,2023,119:105254. doi: 10.1016/j.jfca.2023.105254
[112] SUN X D, LIU J B. Measurement of plumpness for intact sunflower seed using terahertz transmittance imaging[J]. Journal of Infrared, Millimeter, and Terahertz Waves,2020,41(3):307−321. doi: 10.1007/s10762-019-00668-z
[113] 刘翠玲, 王少敏, 吴静珠, 等. 基于太赫兹时域透射成像技术的葵花籽内部品质无损检测研究[J]. 光谱学与光谱分析,2020,40(11):3384−3389. [LIU Cuiling, WANG Shaomin, WU Jingzhu, et al. Study on internal quality nondestructive detection of sunflower seed based on terahertz time-domain transmission imaging technology[J]. Spectroscopy and Spectral Analysis,2020,40(11):3384−3389.] LIU Cuiling, WANG Shaomin, WU Jingzhu, et al. Study on internal quality nondestructive detection of sunflower seed based on terahertz time-domain transmission imaging technology[J]. Spectroscopy and Spectral Analysis, 2020, 40(11): 3384−3389.
[114] JIANG Y Y, CHEN X Y, GE H Y, et al. G-RRDB:An effective THz image-denoising model for moldy wheat[J]. Foods,2023,12(15):2819. doi: 10.3390/foods12152819
[115] LI B, SUN Z X, YANG A K, et al. Study on detection of the internal quality of pumpkin seeds based on terahertz imaging technology[J]. Journal of Food Measurement and Characterization,2023,17(2):1576−1585.
[116] JIANG Y Y, WANG F, GE H Y, et al. Identification of unsound grains in wheat using deep learning and terahertz spectral imaging technology[J]. Agronomy,2022,12(5):1093. doi: 10.3390/agronomy12051093
[117] 葛宏义, 王飞, 蒋玉英, 等. 基于宽度学习的太赫兹光谱图像小麦霉变识别研究[J]. 量子电子学报,2023,40(3):360−368. [GE Hongyi, WANG Fei, JIANG Yuying, et al. Identification of wheat mold using terahertz images based on broad learning system[J]. Chinese Journal of Quantum Electronics,2023,40(3):360−368.] doi: 10.3969/j.issn.1007-5461.2023.03.007 GE Hongyi, WANG Fei, JIANG Yuying, et al. Identification of wheat mold using terahertz images based on broad learning system[J]. Chinese Journal of Quantum Electronics, 2023, 40(3): 360−368. doi: 10.3969/j.issn.1007-5461.2023.03.007
[118] JIANG Y Y, WEN X X, WANG F, et al. Classification of unsound wheat grains in terahertz images based on broad learning system[J]. IEEE Transactions on Plasma Science, 2024,52(10):4973 - 4982.
[119] HU J, ZHAN C H, WANG Q, et al. Research on highly sensitive quantitative detection of aflatoxin B2 solution based on THz metamaterial enhancement[J]. Spectrochimica Acta Part A:Molecular and Biomolecular Spectroscopy,2023,300:12280.