ソフトウェアとハードウェアが融合する未来のモノづくり組織へと歩みを進めているトヨタ自動車。2021年4月8日には、高度な自動運転技術を適用した新システム「Advanced Drive」を搭載した「レクサス LS」と「トヨタ MIRAI」の発売を開始しています。
「Advanced Drive」の開発はハードウェア開発チームとソフトウェア開発チームが一体型となったチームとして「Woven Core, Inc.」と「自動運転・先進安全開発部」が担っていることでも注目を集めました。
2021年6月7日に開かれたオンラインイベント、TOYOTA Developers Night 高度運転支援システム「Teammate Advanced Drive」を実現する自動運転技術大解剖 ーソフト＆ハード一体型技術開発チームの開発秘話ーには、そんな「Teammate Advanced Drive」開発チームを率いた、Woven Core, Inc. Head of Tech.兼 トヨタ自動車株式会社 自動運転・先進安全開発部 主幹の板橋 界児氏と自動運転・先進安全開発部 グループ長の奥田 裕宇二氏が登壇し、高度な自動運転技術の開発ストーリーや使われている技術について話しました。今回はこのイベントの概要をお伝えします。
目次
プロフィール
兼 トヨタ自動車株式会社 自動運転・先進安全開発部 主幹
自動運転・先進安全開発部 グループ長
「MOBILITY TEAMMATE CONCEPT」で示されるトヨタの目指す自動運転技術の姿
オンラインイベント、TOYOTA Developers Night 高度運転支援システム「Teammate Advanced Drive」を実現する自動運転技術大解剖 ーソフト＆ハード一体型技術開発チームの開発秘話ーは、プレゼンターのWoven Core, Inc. Head of Tech.兼 トヨタ自動車株式会社 自動運転・先進安全開発部 主幹の板橋 界児氏（以下、板橋氏）と自動運転・先進安全開発部 グループ長の奥田 裕宇二氏（以下、奥田氏）の自己紹介と概要説明で幕を開けました。
Toyota / Lexus Teammate Advanced Drive 発売開始
冒頭、『Mobility Teammate Concept Prototype Vehicle』と題されたコンセプトムービーが上映され、「Toyota / Lexus Teammate Advanced Drive」を搭載した「レクサス LS」（上図左）が2021年4月8日、「トヨタ MIRAI」（上図右）が同年4月12日から発売を開始したことが紹介されました。
今回のイベントのテーマは、この高度運転支援システム「Advanced Drive」の開発秘話と技術的な紹介をすることです。
また、板橋氏たちが所属している自動運転・先進安全開発部とWoven Coreは、一体となって性能の要となるセンサ系ハードと制御ソフトを一気通貫で開発しており、複数のチームがフォーメーションを組んでいる理由を説明することもテーマの1つとなっています。
トヨタの目指す社会、自動運転技術に対する考え方
トヨタは自動運転の開発から得られた技術を、より多くの車に展開し、全ての人に安全で自由な移動を届け、交通事故死傷者を少しでも早く、1人でも多く減らすことを目標に掲げています。
トヨタは自動運転に対する考え方を「MOBILITY TEAMMATE CONCEPT」という形でまとめています。この考え方は、人とクルマが同じ目的地を目指し、あるときは見守り、あるときは助け合う、気持ちが通い合った仲間のような関係を築くというものです。
ドライバが運転したいときには運転を楽しむことができ、運転をしたくないとき、またはできないときには安心して運転を任せることができる。
好きなときに好きな場所に移動できる自由を提供し、そのような車を開発していきたいと板橋氏は話します。「Toyota/Lexus Teammate Advanced Drive」はこのコンセプトに沿った製品です。
Advanced Drive 動作概要と実行プロセス
ここで、Advanced Driveの動作概要が動画で示されました。Advanced Driveは基本的に人の運転と同じことを機械にやらせるつくりとなっています。運転には人間の「認知」「判断」「操作」が求められる局面がありますが、同じように自動運転も「認知」「判断」「操作」を行うのです。この3つの局面について機能の詳細が説明されました。
自動運転システムの「認知」を支える各種センサについて
認知：センサを使う
Advanced Driveの実行プロセスのうち、認知の部分について、奥田氏より話がありました。最近の車には、前の車に自動追従したり衝突・追突しそうになると自動でブレーキをかけたり車線のセンターをトレースするシステムが搭載されています。
トヨタでは自動追従を「ACC（アダプティブクルーズコントロール）」、自動ブレーキを「PCS（プリクラッシュセーフティ）」、センタートレースを「LTA（レーントレーシングアシスト）」と呼び、これらを先進運転支援システム「ADAS（Advanced Driver Assistance System）」と総称しています。
ADASには周囲を走る車を認識するためのレーダーセンサと車線を認識するためのカメラが備えられます。Advanced Driveではこれらのセンサに加えて、専用カメラ、高精度LiDAR、そしてドライバの状況を確認できるドライバモニタが装備されています。
レーダー、カメラ、LiDARについて、より詳細な説明がされました。
レーダーの特徴
20年くらい前から、前にいる車両を認識するためのセンサとして登場しました。電波を照射してターゲットから跳ね返ってくるまでの時間や波長から距離や相対速度を直接検出できるのが特徴です。近年、多種多様な方式が出てきていますが、基本的には原理は同じで電波を照射して跳ね返ってくるものを検波するセンサです。
比較的長距離まで認識でき、ターゲットの材料の影響を受けにくい特徴があります。電波が減衰しにくいため、悪天候であっても認識できるのがメリットです。しかし、分解能が高くないため、遠距離になるほど横方向の精度が悪くなる性質もあります。これは自車のはるか前方に車両がいる場合、自分と同じ車線か別の車線かが分かりにくいことがあると奥田氏は説明を加えました。
カメラの認識精度をレベルアップさせるAIとSoC
車載カメラも20年ほど前に車線認識用に登場したセンサです。近年では、検出対象が車線だけでなく車両や人にまで拡大され、画像処理技術の性能が飛躍的に向上しています。
カメラの特徴は高解像度で形を識別できることにあり、ターゲットの属性や形状を識別可能です。また、レンズを変えることで、認識エリアを変えることができるのも特徴です。Advanced Driveでも3種類のカメラが使用されています。
人の目に近いセンサのため、逆光のような眩しいシーンやトンネル出入口のような明るさが急変するシーン、夜間、雨といった環境では認識精度が低下してしまうという弱点があります。
しかし、近年では撮像した画像の処理にAIを用いることで認識精度を格段にレベルアップさせることが可能になりました。AIで用いる高速画像処理にはハードウェアが必要で、Advanced DriveではNVIDIAさまの次世代SoC（System on a Chip）が採用されました。
AI認識用ハードウェアの選定
NVIDIAさまのSoCの採用にあたっては、当時発売されていたSoCと次期型のSoCが存在し、どちらを選択するか議論になったと奥田氏は語ります。
これまでのトヨタであれば、慎重、堅実路線で不確実な次世代よりも市場で実績のある確実なSoCを選択したかもしれません。しかし、高い認識性能を実現したいという強い信念から次世代SoCの採用を決定し、AI認識ソフトを内製することになりました。
このようにソフトウェアが最大限のパフォーマンスを発揮できるようにハードウェアを選定して開発するこの考え方は、今後のトヨタの車両開発スタイルを示唆しているものです。
カメラで撮像された情報は立体物認識処理、走路認識、それぞれのAIに送られ、走路認識では「Semantic Segmentation」と呼ばれるアルゴリズムが用いられます。上の図のように意味を持った領域に分割することで、従来のエッジ検出では認識できなかった路面に対してもロバストに車線認識ができるようになっています。
自動車に求められる高信頼性
ここで奥田氏は砂漠地帯で車が使われることもあり、車特有の要件として過酷な熱環境があると話しました。車載コンピュータ（ECU : Electronic Control Unit）に求められる耐熱性能は非常に厳しく、一般的には筐体にフィンのようなものをつけて表面積を大きくして自然に放熱する設計をするのだといいます。
なぜ、ここで耐熱性能の話をするかというと、先ほどのAI認識のSoCは発熱量が多く、当初、これを搭載したECUは熱収支が成立しなかったためです。今回はエアコンの冷風を利用して冷却しました。このような熱の要件は一例で、様々な環境ストレス耐性を考慮して、ハードウェアの設計が進められているのだといいます。
「LiDAR（ライダー）」の特徴
Advanced Driveではセンサとして「LiDAR（ライダー）：Light Detection and Ranging」を“秘密兵器”として採用したと奥田氏は話しました。カメラはレンズを変更すれば遠くが見えますが、夜間は活用が難しくなります。LiDARは自ら発光していることもあり、夜間でも前方の車両や道路形状を検出できるのです。
ただし、弱点もあります。LiDARは近赤外領域のレーザーを発光して、ターゲットからの反射を受光することで測定をするため、逆光や水しぶき、センサとターゲットの間にある遮蔽物（降雨／降雪／霧やセンサ表面の汚れ）があるシーンを苦手としています。
このハードウェア対策として、センサの洗浄システムや光学面ヒータが採用されています。これは、簡単そうで意外と難しい面があります。水しぶきが苦手にも関わらず、水をかけるという矛盾したことをしているからです。
この問題はサプライヤさまなど複数のチームが一丸となって解決したと奥田氏は語りました。このように、ソフトウェアのパフォーマンスを発揮させるために、ハードウェアに別のハードを使って限界を引き上げることがシステム開発では重要になっています。
LiDARが苦手とするシーンへのソフトウェアを用いた対策の例として、等間隔でポールが並んでいるとトラッキングを間違えやすくなる事例が示されました。LiDARの認識結果のみでは誤判定してしまう可能性があるため、他のセンサの認知結果を参照しソフトウェアで対策することが有効になります。
安全のためのセンサ冗長系設計
ここまで見てきた、レーダー、車載カメラ、LiDARの特徴は上の図のようになります。縦に要件、横にセンサを並べて「×（バツ）」から「◎（二重丸）」まで4段階でランクづけをしています。ポイントはどのセンサの列に「◎」が多いかということではなく、行ごとに見るとどれか1つは「◎」であるということです。
つまり、単一のセンサでは何かが足りないけれど、3つを組み合わせることで要件を網羅できるということになります。これがAdvanced Driveで新規にLiDARなどのセンサを採用した理由だと奥田氏は話しました。
車載部品特有の難しさ
車載部品ならではの難しさもあります。車は見た目も重要な製品のため、小さなセンサを1つ搭載するだけでも実際は隙間なく部品が詰まったパズルのようになっているため配置が大変です。LiDARのセンサを搭載するにあたってはライセンスプレートを7.8mm上にするなど工夫をしています。
認知：地図と自車の位置を推定する
ここでプレゼンターが板橋氏に変わり、認知の部分から地図と自車の位置について解説がありました。Advanced Driveは高精度地図を参照することでシステムの精度を高めています。
路面や車線の情報、三次元構造物の情報が収録されているのが高精度地図「HD（High Definition） Map」です。道路は工事によって車線が増えるなど、常に同じとは限りません。そのため、高精度地図も最新情報に合わせて更新していくことが重要です。Advanced Driveでは常にサーバから最新の情報を受信し更新して使っています。
自車位置推定に必要なのが高精度地図です。自車の緯度経度、方位角情報を推定して高精度地図上のどこを走っているかを特定することをトヨタではローカライズと呼んでいます。ローカライズでは前後方向の精度確保が難しいと板橋氏は話しました。縦方向の精度がないと車線の中心を走れなくなり、分岐地点のライン取りに影響が出たりするのだそうです。
直線区間では前後方向にどれだけ補正させればよいかが計りにくく、カメラは距離精度が悪いため補正が不十分になります。これらの課題を解決するため、高精度地図上にある看板位置とLiDARで認識した情報がある場合はそれを併用し補正します。その結果の一例として、東京の首都高速の結果が示されました。
運転計画など自動運転の「判断」技術のポイント
判断：運転計画（ドライブプラン）／判断技術
続いて、Advanced Drive実行プロセスの判断の部分からドライブプランなど判断技術について説明がありました。ドライブプランとはドライバの感覚にあったレーン取りをして、最小のレーンチェンジ回数で目的地に到達可能な運転計画のことをいいます。
ドライブプランの作成には4つのプロセスがあります。
最初にナビと高精度地図の情報を取得しレーンの接続情報や車線の属性、制限速度等、様々な情報を抽出します。次にナビレベルの走路指示の確認です。目的地まで道路が繋がっているのか、分岐の方向の指示が正しいかといった情報を得ます。
3番目がレーンチェンジ（LC）計画の生成です。ここでは目的地に向かって分岐をする、また、車線数の増減に応じてレーンチェンジをする、追い越し車線を走り続けないなどのルールや遅い車両を見つけ、追い越しの指示をつくり、追い越した後に元のレーンに戻る提案をするといった判断をします。
4番目は、センサの周辺認識結果から、実際にレーンチェンジ可能なスペースの選択と周辺車両との相対値、相対速度を考慮したレーンチェンジの可否判断です。ここまでが基本的なドライブプランのロジックとなります。
実際には難しいシーンが数多くあると板橋氏は話し、ドライブプランの難しさを示す事例のいくつかを図を使ったクイズ形式で紹介しました。Advanced Driveがドライバ操作を依頼するとき、慌ただしくなってしまわないように配慮し手早く制御を終えたり、ドライバの感覚に合う車線選択をしたりするのがポイントとなっています。
Advanced Driveでドライブプランを生成するにあたり、目的地到達に向けた高精度地図の解釈は非常に大変だったと板橋氏は語りました。
ドライバとシステムの信頼関係を具現化する「HMI」
操作：HMI（Human Machine Interface）
自動運転の操作に関わる部分から、ドライバと車の意思疎通を実現するHMI（Human Machine Interface）について板橋氏が解説をつづけます。
まず、操作系について「レクサス LS」と「トヨタ MIRAI」にはAdvanced Driveのほかにも、従来の電子システムであるACCとLTAが搭載されています。これらの制御を入れようとすると、まずメインスイッチをオンにした後で制御開始の操作をする2アクションが必要でした。
さらにAdvanced Driveの制御開始操作を追加すると、新たなスイッチが必要になるなどして使い勝手が悪くなることが危惧されていたそうです。
そこで、運転支援スイッチのメイン側を外してワンアクション化し「そのときに使える最上位のシステムをONにする」という思想によって自動遷移の仕組みを構築することになりました。こうすることで、1つのスイッチを押すだけで従来のACC+LTAとAdvanced Driveの両方が使用可能になったのです。
少ない操作で複数モードを使い分けられるようになるまでには相当時間がかかり、やっと結果にたどり着くことができたと板橋氏は話しました。
Advanced Driveの大きな特徴の1つはハンズオフです。Advanced Driveでは条件が整うと画面が青くなり、ドライバはハンドルから手を離してハンズオフ走行をすることができるようになります。ここでプレゼンターは奥田氏にバトンタッチしました。
ハンズオフを実現するために、はじめに考えられたのは「ハンズオフできなくなった場合にどうすべきか」だったと奥田氏は切り出します。言い替えると、Advanced Driveシステムが限界を予知した場合に、どのようにしてドライバが安全にハンズオンに戻れるようにするかということです。
そこで、システムがドライバにハンズオン要求をしてから実際にハンズオンになるまでの間、制御は継続しなければならないため、認識／演算／アクチュエータ／通信／電源、これら5つの機能に対して冗長系が構築されました。
次に考えられたのが遷移時間の要件です。つまり「何秒必要か？」ということになります。また、要求からできるだけ早くハンズオンに戻ってもらうためにはどうしたらよいかという課題が設定されました。スマートフォンを見ていたり居眠りをしていたりするとすぐに運転には戻れないため、その対策も考えられたといいます。
安全のための設計要件
これらの対策のため、シミュレータを使ってドライバが運転以外の状態から運転タスクに戻るまでの時間を計測するなどして、結果に基づいた冗長設計をしています。このように、実際に人の行動を計測したデータから設計するデータドリブンで要求が決められていきました。
実際の車を使ってこのような計測を行うと危険なため、トヨタではドライビングシミュレータを使って安全に検証しデータ計測をしています。このドライビングシミュレータは上図のような外観です。実際の車の加速や減速、もしくは旋回しているときの「G」を生じさせ、実際に運転している状態と近い感覚を作り出し、ドライバの運転行動を忠実に再現できます。
このシミュレータを使って、例えばハンズオフ走行中に突然落下物が出現した際の回避率を上げるために何をドライバに伝えたら効果的かといった問題が実験されました。その結果、車両の近い将来の軌跡表示を常時出しておくとドライバが事前に理解でき、回避確率が高まることがわかったといいます。
ここで、上記の検証を踏まえて作成された実際のHMIが示されました。
Advanced Driveのシステムが今何を認識していて今から何をしようとしているか、ドライバとコミュニケーションを取ることでいつでもハンズオン状態に戻れるようになります。
また、ドライバモニタカメラがドライバの状態を見ており脇見や居眠りを検知するとハンズオン要求を出したり、ドライバの状態が急変して、運転に戻れなくなってしまった場合は安全な場所に停車し救援したりするシステム設計がされました。このようにしてドライバとシステムの信頼関係を具現化するものとしてHMIが作り込まれています。
安全・安心のために研ぎ澄まされた先進機能
ドライバ異常時対応システム（EDSS）が人を守る
ここで、プレゼンターは板橋氏に変わり、ドライバに急病などの異常が発生したときドライバ本人と乗客を守る「ドライバ異常時対応システム（EDSS：Emergency Driving Stop System）」が紹介されました。EDSSの開発のポイントは2つあります。
ポイント①：路肩退避する際のフリースペースの検知
EDSS作動中は、ドライバによるサポートが期待できないため、路肩退避が可能かという判断を慎重にしなければなりません。これを実現するためにPolarMapを使って複数のセンサデータを組み合わせて活用しています。
ポイント②：世の中に出すための仕組みづくり
開発のポイントの2つ目となったのは、世の中に出すための仕組みづくりでした。EDSSは国土交通省の先進安全自動車（ASV）推進検討会の中で議論をされて、2018年3月にガイドラインが発表されています。こういった議論の中に入りガイドラインの具体的な中身を詰めてきました。国レベルのプロジェクトに参画できるのも、トヨタで働く魅力の1つだと板橋氏は語りました。
衝突を回避し安全を守る緊急ブレーキ
安全機能という観点において、渋滞末尾での衝突回避の支援などで重要な機能が緊急ブレーキです。時速125km/hからの停車が可能ですが、衝突被害軽減ブレーキとして「プリクラッシュセーフティシステム」でも約60km/hからの減速性能もあります。
しかし、ドライバの意図にあった緊急ブレーキを実現するにあたって、判断が難しいシーンがありました。
難しいシーンの例①：工事車両が路肩から大きくはみ出して停車
工事車両が路肩からはみ出して停車している場合、緊急ブレーキをかけるべきか否かというシーンです。このシーンの難しさはドライバが車両に気づいていて、避ける気持ちがあるかどうかの判断にあります。つまり、ドライバに避けるつもりがあれば緊急ブレーキはかけなくてよいことになり、気づいていなければかける必要があるということです。緊急ブレーキでは最大0.8Gの重力加速度がかかる非常に強いブレーキのため、ドライバの意図にあう判断ができるよう作り込む必要がありました。
難しいシーンの例②：ブラインドコーナの先に車両が停車
ブラインドコーナの先に車両が停車している場合、「停車車両の区別が難しい」という認識の課題と「時間的な余裕がない」という2つの課題を同時に解く必要があります。絶対に間違えてはならない慎重さと同時に瞬時の判断が必要となり、相反する欲求を満たす必要がありました。
Advanced Driveの安心機能
Advanced Driveには多くの安心機能が搭載されています。
VLO（Vehicle Lateral Offset）
VLOは接近車両との横距離を確保する機能です。高速道路などで大型車の横を走り抜ける際に少し隙間を空けて走行し、安心感に寄与します。
被合流譲り機能
高速道路の合流地点で、入ってきそうな車を見つけたらアクセルを緩めます。全て減速するのではなく、実際の感覚に合わせてチューニングされており、使用者からも高評価を得られているようです。板橋氏はサンキューハザードをもらうことが多いと話しました。
スピードマネジメント
高精度地図の情報に基づいて、走行環境に応じて適切に速度マネジメントをする機能です。この機能を実現するにあたり、例えばランプ路は速度抑制といったルールではドライバの感覚には合わなくなるため、高精度地図の解釈が困難だったと板橋氏は付け加えました。
コーナリング時のGコントロール
運転の上手い人は高い速度域でも安心感があります。これがどういう運転なのかを分析、可視化しスムーズで滑らかな運転を指標化しました。Advanced Driveでは、このデータを用いて熟練者の運転に近づけることができたと板橋氏は話します。
Advanced Driveのソフトウェアアップデート
スマートフォンのような利便性を
Advanced Driveのソフトウェアアップデートはどのようにされるのでしょうか？ 板橋氏は車でもスマートフォンのようなソフトウェアアップデートを実現したいと考えたといいます。そのための仕組みが、無線通信によるソフトウェアアップデート「OTA（Over The Air）」です。トヨタではAdvanced Driveがパイロットプロジェクトとなり、新しい価値を継続的に提供していくことを意図しています。そのため、様々な取り組みが進められました。
ソフトウェアの内製化へ歩を進める
トヨタではソフトウェアの内製化が進められています。実装ソフトだけでなく、開発ツール群、シミュレーション環境、AI学習環境などインフラを含めたソフトウェア開発を行うことで、これまでサプライヤさまにより2～3ヶ月かかっていた実装期間が数週間以内で完了できるようになり短期開発を実現しました。
その中にあってWoven Core, Inc.は、日本のクラフトマンシップとシリコンバレーのイノベーションの架け橋となる組織として強みを生かし、様々な開発チームを横断する縦横無尽な開発を志しています。
技術開発領域でこれから人材に求められるもの
AD/ADAS領域の開発の魅力とは
プレゼンターは奥田氏に変わりました。奥田氏は、AD/ADAS領域の開発の魅力は「全ての人が安全に移動する自由」を実現するためソフトウェア、ハードウェア技術を自分たちの手で作り出せることだと話しました。
トヨタには必要な機能を考えて試作品や試作ソフトをつくって、テストコースや実際の道路で試作車を使って車の動きを試し、データ解析をして、課題があれば改善するループを回せる環境があります。予期せぬ課題が発生しても、原因を特定できた瞬間に喜びが感じられ、そこに至る過程で新たな知見を得られて技術者としての成長が感じられるそうです。
システムをやっていて、車が狙った通りの動きをしてくれた瞬間は理屈抜きで嬉しいと奥田氏は話します。ハード開発に携わると、図面上でしか存在しなかったセンサが搭載された車を見ると感慨深く、自慢したくなるそうです。
AD/ADAS技術者への期待
板橋氏は、AD/ADAS領域の技術者に期待することを示しました。「どんな価値をお客さまに提供したいのか／するべきなのか？」そして「その価値をどのように実現し提供するのか？」と考えることが大事だといいます。
システム開発には機能開発と性能開発がありますが、難しいのはやはり性能開発だと板橋氏は話しました。「性能開発は1日にしてならず」と例えられるように、小さな成果・向上をいくつもいくつも積み重ねてやっと全体の性能が確保できる世界です。強い想いと粘り強さなくしてシステム性能開発はできないと板橋氏は話し、自動運転・運転支援を目指したいと思っている技術者の方々は頑張っていただきたいとまとめました。
セッション終了後、板橋氏、奥田氏と参加者との質疑応答が行われました。開発の苦労や自動運転技術に関する質問が多く寄せられ、反響の大きさ、質問内容の高度さに両氏ともに驚かれていた様子でした。
編集後記
自動運転を実現するために認知、判断、操作といったフェーズでクリアしなければならない膨大な課題の壁に、粘り強く取り組むエンジニアリングの姿勢に感銘を受けた方も多いのではないでしょうか。
また、日本のクラフトマンシップとシリコンバレーのイノベーションの架け橋を目指すWoven Core, Inc.とトヨタのハードウェア、ソフトウェア技術の考え方によるモノづくりに関心を持たれたエンジニアの方も多いと思います。
世界中から注目が集まるトヨタの自動運転技術の進化から目が離せそうにありません。
文：神田 富士晴
「Qiita×TOYOTA」コラボレーションサイト公開中！
「未来のモビリティ社会を実現」をテーマとしたトヨタ自動車とのコラボレーションサイト公開中！
トヨタ自動車の最新技術情報や取り組み事例などを紹介しています
コラボレーションサイトへ