ひできちの楽天ブログ

< 新しい記事

新着記事一覧(全880件)

過去の記事 >

2022/04/23

データの解析に手段にはこだわらない

テーマ：プログラミングあれこれ(231)

カテゴリ： ITの仕事

IT業界でフリーランスとして仕事を長くやっておりますよ

大きなプロジェクトの場合は
システムの規模も大きいわけでして
そこには巨大なデータも存在するわけですな

そのようなデータをどう扱うかについては

一番メインの手段はExcel で読み込むことが多いですな
json データの場合も階層の構造を把握できれば
CSVに変換してExcel のセルに表示して確認したりしますよ

データを加工する必要がある場合がほとんどですが
Excel 関数でだけでいけると思えばそれで押し切って完成させてしまう場合もありますな
VBAでのプログラミングは前提とはなりませんな
やはり実装する時間や手間、バグが気になりますな
もしExcel 関数だけでは足りずもう少し処理が必要ならVBA でシート用の関数を組んで
それを利用して完成できれば簡単ですな
さらに必要ならやはりVBA で簡単なプログラミングをするときもありますな

自分の作業としては分析という工程には沢山の時間をかけられるわけではありませんので
基本的にはスピードとミスがないことが第一でございますな
というわけで手段にはまったくこだわらないという方針になるのでございますよ

Excel ではシートの行数が約100万行が限界ですので
それに収まっていていればとりあえずはExcelで表示して確認ですな

本格的に加工分析となると10万以下ならExcelが利用できますがそれ以上だと
処理速度が問題になる場合もあるのでケースバイケースですな

100万、10万を超える場合はファイルとしては
CSV ファイルに保存されることがほどんどですな

CSVはデータベースにインポートしてから利用することも検討になりますな
データベースはSQL Server を使いますよ
データベースであれば１億行を超えるデータでも
処理可能ですな
SQL Server はインストールが簡単で環境構築も利用も簡単ですな

当然ですが基本的にSQL での加工となりますのでSQLの知識も必須ですな

加工したデータ件数が10万程度に絞られることが確定したら
Excelでの作業に移行しますよ

Access という選択肢もありますがほとんど利用しませんな
やはりExcelでの作業に移行するほうが圧倒的に簡単ですな

EXcel関数やSQLでの処理でデータ加工のほとんど完成していれば
最終的にはデータ加工処理の全体をC#やpython で書き直すということもありますな

ただしここもその実装作業によるソースコードが成果物になったり
繰り返しデータ加工処理が必要になるという前提があればですな

対価が発生する成果物として認められそうもないのであれば
VBA で適当に作って終わりにすることも検討しますな

お気に入りの記事を「いいね！」で応援しよう